Search Results Yi

複雑さを解き明かす：ノイズ導入を用いたマニフォールド学習への革新的アプローチ

データサイエンスの世界では、高次元のデータは課題と機会の両方を提供しますそれは関係性やパターンの宝庫を提供し、形作られ、変換されることができます...

「NLP（スクラッチからのdoc2vec）＆クラスタリング：テキストの内容に基づいたニュースレポートの分類」

このタイプの分類を行うためには、教師付き学習法（タグ付きのデータセットを使用する方法）、クラスタリングを使用する方法、特定のLDAアルゴリズム（トピックモデリング）を使用する方法など、多くの方法があります私はDoc2Vecを使用していますなぜなら…

大規模展開向けのモデル量子化に深く掘り下げる

イントロダクション AIにおいて、大規模なモデルをクラウド環境に展開するという2つの異なる課題が浮かび上がっています。これにより、スケーラビリティと収益性を阻害するかなりの計算コストが発生し、複雑なモデルをサポートするのに苦労するリソース制約のあるエッジデバイスの問題も生じます。これらの課題の共通点は、精度を損なうことなくモデルのサイズを縮小する必要性です。一つの解決策となる人気のある手法であるモデルの量子化は、精度のトレードオフの懸念を引き起こします。量子化意識トレーニングは、魅力的な答えとして浮上します。これは、モデルのトレーニングプロセスに量子化をシームレスに統合することで、重要な精度を保ちながら、モデルのサイズを大幅に削減することを可能にします。時には２倍から４倍以上にもなります。この記事では、量子化について詳しく解説し、ポストトレーニング量子化（PTQ）と量子化意識トレーニング（QAT）を比較します。さらに、Deciによって開発されたオープンソースのトレーニングライブラリ「SuperGradients」を使用して、両方の方法を効果的に実装する方法を実践的に示します。また、モバイルや組み込みプラットフォームにおける畳み込みニューラルネットワーク（CNN）の最適化についても探求します。サイズと計算要件のユニークな課題に取り組み、モデルの最適化における数値表現の役割を検討します。学習目標 AIにおけるモデルの量子化の概念を理解する。一般的な量子化レベルとそのトレードオフについて学ぶ。量子化意識トレーニング（QAT）とポストトレーニング量子化（PTQ）の違いを認識する。メモリ効率やエネルギー削減など、モデルの量子化の利点を探求する。モデルの量子化が広範なAIモデルの展開を可能にする方法を発見する。この記事はData Science Blogathonの一部として掲載されました。モデルの量子化の必要性の理解モデルの量子化は、ディープラーニングにおける基本的な技術であり、モデルのサイズ、推論速度、およびメモリ効率に関連する重要な課題に対処することを目指しています。これは、モデルの重みを高精度の浮動小数点表現（通常は32ビット）から低精度の浮動小数点（FP）または整数（INT）フォーマット（16ビットまたは8ビットなど）に変換することによって実現されます。量子化の利点は二つあります。まず第一に、モデルのメモリフットプリントを大幅に削減し、大きな精度の劣化を引き起こすことなく推論速度を向上させます。さらに、メモリ帯域幅の要件を減らし、キャッシュの利用効率を向上させることによって、モデルのパフォーマンスも最適化されます。 INT8表現は、ディープニューラルネットワークの文脈では「量子化された」と俗に言われることがありますが、ハードウェアアーキテクチャに応じてUINT8やINT16のような他のフォーマットも利用されます。異なるモデルは、精度とモデルサイズの削減のバランスを取るために、異なる量子化アプローチを必要とし、事前知識と緻密な微調整を要することがしばしば求められます。量子化は、特にINT8などの低精度の整数フォーマットにおいて、動的レンジが制限されているため、課題をもたらします。FP32の広範な動的レンジをINT8の255個の値に押し込めることは、精度の低下を招く可能性があります。この課題を緩和するために、パーチャネルまたはパーレイヤのスケーリングにより、重みと活性化テンソルのスケールとゼロポイント値が、より適した量子化フォーマットに適合するように調整されます。さらに、量子化意識トレーニングでは、モデルのトレーニング中に量子化プロセスをシミュレートすることで、モデルが優れた精度で低精度に適応することが可能になります。このプロセスの重要な側面であるスクイーズ（またはレンジの推定）は、キャリブレーションによって実現されます。本質的には、モデルの量子化は効率的なAIモデルの展開に不可欠であり、特に計算リソースが限られているエッジデバイスでの資源効率と精度の微妙なバランスを取るために重要です。モデルの量子化の技術量子化レベル量子化は、モデルの高精度浮動小数点の重みと活性化を、低精度の固定小数点値に変換します。 “量子化レベル”は、これらの固定小数点値を表すビット数を指します。一般的な量子化レベルは、8ビット、16ビット、およびバイナリ（1ビット）の量子化です。適切な量子化レベルを選択することは、モデルの精度とメモリ、ストレージ、および計算効率とのトレードオフに依存します。…

「LLMを活用したサプライチェーン分析におけるLangChainの提供- GPTで強化されたコントロールタワー」

サプライチェーンコントロールタワーは、エンドツーエンドのサプライチェーンオペレーションを効率的に管理するための可視性とモニタリング機能を提供する、中央集権的なソリューションとして定義されることがありますこの分析的な...

「Google の CEO Sundar Pichai は AI を気候変動にたとえる」という記事です

サンフランシスコで開催されたアジア太平洋経済協力CEOサミットで、GoogleのCEOであるサンダー・ピチャイ氏がAIを気候変動に例えましたこのコメントは、「スマートAI規制に対するグローバルな合意をどのように得るか」という質問に対して出たものですCNBCによると、彼はAIが「広まり続ける」と述べ、「AIの進歩は...」と述べました

Amazon SageMakerを使用してモデルの精度を向上させるために、ファンデーションモデルを使用します

「住宅の価値を決定することは機械学習（ML）の典型的な例ですこの投稿では、ビジュアル質問応答（VQA）のために特に設計されたオープンソースモデルの使用について説明しますVQAでは、自然言語を使用して写真に質問ができ、質問に対する回答も平易な言葉で受け取ることができますこの投稿での目標は、この技術を使用して何が可能かを皆さんに示し、インスピレーションを与えることです」

「LangChainが評価しようとしている6つのLLMの問題点」

「LangChainが高度な言語モデルの使用を通じて技術開発を向上させることで、ゲームが変わる方法を学びましょう」(Ranguchēn ga kōdo na gengo moderu no shiyō o tsūjite gijutsu kaihatsu o kōjō saseru koto de, gēmu ga kawaru hōhō o manabimashou.)

language models

自律運転アプリケーションのための基本的なビジョンモデルと視覚的なプロンプトエンジニアリング

迅速なエンジニアリングは、高品質で関連性のあるテキストを生成するために大規模な言語モデル（LLM）を使用する人々にとって必須のスキルになっていますテキストのプロンプトエンジニアリングは広く議論されてきましたが、視覚的なプロンプトエンジニアリングは注目される必要がある新興の分野です視覚的なプロンプトには、バウンディングボックスやマスクなどが含まれ、ビジョンモデルが関連性のある生成をするためにガイドを提供します

Amazon SageMakerの自動モデルチューニングを使用して、事前に選択されたアルゴリズムを使用してカスタムのAutoMLジョブを実装します

AutoMLは、機械学習（ML）プロジェクトのライフサイクルの初めに、データから迅速かつ一般的な洞察を得ることができます前もって最適な前処理テクニックやアルゴリズムの種類を理解することで、適切なモデルの開発、トレーニング、展開にかかる時間を短縮できますこれは、すべてのモデルの開発プロセスで重要な役割を果たします[...]

「リトリーバル増強生成」とは何ですか？

最新の生成型AIの進展を理解するには、法廷を想像してみてください。判事は法律の一般的な理解に基づいて事件を審理し、判決を下します。時には、医療過誤訴訟や労働紛争などの場合には専門の知識が必要となり、判事は裁判事務官を法律図書館に派遣して先例や特定の判例を探し出し、引用する必要があります。優れた判事のように、大規模な言語モデル（LLM）はさまざまな人間のクエリに応答することができます。しかし、出典を引用した権威ある回答を提供するためには、モデルに調査を行うアシスタントが必要です。 AIの裁判事務官としてのプロセスは、検索補完生成（RAG）と呼ばれています。名前の由来 2020年の論文の主著者であるパトリック・ルイスは、この肩書きのアクロニムが成長する方法や将来の生成型AIの代表であると信じており、数百の論文や商用サービスにまたがる数々の手法を説明するため、名前があまりにも失礼なものになったことを申し訳なく思っています。パトリック・ルイス「私たちは、自分たちの研究がこのように広まるとは知っていたなら、名前にもっと考えを巡らせていたでしょう」とルイスはシンガポールでのインタビューで述べ、彼のアイデアをデータベース開発者の地域会議で共有していました。「もともとより魅力的な名前を持つつもりでしたが、論文を書く時には誰もより良いアイデアを持っていませんでした」とルイスは言い、現在はAIスタートアップCohereでRAGチームを率いています。では、検索補完生成とは何ですか？検索補完生成は、外部ソースから取得した事実によって生成型AIモデルの正確性と信頼性を高める技術です。言い換えると、LLMの機能にあるギャップを埋める役割を果たします。LLMはネットワークの一部であり、通常はそのパラメータの数で測定されます。LLMのパラメータは、基本的には人間が文を形成する際の一般的なパターンを表します。この深い理解は、パラメータ化された知識と呼ばれることもあり、LLMが迅速に一般的なプロンプトに応答するのに役立ちます。しかし、現在のトピックやより具体的なトピックにさらに深く入り込みたいユーザーには役立ちません。内部、外部のリソースの結合ルイスとその同僚たちは、検索補完生成を開発して、生成型AIサービスを特に最新の技術的詳細が豊富な外部リソースにリンクさせました。この論文は、かつてのFacebook AI Research（現在はMeta AI）、ロンドン大学、ニューヨーク大学の共著者たちとともに、RAGを「汎用の微調整レシピ」と呼んでいます。なぜなら、ほとんどのLLMがほぼすべての外部リソースに接続するために使用できるからです。ユーザーの信頼構築検索補完生成によって、モデルはユーザーが確認できるような引用可能な情報源を得ることができます。これによって信頼性が高まります。さらに、この技術はユーザーのクエリの曖昧さを解消するのにも役立ちます。そして、モデルが誤った予測を行う可能性を減らし、幻覚と呼ばれる現象を防ぎます。 RAGのもう1つの大きな利点は、実装が比較的簡単であるということです。ルイスと論文の共著者3人によるブログによれば、開発者はたった5行のコードでプロセスを実装することができます。これにより、追加のデータセットでモデルを再訓練することよりも速く、費用を抑えることができます。また、ユーザーは新しいソースを瞬時に切り替えることができます。…

Learn more about Search Results Yi - Page 14