抽象生成（特定語）- 直感的で徹底的に説明される

抽象生成（特定語）- 直感的でわかりやすく解説される

情報を検索できる言語モデルの作成

この記事では、最新の関連情報を大規模な言語モデルに提供できる「retrieval augmented generation」（RAG）という戦略について探っていきます。まずは理論を説明し、それから私たち自身をレストランオーナーに想像してみましょう；メニューや季節イベント、一般的な情報についてAIと会話できるシステムを実装します。

この記事は誰に役立つのか？ 自然言語処理（NLP）に興味がある人なら誰にでも役立ちます。

この記事はどの程度の内容ですか？ これは非常に強力でありながら非常にシンプルな概念です。初心者から上級者まで、どなたでも活用できます。

前提条件： 大規模な言語モデル（LLM）の基礎的な知識があれば理解が容易ですが、必須ではありません。

• 「機械学習エンジニアのためのPythonによるデザインパターン：ビルダー」
• 「大規模言語モデルの読み込みについての紹介」
• 「Llama2が搭載されたチャットボットはCPUで訓練できるのか？」

問題の核心

LLMのトレーニングには高額な費用がかかります。例えば、有名なChat GPT-3のトレーニングにはコンピュートリソースだけでなんと320万ドルもかかりました。もし新しいレストランを開業し、メニューに関する質問にLLMを使用したい場合、新しい季節のサラダを導入するたびに何百万ドルも支払わなくても済むというのはすごいことです。モデルに少量の高度に具体的な情報を学習させるための小規模なトレーニングステップ（fine tuningと呼ばれる）を行うこともできますが、このプロセスには数百から数千ドルかかる場合があります。

LLMのもう一つの問題はその確信度です。時には絶対的な確信を持って明らかに間違ったことを言うこともあります（一般的に幻覚と呼ばれます）。その結果、LLMが情報をどこから得ているのか、その情報が正確なものかを識別することが難しくなることがあります。アレルギーを持つ顧客が料理に木の実が含まれているかを尋ねた場合、私たちの顧客がアナフィラキシーショックを起こさないように、LLMが正確な情報を使用することを保証できれば良いですね。

弁護士のSteven A. SchwartzはChatGPTの使用によって、法的な書類で6つの架空の事件が引用されたことで一度波紋を広げました。- 幻覚を起こした有名な例。出典

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!