自己RAGが産業用LLMを革命化する方法

美容とファッションの専門家が教える、自己RAGが産業用LLMを革命化する方法

バニラRAGはかなり愚かです。返される応答が関連していることを保証するものではありません。セルフRAGがどのようにして大いに助けになるかを学びましょう

大規模な言語モデル（LLM）は、さまざまな産業を革新する準備が整っています。金融部門の例を取りましょう。LLMは、膨大な文書を見て傾向を見つけるために使用できます。同じ作業をするアナリストに比べて、劇的に時間とコストを節約できます。しかし問題があります。得られる回答は、多くの場合、部分的で不完全です。例えば、過去15年間の会社Xの年間収益を異なるセクションに含む文書がある場合を考えてみましょう。下の画像のような標準的なRetrieval Augmented Generation（RAG）アーキテクチャでは、通常、上位k個のドキュメントを取得するか、固定された文脈の長さ内でドキュメントを選択します。

しかし、これにはいくつかの問題があります。ひとつの問題は、上位k個のドキュメントに全ての回答が含まれていないことです。たとえば、過去5年または10年に相当する回答のみが含まれる場合があります。もうひとつの問題は、ドキュメントのチャンクとプロンプトの類似度を計算しても必ずしも関連する文脈が得られないことです。この場合、間違った回答を得る可能性があります。

実際の問題は、バニラRAGアプリを開発し、単純なテストケースではうまく機能するが、ステークホルダーにプロトタイプを提示し、突飛な質問をされたときに失敗する点です。

ここでセルフRAGが救援になります！著者たちは、微調整されたLM（Llama2-7Bと13B）が特殊トークン[Retrieval]、[No Retrieval]、[Relevant]、[Irrelevant]、[No support / Contradictory]、[Partially supported]、[Utility]などをLM生成に付加することで、コンテキストが関連性のあるものかどうか、コンテキストから生成されたテキストがサポートされるかどうか、および生成物の有用性を決定できるように工夫した方法を開発しました。

• クラウドコンピューティングとウェアラブルデバイス：強力な組み合わせ
• マイクロソフトのデータサイエンスとAIの学習パスを強調する
• 「#30DayMapChallenge」の私の2週目」

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!