「LLM-AUGMENTERに会いましょう：Microsoft Researchのアーキテクチャーによる、LLMをメモリ、知識、外部のフィードバックで拡張する手法」

Introducing LLM-AUGMENTER Microsoft Research's method of expanding LLM with memory, knowledge, and external feedback.

新しいフレームワークは、本番向けのLLMソリューションの参考として利用できます。

最近、AIに特化した教育ニュースレターを開始しました。すでに16万人以上の購読者がいます。TheSequenceは、5分で読み終わるML志向のニュースレターで、ハイプやニュースなどは一切ありません。機械学習プロジェクト、研究論文、概念の最新情報を提供することを目指しています。ぜひ以下のリンクを購読して試してみてください。

TheSequence | Jesus Rodriguez | Substack

機械学習、人工知能、データの最新動向を把握するのに最適な情報源

thesequence.substack.com

ChatGPTなどのLarge Language Models（LLM）の印象的な能力は広く認識されています。これらのモデルは、流暢で一貫性があり、情報量の多い自然言語テキストを生成することに優れています。その優れたパフォーマンスは、エンコードされた世界の知識の豊富さと、それからの一般化能力によるものです。しかし、LLMの知識エンコーディングは損失しやすく、一般化の過程で「メモリのゆがみ」が生じる可能性があります。その結果、これらのモデルはしばしば幻覚を起こし、重要なタスクに展開された場合に問題が生じることがあります。さらに、モデルのサイズの指数関数的な成長にもかかわらず、LLMは多くのアプリケーションで必要なすべての情報をエンコードする能力を持っていません。例えば、現実世界の状況の動的性は、ニュースの質問応答のような時間的に敏感なタスクでは、LLMがすぐに時代遅れになる原因となります。また、多くの専有データセットはプライバシーの問題からLLMのトレーニングにはアクセスできません。最近、マイクロソフトリサーチは、外部の知識と自動フィードバックでLLMを強化するためのフレームワークであるLLM-AUGMENTERを紹介する論文を発表しました。

機能的には、LLM-AUGMENTERは知識の拡張とメモリを組み合わせた一貫したアーキテクチャです。次の図は、サッカーシナリオの文脈でLLM-AUGMENTERを示しています。ユーザーのクエリ（例：2013年のロサンゼルスギャラクシーに関する選手移籍についての質問）が提示されると、LLM-AUGMENTERは証拠を取得します…

• 「NVIDIAのAIが地球を気候変動から救う」
• 日本の研究者たちは、MRI画像から脳活動を読み取ることができるAIを開発しました
• マイクロソフトの研究者によって導入された新しいマルチモーダル大規模言語モデルKOSMOS-2

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!