マイクロソフトとコロンビア大学の研究者が提案する「LLM-AUGMENTER」は、ブラックボックスLLMに一連のプラグアンドプレイモジュールを追加するAIシステムです

The LLM-AUGMENTER proposed by researchers from Microsoft and Columbia University is an AI system that adds a series of plug-and-play modules to the black box LLM.

大規模言語モデル(LLM)の例としてGPT-3は、広範な世界知識を持つため、一貫性のある情報豊かな自然言語テキストを生成する能力について広く認識されています。しかし、LLMにこの知識をエンコードすることは情報の損失を伴い、メモリの歪曲を引き起こし、使命遂行上重要なタスクに悪影響を及ぼす幻覚を引き起こすことがあります。さらに、一部のアプリケーションにはLLMが必要な情報をすべてエンコードすることができず、ニュースの質問応答のような時間的に敏感なタスクには適していません。外部の知識を使用してLLMを強化するためのさまざまな手法が提案されてきましたが、これらは通常、LLMパラメータの微調整を必要とするため、高額な費用がかかることがあります。そのため、使命遂行上のタスクでパフォーマンスを向上させるために固定のLLMに追加できるプラグアンドプレイモジュールが必要です。

本論文では、大規模言語モデル(LLM)を使命遂行上のアプリケーションに適用する課題に取り組むためのLLM-AUGMENTERというシステムを提案しています。このシステムは、タスク固有のデータベースに格納された外部の知識を用いてブラックボックスLLMを拡張するためのプラグアンドプレイモジュールを備えています。また、LLMが生成した応答の信憑性スコアを向上させるために、ユーティリティ関数によって生成されるフィードバックを用いた反復的なプロンプトの修正も含まれています。このシステムの有効性は、タスク指向の対話およびオープンドメインの質問応答シナリオで経験的に検証されており、幻覚を大幅に減らす一方で反応の流暢さと情報量を損なうことなく改善しています。システムのソースコードとモデルは公開されています。

LLM-Augmenterのプロセスは、主に3つのステップで構成されています。まず、ユーザーのクエリが与えられると、ウェブ検索やタスク固有のデータベースなどの外部の知識源から証拠を取得します。また、取得した生の証拠を関連するコンテキストに結び付け、結合して「証拠の連鎖」を作成することもできます。次に、LLM-Augmenterは、統合された証拠を使用してChatGPTなどの固定LLMにプロンプトを与え、証拠に基づいた応答を生成します。最後に、LLM-Augmenterは生成された応答をチェックし、対応するフィードバックメッセージを作成します。このフィードバックメッセージは、候補の応答が検証要件を満たすまでChatGPTのクエリを修正して反復します。

本研究で示されている作業は、LLMとユーザーとの相互作用に関連する外部の知識をブラックボックスLLMに効果的に追加するLLM-Augmenterアプローチを示しています。この拡張により、LLMによって生成される応答の流暢さと情報の質を損なうことなく、幻覚の問題を大幅に軽減することができます。

LLM-AUGMENTERのパフォーマンスは、情報検索対話タスクにおいて自動評価と人間の評価を使用して評価されました。モデルの出力と人間の応答の真の値との重複や、データセット収集時に参照として使用された人間の知識との重複を評価するために、Knowledge F1(KF1)やBLEU-4などの一般的に使用されるメトリックが使用されました。さらに、DSTC9およびDSTC11のカスタマーサポートタスクにおいて人間の判断と最も相関するこれらのメトリックも含まれています。また、対話のテキスト生成において最も優れたパフォーマンスを発揮するBLEURT、BERTScore、chrF、BARTScoreなどの他のメトリックも考慮されました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「LEVER(リーバー)とは、生成されたプログラムの実行結果を検証することを学習することで、言語からコードへの変換を改善するためのシンプルなAIアプローチです」

大規模言語モデル(LLM)は最近、大きな進歩を遂げました。これらのモデルは、人工知能の領域を大幅に向上させ、さまざまなタ...

AI研究

「スタンフォード大学の研究者が言語モデルの事実性において革新を成し遂げました:自動的な優先順位付けとNLPの進歩によるエラー削減」

スタンフォード大学とUNCチャペルヒルの研究者は、LLMsが生成する事実に反する主張である幻覚として知られる問題に取り組んで...

AIニュース

『AI規制に関するEUの予備的な合意:ChatGPTへの影響』

ヨーロッパ連合は最近、広く認識されているChatGPTを含む先進的なAIモデルの規制に関する予備的な合意を仲介しました。これは...

機械学習

Google DeepMindは、直接報酬微調整(DRaFT)を導入しました:微分可能な報酬関数を最大化するための効果的な人工知能手法における拡散モデルの微調整

拡散モデルは、さまざまなデータタイプでの生成モデリングを革新しました。ただし、テキストの説明から見た目の良い画像を生...

機械学習

このAIの論文は、マルチビュー映像を使用して3Dシーンダイナミクスをモデリングするための画期的な方法を紹介しています

NVFiは、時間の経過に伴って進化する3Dシーンのダイナミクスを理解し予測するという複雑な課題に取り組んでいます。これは、...