マイクロソフトとコロンビア大学の研究者が提案する「LLM-AUGMENTER」は、ブラックボックスLLMに一連のプラグアンドプレイモジュールを追加するAIシステムです

The LLM-AUGMENTER proposed by researchers from Microsoft and Columbia University is an AI system that adds a series of plug-and-play modules to the black box LLM.

大規模言語モデル(LLM)の例としてGPT-3は、広範な世界知識を持つため、一貫性のある情報豊かな自然言語テキストを生成する能力について広く認識されています。しかし、LLMにこの知識をエンコードすることは情報の損失を伴い、メモリの歪曲を引き起こし、使命遂行上重要なタスクに悪影響を及ぼす幻覚を引き起こすことがあります。さらに、一部のアプリケーションにはLLMが必要な情報をすべてエンコードすることができず、ニュースの質問応答のような時間的に敏感なタスクには適していません。外部の知識を使用してLLMを強化するためのさまざまな手法が提案されてきましたが、これらは通常、LLMパラメータの微調整を必要とするため、高額な費用がかかることがあります。そのため、使命遂行上のタスクでパフォーマンスを向上させるために固定のLLMに追加できるプラグアンドプレイモジュールが必要です。

本論文では、大規模言語モデル(LLM)を使命遂行上のアプリケーションに適用する課題に取り組むためのLLM-AUGMENTERというシステムを提案しています。このシステムは、タスク固有のデータベースに格納された外部の知識を用いてブラックボックスLLMを拡張するためのプラグアンドプレイモジュールを備えています。また、LLMが生成した応答の信憑性スコアを向上させるために、ユーティリティ関数によって生成されるフィードバックを用いた反復的なプロンプトの修正も含まれています。このシステムの有効性は、タスク指向の対話およびオープンドメインの質問応答シナリオで経験的に検証されており、幻覚を大幅に減らす一方で反応の流暢さと情報量を損なうことなく改善しています。システムのソースコードとモデルは公開されています。

LLM-Augmenterのプロセスは、主に3つのステップで構成されています。まず、ユーザーのクエリが与えられると、ウェブ検索やタスク固有のデータベースなどの外部の知識源から証拠を取得します。また、取得した生の証拠を関連するコンテキストに結び付け、結合して「証拠の連鎖」を作成することもできます。次に、LLM-Augmenterは、統合された証拠を使用してChatGPTなどの固定LLMにプロンプトを与え、証拠に基づいた応答を生成します。最後に、LLM-Augmenterは生成された応答をチェックし、対応するフィードバックメッセージを作成します。このフィードバックメッセージは、候補の応答が検証要件を満たすまでChatGPTのクエリを修正して反復します。

本研究で示されている作業は、LLMとユーザーとの相互作用に関連する外部の知識をブラックボックスLLMに効果的に追加するLLM-Augmenterアプローチを示しています。この拡張により、LLMによって生成される応答の流暢さと情報の質を損なうことなく、幻覚の問題を大幅に軽減することができます。

LLM-AUGMENTERのパフォーマンスは、情報検索対話タスクにおいて自動評価と人間の評価を使用して評価されました。モデルの出力と人間の応答の真の値との重複や、データセット収集時に参照として使用された人間の知識との重複を評価するために、Knowledge F1(KF1)やBLEU-4などの一般的に使用されるメトリックが使用されました。さらに、DSTC9およびDSTC11のカスタマーサポートタスクにおいて人間の判断と最も相関するこれらのメトリックも含まれています。また、対話のテキスト生成において最も優れたパフォーマンスを発揮するBLEURT、BERTScore、chrF、BARTScoreなどの他のメトリックも考慮されました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

この中国のAI研究は、マルチモーダルな大規模言語モデル(MLLMs)の幻覚を修正するために設計された革新的な人工知能フレームワークである「ウッドペッカー」を紹介します

中国の研究者たちは、マルチモーダルな大規模言語モデル(MLLM)における幻覚の問題に対処するために、Woodpeckerという新し...

データサイエンス

METAのHiera:複雑さを減らして精度を高める

畳み込みニューラルネットワークは、20年以上にわたってコンピュータビジョンの分野を支配してきましたトランスフォーマーの...

コンピュータサイエンス

AIが使われて新しいビートルズの最後の曲が作成された、ポール・マッカートニー氏が語る

ミュージシャンは、古いデモからジョン・レノンの声を「抽出」し、数十年前の曲を完成させるためにテクノロジーを使用したと...

機械学習

「LLaMaTabに会おう:ブラウザ内で完全に動作するオープンソースのChrome拡張機能」

LLaMaTab–興味深いChrome拡張機能 LLaMaTab New TabというChromeアドオンは、新しいタブが開かれるたびに異なるラマの画像を...

機械学習

「DRESS」とは、自然言語フィードバックを通じて人々と調和し、対話する大規模なビジョン言語モデル(LVLM)です

ビッグビジョン言語モデル、またはLVLMは、ビジュアルな手がかりを解釈し、ユーザーが簡単に対話するための簡単な返答を提供...

機械学習

マイクロソフトは、エンタープライズ向けにカスタマイズされたAzure ChatGPTを発表しました

I had trouble accessing your link so I’m going to try to continue without it. Microsoft Azure ChatGPTは、ネット...