MITの研究者らが、言語モデルの解読において、新たなトレーニングフリーかつゲーム理論に基づくAI手法を紹介

MITの研究者が新たなトレーニングフリーかつゲーム理論に基づくAI手法で言語モデルの解読を紹介

一部の課題は、現在の言語モデル(LM)によって比較的成功裡に処理されています。これには、質問に答える、事実確認、さらには無条件のテキスト生成など、事実の主張の作成または検証が必要なタスクが含まれます。しかし、増加するサイズに伴い、LMは誤ったが頻繁に繰り返されるコメントを生成しやすくなるという証拠が増えています。彼らは完全に信頼できるとは言えません。さらに、LMには事実生成タスクを解決するためのいくつかの機能があるため、問題が複雑化します。

彼らは一部確定的な生成タスクの解決のために生成的に(最も可能性の高い答えを尋ねることによって)も識別的に((質問-回答ペアを提示し、回答が受け入れ可能かどうか尋ねることによって)使用できますが、これらの2つの方法は時に異なる結果をもたらします。確率質量が複数の矛盾する回答に広がる場合、生成的な方法は失敗する可能性があります。一方、質問に微妙な依存関係があるか、較正不良のために識別的な方法は失敗する可能性があります。これらの混沌でしばしば相反するシグナルから、LMの真実に関する最良の推定値をどのように抽出すべきでしょうか?MITの研究者たちは、シグナルゲームであるCONSENSUS GAMEを使用して、生成的および識別的なLMのデコーディングプロセスをつなぐ方法を提供しています。

ディスクリミネーターエージェントは、高レベルで抽象的な正しいまたは間違った値をジェネレーターエージェントに伝える必要がありますが、それを実現するには限られた数の自然言語文字列を利用するしかないようです。ジェネレーターとディスクリミネーターが文字列の正確さの割り当てで合意するという組み合わせのポリシーは、このゲームにとって成功したアプローチとなる可能性があります。彼らは、みんなが正しいと合意する候補者を見つけるために、そのようなアプローチを検討することができます。難しい(文字値の)アクション空間を持つ多段階ゲームを解く必要があります。No-regret学習アルゴリズムは、最近ではポーカーやストラテゴ、外交などのゲームで勝利戦略を計算するための定番の手法となっています。

ここで、彼らは自由形式の言語の作成に関わるタスクでも使用できることを示しています。このゲーム理論的なLMデコーディングの手法は、EQUILIBRIUM-RANKINGとして知られています。それは、質問応答のパフォーマンスに関して6つのベンチマーク(MMLU、ARC、RACE、HHH、TruthfulQA、GSM8K)で使用され、現在使用されている生成的、識別的、混合のデコーディング手法を大幅に上回る結果が得られました。広い意味では、彼らの結果は、ゲーム理論的なツールセットがLMの一貫性を形式化し向上させるためにどのように使用できるかを示しています。事実タスクの正確性も一貫性の増加によって改善されます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

「UTオースティン大学の研究者が、安定した拡散を用いたAI手法「PSLD」を紹介追加のトレーニングなしにすべての線形問題を解決する」

逆問題を解決するためには、2つのアプローチのカテゴリがあります。監督学習の手法では、復元モデルがタスクを完了するために...

機械学習

「Falcon 180Bをご紹介します:1800億のパラメータを持つ、公開されている最大の言語モデル」

強力かつ多目的な言語モデルへの需要は、自然言語処理と人工知能においてますます迫り来るものとなっています。これらのモデ...

機械学習

このAI論文では、コンピュータビジョンの基盤について包括的な分析を紹介し、事前学習モデルの強みと弱点を明らかにします

コンピュータビジョンにおいて、バックボーンは多くのディープラーニングモデルの基本的なコンポーネントです。分類、検出、...

AI研究

新しいAI研究が「方向性刺激プロンプティング(DSP)」を導入:望ましい要約を生成するためにLLMをより適切に導くための新しいプロンプティングフレームワーク

自然言語処理(NLP)は、最近の大規模言語モデル(LLM)の出現により、従来の比較的小さな言語モデル(LM)であるGPT-2やT5 R...

AI研究

ペンシルベニア大学の研究者たちは、腎臓のマッチングを改善し、移植片の失敗リスクを減らすための機械学習戦略の開発を行っています

AIは、遺伝子の特定の変異を分析することにより、腎移植のリスクを最小化することで、人々に希望の光をもたらしています。腎...