Googleの研究者が新たな大規模言語モデルの能力向上に向けた『Universal Self-Consistency (USC)』を披露

「Googleの研究者による『Universal Self-Consistency (USC)』の披露で、新たな大規模言語モデルの能力向上が期待される」

複数の候補者から最も一貫性のある回答を選び出し、特に数理推論やコード生成などのタスクのパフォーマンスを向上させる問題は、Googleの研究者によって彼らのUniversal Self-Consistency (USC) メソッドを介して取り組まれてきました。このメソッドはLLMを活用し、同一の回答形式や実行結果へのアクセスを必要とせずに、標準的な自己整合性と比較可能な結果を達成します。

再ランキングはアウトプットのサンプリングと事後の基準の適用により、言語モデルの生成を改善します。LLMは、人間の参照なしでモデル生成テキストを評価します。提案されたUSCメソッドは、追加のラベル付きデータや外部の再ランキングモデルを必要とせずに、標準自己整合性と同等のパフォーマンスを発揮します。

LLMは数理推論やコード生成などのタスクに優れています。従来のアプローチでは、サンプリングと基準に基づいて選択することで、LLMの出力品質を向上させてきました。自己整合性はユニークな回答を持つ仕事に効果的ですが、開放的な時代には苦労します。USCは、LLMを使用して複数の候補者から最も一貫性のある回答を選びます。多様なベンチマークで実証されたように、回答の抽出を排除したUSCは、開放的な生成タスクの向上に効果的です。

USCメソッドはLLMを用いて複数の候補者から最も一貫性のある回答を選び出すことで、回答の抽出の必要性を排除します。USCは数理推論、コード生成、要約、開放的なQAなどのベンチマークを使用して自己整合性を自由形式の生成タスクに拡張します。アプローチはLLMを使用して複数のサンプルを生成し、一貫性に基づいて回答を選択します。

USCメソッドは、オリジナルの自己整合性アプローチの制限を超えた開放的生成タスクでの有効性を示しています。USCは、異なる回答形式を持つ数理推論タスクで標準の自己整合性に匹敵し、コード生成タスクではコードの実行を必要としない実行ベースの自己整合性と同等の結果を示します。USCは長い文脈の要約タスクでベースラインを常に改善し、TruthfulQAベンチマークで最高の真実性と情報性の評価を受けます。USCのパフォーマンスは異なる回答順序に対して堅牢であり、特定のタスクの微調整によりさらに向上させることができます。

結論として、USCメソッドは長い文脈の要約や開放的な質問応答タスクにおいてベースラインを一貫して上回り、自由形式の生成タスクにおいて非常に効果的であることが示されています。LLMを使用して複数の候補者から最も一貫性のある回答を選び出すことで、数理推論タスクやコード生成タスクなどのさまざまな応用において、類似した回答形式や実際の実行結果を必要としません。USCは、さまざまな文脈で正確で信頼性の高い回答を生成するための貴重なツールです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

「スタンフォード大学の研究者が自然な視覚の解読を解明し、新しいモデルが目が視覚シーンを解読する方法を明らかにする」

感覚神経科学の分野における基本的な目標は、自然な視覚シーンを処理するのに責任のある神経コードの複雑なメカニズムを理解...

機械学習

「PyTorchモデルのパフォーマンス分析と最適化—パート6」

「これは、PyTorch ProfilerとTensorBoardを使用してPyTorchモデルを分析および最適化するトピックに関するシリーズ投稿の第6...

AIニュース

このAI論文は、「サブセンテンスエンコーダーを紹介します:テキストの細かい意味表現のための対照的に学習されたコンテクスト埋め込みAIモデル」という意味です

ペンシルベニア大学、ワシントン大学、テンセントAI Labの研究者は、サブセントエンコーダーを提案しています。これは対照的...

AI研究

このAI研究は、DISC-MedLLMという包括的な解決策を提案し、大規模言語モデル(LLM)を活用して正確な医療応答を提供します

テレメディシンの台頭により、医療の提供方法が変わり、プロフェッショナルネットワークを広げ、価格を下げ、遠隔医療相談を...

機械学習

デビッドソンシーングラフにお会いください:高精度なテキストから画像へのAI評価のための革命的なAIフレームワーク

T2Iモデル(テキストから画像を生成するモデル)の評価は困難であり、しばしば質問生成と回答(QG/A)の手法に依存してテキス...

機械学習

ラストマイルAIは、AiConfigをリリースしました:オープンソースの構成駆動型、ソースコントロールに対応したAIアプリケーション開発フレームワーク

AIアプリケーション開発の進化する風景の中で、AI Configは、LastMile Ai から登場し、開発者がAIモデルを統合し、管理する方...