Googleの研究者が新たな大規模言語モデルの能力向上に向けた『Universal Self-Consistency (USC)』を披露

「Googleの研究者による『Universal Self-Consistency (USC)』の披露で、新たな大規模言語モデルの能力向上が期待される」

複数の候補者から最も一貫性のある回答を選び出し、特に数理推論やコード生成などのタスクのパフォーマンスを向上させる問題は、Googleの研究者によって彼らのUniversal Self-Consistency (USC) メソッドを介して取り組まれてきました。このメソッドはLLMを活用し、同一の回答形式や実行結果へのアクセスを必要とせずに、標準的な自己整合性と比較可能な結果を達成します。

再ランキングはアウトプットのサンプリングと事後の基準の適用により、言語モデルの生成を改善します。LLMは、人間の参照なしでモデル生成テキストを評価します。提案されたUSCメソッドは、追加のラベル付きデータや外部の再ランキングモデルを必要とせずに、標準自己整合性と同等のパフォーマンスを発揮します。

LLMは数理推論やコード生成などのタスクに優れています。従来のアプローチでは、サンプリングと基準に基づいて選択することで、LLMの出力品質を向上させてきました。自己整合性はユニークな回答を持つ仕事に効果的ですが、開放的な時代には苦労します。USCは、LLMを使用して複数の候補者から最も一貫性のある回答を選びます。多様なベンチマークで実証されたように、回答の抽出を排除したUSCは、開放的な生成タスクの向上に効果的です。

USCメソッドはLLMを用いて複数の候補者から最も一貫性のある回答を選び出すことで、回答の抽出の必要性を排除します。USCは数理推論、コード生成、要約、開放的なQAなどのベンチマークを使用して自己整合性を自由形式の生成タスクに拡張します。アプローチはLLMを使用して複数のサンプルを生成し、一貫性に基づいて回答を選択します。

USCメソッドは、オリジナルの自己整合性アプローチの制限を超えた開放的生成タスクでの有効性を示しています。USCは、異なる回答形式を持つ数理推論タスクで標準の自己整合性に匹敵し、コード生成タスクではコードの実行を必要としない実行ベースの自己整合性と同等の結果を示します。USCは長い文脈の要約タスクでベースラインを常に改善し、TruthfulQAベンチマークで最高の真実性と情報性の評価を受けます。USCのパフォーマンスは異なる回答順序に対して堅牢であり、特定のタスクの微調整によりさらに向上させることができます。

結論として、USCメソッドは長い文脈の要約や開放的な質問応答タスクにおいてベースラインを一貫して上回り、自由形式の生成タスクにおいて非常に効果的であることが示されています。LLMを使用して複数の候補者から最も一貫性のある回答を選び出すことで、数理推論タスクやコード生成タスクなどのさまざまな応用において、類似した回答形式や実際の実行結果を必要としません。USCは、さまざまな文脈で正確で信頼性の高い回答を生成するための貴重なツールです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「トランスフォーマーブロックは、効率を損なうことなく簡素化することはできるのか? このAIの研究論文は、設計の複雑さと性能のバランスを探求しますETHチューリッヒ大学の論文」

ETHチューリッヒの研究者が、ディープトランスフォーマーの設計における単純化を探求し、より堅牢で効率的なものにすることを...

データサイエンス

「NVIDIA H100 Tensor Core GPUを使用した新しいMicrosoft Azure仮想マシンシリーズが一般利用可能になりました」

Microsoft Azureのユーザーは、最新のNVIDIAの高速計算技術を利用して、生成型AIアプリケーションのトレーニングと展開ができ...

データサイエンス

「高度な生成型AIの探求 | 条件付きVAEs」

はじめに この記事へようこそ。ここでは、生成AIのエキサイティングな世界を探求します。主にConditional Variational Autoen...

AI研究

チャットボットに関する不正行為の懸念は誇張されていたと、新しい研究が示唆しています

「ChatGPTのようなA.I.ツールは、スタンフォードの研究者によると、高校での不正行為の頻度を増加させていない」と言われてい...

機械学習

「大型言語モデルによる多様な学問領域における包括的評価:GPT-4で科学的発見のフロンティアを明らかにする」

最近、大型言語モデル(LLM)は人工知能(AI)コミュニティから多くの賞賛を受けています。これらのモデルは卓越した能力を持...

機械学習

ChatGPTのためのエニグマ:PUMAは、LLM推論のための高速かつ安全なAIアプローチを提案するものです

大規模言語モデル(LLM)は人工知能の領域で革命を起こしています。ChatGPTのリリースはLLMの時代の火付け役となり、それ以来...