ETHチューリッヒとマイクロソフトの研究者が、大規模な言語モデルの推論を強化するための人工知能フレームワーク「SCREWS」を紹介しました

「ETHチューリッヒとマイクロソフトの研究者が、大規模な言語モデルの推論を強化するための人工知能フレームワーク「SCREWS」を紹介」

大型言語モデル（LLM）は、さまざまな推論タスクで成功しています。意図した目的が達成されることを保証するために、LLMの結果を反復的に調整する必要がある場合があります。なぜなら、出力は最初の試行でのみ正確な場合があるからです。これらの改善技術は、連続する結果（同一のモデル、外部モデル、またはツールからの結果）がパフォーマンスを向上させることを前提としています。しかし、後のバージョンが常に改善される保証はありません。図1に示すように、改善は誤った結果を引き起こす場合もあります。これにより、モデルは選択の技術を使用して以前の結果を選択するように促されます。さらに、以前のイテレーションの改良に関する先行研究では、単一の固定推論技術が頻繁に使用されています。しかし、人間はより適応性があります。

図1: 条件付き再サンプリング（または「改善」）が初期応答の適切な変更をもたらす場合があることを示す事例研究の例。変更に代わり、この場合は正しいものである初期応答が選択モジュールによって選ばれるかもしれません。

製品マネージャーは、優先順位付けテクニックに切り替える前に、優先順位付けテクニックでアイデアを複数生成するためのブレインストーミング技術を使用することがあります。同様に、試験の準備をする学生は、誘導的な推論を使用して結果を確認するために、帰納的な推論を使用することがあります。したがって、私たちは様々な戦術を試すために改善に対するモジュラーな戦略を提案しています。この論文では、ETH ZurichとMicrosoft Semantic Machinesの研究者が、変更に関する推論のためのモジュラーフレームワークであるSCREWSを紹介しています。サンプリング、条件付き再サンプリング、および選択は、フィギュア2で詳細に紹介されるアーキテクチャの3つのコアコンポーネントです。彼らはそれぞれのモジュールのサブモジュールを固定してSCREWSを実行します（例えば、サンプリングモジュールに「考えの連鎖」を選ぶことができます）。これは特定のタスクと入力シーケンスに対して行われます。

• メタAIの研究者がRA-DITを導入：知識集約型タスクのための高度な検索機能を持つ言語モデルの改善のための新しい人工知能アプローチとして
• メタAI研究者が高度な長文脈LLMsを提案します：アップサンプリング、トレーニングテクニック、およびGPT-3.5-Turbo-16kの性能を超えるための深い探求
• 清华大学和微软研究人员推出ToRA：用于数学问题解决的人工智能工具集成推理代理

図2は、変更に関する推論のためのモジュラースクリューフレームワークの上位レベルの概要を示しています。3つの大きなボックス（または「モジュール」）は、いくつかの選択肢（または「サブモジュール」）を含んでいます。セルフリファイン、リーストトゥモスト、LLMsノウ（主に）、セルフコンシステンシー、セルフインプルーブ、PHP CoT、セルフコレクト、Socratic CoT、プログラムオブ思考など、多くの以前の試みがフレームワークの例として見られます。(…)は、各モジュールに追加される可能性のある追加のサブコンポーネントを示しており、これには、サンプリングモジュールのキャッシュされたメモリやオンライン検索、条件付き再サンプリングに対する微調整モデルや外部検証者、選択モジュールに対する人間またはオラクルに基づく選択などが含まれます。

サンプリングの最初の出力は、条件付き再サンプリングに渡され、元のサンプルに基づいて変更を作成するかどうかを判断し、必要に応じて変更を作成します。選択モジュールは、すべてのサンプルと変更から最良のものを選択します。彼らのフレームワークのモジュラーデザインを考慮すると、追加のフレームワーク要素を使用することで、いくつかの新しく提案された自己改良手法を強化することができます。彼らのモデルベースの選択技術と自己改良手法を組み合わせることで、全体的なパフォーマンスを向上させることができます。彼らはChatGPTまたはGPT-4を使用して、マルチホップ質問応答、算術的推論、コードデバッグなどのさまざまな推論タスクでSCREWSを評価しています。

標準のサンプルと再サンプリング手順と比較して、彼らの提案された解決策は大幅な改善（10-15%）をもたらします。彼らは異種の再サンプリングの価値を示し、それがモデルの論理にどのように影響を与え、非常に低い総コストでベースラインを大幅に改善することができることを示しています。彼らはまた、モデルベースの選択アプローチの重要性を説明し、それは現代のLLMにおいてモデルが以前のより確かな出力に戻ることを可能にする重要な要素です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!