LLMの理論的思考力を向上させるための方法：コードの連鎖を促進する解明

「LLM理論的思考力向上のための方法：コード連鎖促進の解明」

 

重要なポイント

 

• Code of Code (CoC)は、コードの執筆と選択的なコードのエミュレーションを組み合わせることにより、言語モデルとの対話を強化し、推論能力を向上させる新しい手法です。
• CoCは、論理、算術、言語のタスクにおいて、特にこれらのスキルの組み合わせを必要とするタスクで、言語モデルの能力を拡張します。
• CoCにより、言語モデルはコードを書くだけでなく、コンパイルできない部分もエミュレートし、複雑な問題の解決にユニークなアプローチを提供します。
• CoCは、大規模な言語モデルにも小規模な言語モデルにも効果的です。

 

キーとなるアイデアは、言語モデルに、プログラム内の言語のサブタスクを柔軟な疑似コードとしてフォーマットすることを促すことで、コンパイラが未定義の動作を明示的にキャッチし、それをLMでシミュレートするために引き継ぐことです（「LMulator」として）。

• マイクロソフトAIチームがPhi-2を紹介：2.7Bパラメーターの小型言語モデルで、優れた推論能力と言語理解能力を示します
• このAI論文では、大規模言語モデルでの関連しない行動について探求されています：“シミュレートされた株式取引におけるGPT-4の欺瞞的な戦略”
• このAI論文では、EdgeSAMを紹介していますエッジデバイス上で高速で効率的な画像セグメンテーションを進めるための機械学習を発展させています

 

はじめに

新しい言語モデル（LM）のプロンプト、コミュニケーション、トレーニング技術が次々と現れ、LMの推論能力とパフォーマンスを向上させるための手段が増えています。そのような新たな技術の一つが、Code of Code（CoC）の開発です。これは、LMのコード駆動型推論を進化させる方法です。この技術は、従来のコーディングとLMのコード実行の革新的なエミュレーションを組み合わせたもので、複雑な言語と算術的な推論タスクに取り組むための強力なツールを提供します。

CoCは、言語、算術、言語処理の組み合わせを必要とする複雑な問題を処理する能力によって、従来のLMでは難しいとされてきた問題に取り組むことができます。CoCの効果は、大規模なモデルに限らず、さまざまなサイズのモデルにおいて展開され、AIの推論において汎用性と広範な適用範囲を示しています。

 

 

Chain of Codeの理解

CoCは、LMの機能においてパラダイムシフトです。これは、LMから望ましい応答を引き出す可能性を高めるための単純なプロンプト戦略ではありません。代わりに、CoCは、前述の推論タスクに取り組むLMのアプローチを再定義します。

CoCの根本的な考え方は、LMがコードを書くだけでなく、直接実行できない部分もエミュレートすることができるという点にあります。この二重性により、LMは言語の微妙なニュアンスと論理的な算術問題解決を組み合わせた幅広いタスクを処理できます。CoCは、言語のタスクを疑似コードとしてフォーマットすることができ、従来のコーディングとAIの推論とのギャップを効果的に埋めることができます。この橋渡しにより、柔軟かつより能力のある複雑な問題解決システムが実現されます。CoCの向上した機能の主要なコンポーネントであるLMulatorは、LMに直接利用できないコードの実行結果をシミュレートおよび解釈することを可能にします。

CoCは、Chain of Thoughtなどの既存の手法に比べて、言語と計算の推論の組み合わせが必要なシナリオにおいて、さまざまなベンチマークで顕著な成功を収めています。

 

実験の結果、Chain of CodeはChain of Thoughtや他のベースラインを大幅に上回り、BIG-Bench Hardでは84%の成果を上げました。Chain of Thoughtと比べて12%の利点があります。

 

 

Chain of Codeの実装

 CoCの実装は、コーディングとエミュレーションプロセスを統合した独自の推論タスクのアプローチを特徴としています。CoCは、LMに複雑な推論タスクを疑似コードとしてフォーマットするよう促し、それを解釈して解決します。このプロセスは、以下の複数のステップで構成されます：

1. 推論タスクの特定：推論が必要な言語または算術タスクを特定する
2. コードの執筆：LMは疑似コードまたは柔軟なコードスニペットを書き、解決策の概要を示す
3. コードのエミュレーション：直接実行できないコードの一部に対して、LMは期待される結果をエミュレートし、コードの実行をシミュレートします
4. 出力の結合：LMは実際のコード実行とそのエミュレーションの結果を組み合わせて、問題の包括的な解決策を形成します

これらのステップにより、LMは「コードで考える」ことで、より幅広い範囲の推論問題に取り組むことができ、問題解決能力が向上します。

LMulatorは、CoCフレームワークの一部として、いくつかの特定の方法でコードと推論の洗練を大幅に支援することができます：

• エラーの識別とシミュレーション：言語モデルがエラーや実行不可能な部分を含むコードを書いた場合、LMulatorはこのコードが実行された場合の振る舞いをシミュレートし、論理エラーや無限ループ、エッジケースを明らかにすることができ、LMにコードの論理を再考し調整するようにガイドします。
• 未定義の振る舞いの処理：コードに未定義または曖昧な振る舞いが含まれる場合、標準のインタープリタでは実行できないが、LMulatorはコンテキストと意図の理解を利用して、出力や振る舞いがどうなるべきかを推測し、従来の実行では失敗する場合でも推論されたシミュレートされた出力を提供します。
• コードの推論の改善：言語と計算の推論の組み合わせが必要な場合、LMulatorは言語モデルが自身のコード生成を反復することを可能にし、さまざまなアプローチの結果をシミュレートすることで、コードを「推論」する効果的な方法を提供し、より正確かつ効率的なソリューションにつながります。
• エッジケースの探索：LMulatorは、異なる入力をシミュレートしてコードがどのようにエッジケースを処理するかを探索し、コードが堅牢でさまざまなシナリオに対応できるようにすることができます。
• 学習用のフィードバックループ：LMulatorがコードをシミュレートし、問題や潜在的な改善点を特定すると、このフィードバックは言語モデルがコーディングと問題解決のアプローチを学び、洗練させるために使用することができます。これは、モデルのコーディングと推論の能力を時間とともに改善する持続的な学習プロセスです。

LMulatorは、シミュレーションと反復的な改善のためのプラットフォームを提供することで、言語モデルがコードを記述し、テストし、洗練する能力を向上させます。

 

結論

 CoC技術は、LMの推論能力を向上させるための進歩です。CoCはコードの記述と選択的なコードエミュレーションを統合することで、LMが取り組める問題の範囲を広げます。このアプローチは、ニュアンスのある思考が必要なより複雑な現実世界のタスクをAIが処理できる潜在能力を示しています。重要なことは、CoCが大規模なLMだけでなく、小規模なモデルでも優れた能力を発揮し、その推論能力を向上させる可能性を提供していることです。

詳細については、こちらのフルペーパーをご覧ください。  

****[Matthew Mayo](https://www.kdnuggets.com/wp-content/uploads/./profile-pic.jpg)**** (@mattmayo13) は、コンピュータサイエンスの修士号とデータマイニングの修了証を持つ。VoAGIの編集長として、Matthewは複雑なデータサイエンスの概念を理解しやすくすることを目指している。彼の専門的な興味は、自然言語処理、機械学習アルゴリズム、新興のAIの探求にあります。彼はデータサイエンスコミュニティでの知識の民主化を目指すミッションに駆り立てられています。Matthewは6歳からコーディングをしています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!