バージニア工科大学とマイクロソフトの研究者がアイデアの探求と推論の能力を高めるAIアプローチ、アルゴリズムオブソウツを紹介

Virginia Tech and Microsoft researchers introduce AI approach, Algorithm of Thought, to enhance idea exploration and reasoning abilities.

大規模言語モデル（LLM）は最近進歩を遂げ、その有用性がさまざまな問題解決活動についての認識を高めています。これらのモデルは、コード生成、命令の従属、一般的な問題解決を含むさまざまな問題解決の文脈でその能力を証明しています。現代の研究は、最初のモデルが直接的な回答戦略を使用していたのに対して、線形推論パスを含むより洗練されたアプローチに向かっています。より最近の方法では、複雑な問題は小さなタスクに分割され、手法的な解決方法の検索を容易にするために外部プロセスが組み込まれています。さらに、コンテキストの変更によってトークンの作成を変更するため、外部プロセスが組み込まれています。

現在の研究の主な目的は、現在の思考方法を上回るために、外部の操作機構を使用して生成プロセスを停止し、変更し、再開することです。これにより、LLMの推論能力が向上しますが、クエリのリクエストが増えて結果として費用、メモリの要件、および計算上のオーバーヘッドが増えるというデメリットもあります。

これらの課題を克服するために、バージニア工科大学マイクロソフトの研究チームは、「思考のアルゴリズム」と呼ばれるユニークなアプローチを導入しました。この戦略により、LLMはアルゴリズム的な推論の経路に沿って推進され、文脈内で学習する新しい方法が効果的に作成されます。LLMの内在的な再帰的ダイナミクスは、アルゴリズムの例の助けを借りて使用され、これにより少数のクエリのみが必要ながら概念の探索を拡大することが可能になりました。

• 「The Research Agent 大規模なテキストコーパスに基づいた質問に答える課題への取り組み」
• 「ニューヨーク大学の研究者が、人の見かけの年齢を画像内で変える新しい人工知能技術を開発しましたが、その人の独自の識別特徴を維持します」
• Googleの研究者たちは、AIによって生成された画像を透かしを入れたり識別するためのデジタルツールである「𝗦𝘆𝗻𝘁𝗵𝗜𝗗」を紹介しました

AoTの主な目標は、探索の精神を完全に体現するアルゴリズムの例からLLMを教えることです。この技術は、概念の研究を拡大する一方で、必要なクエリの数を減らします。AoTは、従来の単一クエリの手法を上回り、洗練されたツリー探索アルゴリズムを利用する現代のマルチクエリ手法と競争力を持っています。

この手法は、単一のクエリのみを使用する従来の手法を凌駕することができ、そのためこの手法はユニークです。さらに、この手法の性能は、洗練されたツリー探索アルゴリズムを利用する最近のマルチクエリ手法と比較可能です。その結果、この手法を使用してトレーニングされた場合、LLMはアルゴリズムを上回る可能性があることを示しています。この結果から、LLMは自身の直感を高度な検索手順に組み込む能力を持っていることが示唆されます。

結論として、AoTの使用例は広範です。AoTは、一般的な問題解決から複雑なプログラミングの困難まで、LLMが推論問題にアプローチする方法を完全に変える能力を持っています。アルゴリズムの経路の組み込みにより、LLMはさまざまな解決策を考慮に入れ、バックトラッキング技術をモデル化し、さまざまなサブプロブレムの潜在能力を評価することができます。AoTは、LLMとアルゴリズム思考のギャップを埋めることにより、文脈内の学習における新たなパラダイムを提供します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!