清华大学和微软研究人员推出ToRA:用于数学问题解决的人工智能工具集成推理代理

清华大学とマイクロソフトの研究者が開発したToRA:数学問題解決のための人工知能ツールの統合推論エージェント

“`html

人工知能と数学問題解決において、特に大規模な言語モデルの出現により、顕著な進展がなされています。しかし、これらのモデルは依然として複雑な数学的な課題に取り組んでいます。マイクロソフトと清華大学の研究者は、自然言語推論と外部計算ツールを組み合わせた画期的なアプローチである「Tool-integrated Reasoning Agents(TORA)」を紹介し、複雑な数学の問題に対処することを目指しています。

研究者は、計算機、コードインタプリタ、およびシンボリックソルバなどの外部ツールを統合することで、これらの課題に対処しています。プログラムベースの手法は、推論タスクをプログラム合成タスクに変換することで効果的に推論を変革していますが、微妙な推論、計画、エラーハンドリングの問題があります。大規模な言語モデル(LLM)にこれらのツールを組み込むことで、推論と生成の性能が大幅に向上しました。LLM生成の軌跡を用いたナレッジ蒸留技術は、先生モデルから生徒モデルへの知識の転移にも役立っています。

LLMは、数学的な推論を含む言語タスクで注目すべき進展を遂げていますが、複雑な数学は依然として困難です。LLMの数学的な能力を高めるための現在の戦略は、ステップバイステップの自然言語推論とプログラム合成です。前者は意味的で抽象的な推論において優れていますが、後者は厳密な操作において優れており、方程式ソルバなどの特殊なツールを利用することができます。このアプローチは、数学的な推論データセットにおいてオープンソースモデルよりも優れた精度を持ち、特に競技レベルのMATHSデータセットで高い精度を達成しています。彼らの手法はまた、数学的な推論におけるツールの相互作用の利点と解決されていない課題に関する洞察を提供し、この領域における将来の研究を指針としています。

TORAモデルは、数学のデータセット上の対話型ツール使用軌跡を用いて訓練され、アノテーションによる模倣学習を適用し、出力空間形成による推論の挙動を洗練しました。訓練セットではGPT-4が多様な推論パターンを生成しました。プロンプトのキュレーションのため、命令と少量の例が交互に構成され、rationalesとプログラムの統合を行うTORAの効果も評価されました。重要な推論性能の向上が実現されています。特定された課題には、ジオメトリスペースのより深い理解と、中級代数と前計算問題における複雑な象徴的推論への対処が含まれます。

TORAは、自然言語の推論とプログラムベースのツール使用をシームレスに統合することで、数学的な推論を向上させます。TORAモデルは、十の数学的な推論データセットにおいて優れた性能を発揮し、平均して13%から19%の絶対的な改善を取り、プログラムベースの問題解決においても優れた性能を発揮しています。ツールの相互作用の利点と課題を分析するこの手法は、rationalesとプログラムの実行を交錯させるTORAのTool-integrated Reasoning形式の効果を示しています。

TORAは、自然言語原理とプログラムベースのツール使用を無理なく統合することにより、数学的な問題解決の前進を実現しています。既存の原理とプログラムベースの手法を凌駕し、さまざまな数学的な推論タスクにおいて最先端の性能を発揮しています。ツールの相互作用の利点と課題に関する包括的な分析は、将来の研究において重要な洞察を提供し、より高度かつ適応性のある推論エージェントの開発を約束しています。

“`

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

ラストマイルAIは、AiConfigをリリースしました:オープンソースの構成駆動型、ソースコントロールに対応したAIアプリケーション開発フレームワーク

AIアプリケーション開発の進化する風景の中で、AI Configは、LastMile Ai から登場し、開発者がAIモデルを統合し、管理する方...

データサイエンス

Generating AI(AIを生成する) vs マシンラーニング(機械学習):区別の解読

「ジェネラティブAIと機械学習を使ってデータ駆動型の意思決定の世界を探検しましょうデータ変換におけるそれぞれの違いと役...

AIニュース

「AIが空中戦にロボットの相棒をもたらす」

人工知能(AI)は、アメリカ空軍の無人のXQ-58A ヴァルキリー実験機を操作しています軍はこれを従来の戦闘機の次世代のロボッ...

AI研究

スタンフォード大学の新しい人工知能研究は、説明が意思決定時のAIシステムへの過度の依存を軽減する方法を示しています

近年の人工知能(AI)のブームは、AIの能力によって仕事がより速く、より少ない労力で行われることによって、人間の生活がど...

機械学習

AutoML - 機械学習モデルを構築するための No Code ソリューション

はじめに AutoMLは自動機械学習としても知られています。2018年、GoogleはクラウドAutoMLを発表し、大きな関心を集め、機械学...

人工知能

「AIを使ってGmailの受信トレイをクリアする方法」

あなたはGmailの受信トレイでメールの山を探検するのに疲れていますか?ニュースレターやプロモーション、スパムに溺れている...