「CMUの研究者たちがRoboToolを公開：自然言語の指示を受け取り、シミュレーション環境と実世界のロボットを制御するための実行可能なコードを出力するAIシステム」

「CMUの研究者たちがRoboToolを公開：自然言語で指示を受け取り、シミュレーション環境と実世界のロボットを制御するAIシステムの実行可能なコード」

カーネギーメロン大学とGoogle DeepMindの研究者が協力して、RoboToolと呼ばれるシステムを開発しました。このシステムは大規模な言語モデル（LLM）を活用して、ロボットに物理的な制約や長期的な計画に関わるタスクで創造的にツールを使用させる能力を与えます。このシステムは以下の4つの主要なコンポーネントで構成されています：

1. 自然言語の解釈を行うアナライザー
2. 戦略を生成するプランナー
3. パラメータを計算する計算機
4. 計画を実行可能なPythonコードに変換するコーダー

GPT-4を使用したRoboToolは、従来のタスクとモーションプランニングの方法に比べて、複雑なロボティクスタスクに対する柔軟で効率的かつユーザーフレンドリーなソリューションを提供することを目指しています。

この研究は、ロボットがツールを創造的に使用するという課題に取り組んでおり、動物がツールを使用する際の知性に類似したものです。これは、ロボットがツールを単に予定された目的のために使用するだけでなく、柔軟な解決策を提供するために創造的かつ非伝統的な方法でツールを使用することの重要性を強調しています。従来のタスクとモーションプランニング（TAMP）の方法は、暗黙の制約を伴うタスクの処理において見直す必要があり、計算コストも高くなる傾向があります。大規模な言語モデル（LLM）は、ロボティクスタスクに有益な知識をエンコードすることで有望な成果を示しています。

• 「CMUとマックス・プランク研究所の研究者が、画期的なAI手法「WHAM」を発表：ビデオからの正確かつ効率的な3D人間動作推定」
• 「NYUとGoogle AIの研究者が、機械学習の先進的な演繹的推論のフロンティアを探る」
• スタンフォード大学とセールスフォースAIの研究者が「UniControl」という統合的な拡散モデルを発表：AI画像生成における高度な制御のための統一されたモデル

この研究は、ツールの選択、順次ツールの使用、および製造など、創造的なツール使用能力を評価するためのベンチマークを導入しています。提案されたRoboToolは、シミュレートおよび実世界の環境で評価され、創造的なツール使用がなければ困難なタスクの処理能力を実証しています。このシステムの成功率は、ベースラインの方法を上回り、暗黙的な制約を伴う複雑な長期的な計画タスクの解決における効果を示しています。

評価は、以下の3種類のエラーを計算することで行われました：

1. ツール使用エラーは、正しいツールが使用されているかを示します
2. 論理エラーは、ツールの誤った順序での使用や提供された制約の無視などの計画エラーに焦点を当てます
3. 数値エラーは、誤った目標位置の計算や間違ったオフセットの追加などの計算エラーを含みます

アナライザーを使用しないRoboToolは、大きなツール使用エラーがあり、計算機を使用しないRoboToolは、ロボツールと比べて大きな数値エラーがあります。これは、それぞれの役割がモデルにおいて果たしていることを示しています。

まとめると、言語モデルを活用したRoboToolは、暗黙的な物理的な制約を持つ長期的な計画問題を解決する能力を持つ創造的なロボットツールユーザーです。このシステムのキー概念の識別、創造的な計画の生成、パラメータの計算、実行可能なコードの生成は、創造的なツール使用が必要な複雑なロボティクスタスクの処理に貢献しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!