このMITのAI論文では、ロボット操作に革新的な方法を紹介しています：エンコードされた特徴フィールドとビジョン言語モデルによる2Dから3Dのギャップの橋渡し

『このMITのAI論文が革新的なロボット操作手法を紹介！2Dから3Dギャップを埋めるエンコードされた特徴フィールドとビジョン言語モデル』

MITとAIおよび基礎相互作用研究所（IAIFI）の研究チームは、ロボットの操作に革新的なフレームワークを紹介し、予測不可能な複雑な環境で物体を理解し操作する能力の向上に取り組んでいます。課題は、ロボットが3Dジオメトリの詳細な理解を持つ必要があることであり、これは2Dイメージの特徴からは不十分な場合がよくあります。

現在、多くのロボットのタスクでは、空間的な理解と意味的な理解の両方が必要です。たとえば、倉庫のロボットは、製品マニフェストのテキストの記述に基づいて整理されたストレージ容器からアイテムを取り出す必要があります。これには、幾何学的な特性と意味的な属性の両方に基づいて、安定したアイテムの把持能力が必要です。

2Dイメージの特徴と3Dジオメトリのギャップを埋めるため、研究者はFeature Fields for Robotic Manipulation（F3RM）と呼ばれるフレームワークを開発しました。このアプローチは、精緻化された特徴フィールドを活用して、正確な3Dジオメトリと2D基礎モデルの豊かな意味論を組み合わせます。重要な考え方は、事前にトレーニングされたビジョンモデルとビジョン言語モデルを使用して特徴を抽出し、それらを3D特徴フィールドに蒸留することです。

• 「GO TO Any Thing（GOAT）」とは、完全に見たことのない環境で、画像、言語、カテゴリのいずれかで指定されたオブジェクトを見つけることができる、ユニバーサルなナビゲーションシステムです
• ウェイト、バイアス、ロスのアンボクシング：ディープラーニングに集中する
• 「ディープラーニングにおける転移学習とは何ですか？」

F3RMフレームワークには、特徴フィールドの蒸留、特徴フィールドを使用した6自由度（6-DOF）のポーズ表現、および開放テキスト言語ガイダンスの3つの主要なコンポーネントが含まれます。蒸留された特徴フィールド（DFFs）は、Neural Radiance Fields（NeRF）の概念を拡張し、ビジョンモデルから密な2D特徴を復元するための追加の出力を含めています。これにより、モデルは3D位置を特徴ベクトルにマッピングすることができ、空間的な情報と意味的な情報を統合します。

ポーズ表現には、ギリパーの座標フレーム内の一連のクエリポイントを使用し、これらは3Dガウス分布からサンプリングされます。これらのポイントはワールドフレームに変換され、特徴はローカルジオメトリに基づいて重み付けされます。生成された特徴ベクトルはポーズの表現に結合されます。

フレームワークには、オブジェクト操作のための開放テキスト言語コマンドの組み込み機能も含まれます。ロボットはテストの際に、オブジェクトの操作を指定する自然言語のクエリを受け取ります。それから関連するデモンストレーションを取得し、粗い把持を初期化し、提供された言語ガイダンスに基づいて把持姿勢を最適化します。

結果として、研究者は把持と配置のタスク、および言語ガイドの操作についての実験を行いました。密度、色、およびアイテム間の距離を理解できました。カップ、マグ、ドライバーハンドル、およびキャタピラの耳の実験では成功しました。ロボットは形状、外観、材料、およびポーズが大きく異なるオブジェクトにも一般化することができました。また、デモンストレーション中に見たことのない新しいカテゴリのオブジェクトに対しても、自由テキストの自然言語コマンドに正しく応答しました。

結論として、F3RMフレームワークは、ロボット操作システムのオープンセット汎化の課題に対する有望な解決策を提供します。2D視覚の事前知識と3Dジオメトリを組み合わせ、自然言語のガイダンスを組み込むことにより、ロボットが多様で複雑な環境で複雑なタスクを処理する道を開きます。シーンごとにモデル化にかかる時間など、まだ制限はありますが、このフレームワークはロボティクスと自動化の分野を進歩させるための重要なポテンシャルを秘めています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!