「MITとハーバードの研究者が提案する(FAn)：SOTAコンピュータビジョンとロボティクスシステムの間のギャップを埋める包括的なAIシステム- 任意のオブジェクトのセグメンテーション、検出、追跡、および追従のためのエンドツーエンドのソリューションを提供する」

MIT and Harvard researchers propose a comprehensive AI system (FAn) to bridge the gap between state-of-the-art computer vision and robotics systems, providing an end-to-end solution for segmentation, detection, tracking, and following of any object.

MITとハーバード大学の研究者チームが新しいAI研究で、画期的なフレームワーク「Follow Anything」（FAn）を紹介しました。このシステムは、現在の物体追跡ロボットシステムの制約を解決し、リアルタイムでのオープンセット物体追跡と追従の革新的な解決策を提供しています。

既存のロボット物体追跡システムの主な欠点は、認識されるカテゴリの固定セットと、対象物体の指定における利便性の欠如による新しいオブジェクトの収容能力の制約です。新しいFAnシステムは、テキスト、画像、またはクリッククエリを介して新しいオブジェクトに適応しながら、幅広い物体をシームレスに検出、セグメント化、追跡、追従するオープンセットアプローチを提案することで、これらの問題に取り組んでいます。

提案されたFAnシステムの主な特徴は次のとおりです：

• メタスの新しいテキストから画像へのモデル – CM3leon論文の説明
• 「ライス大学とIITカーンプールは、共同研究賞の受賞者を発表します」という文を日本語に翻訳すると、以下のようになります： 「ライス大学とIITカーンプールは、共同研究賞の受賞者を発表します」
• CMUの研究者たちは、視覚的な先行知識をロボティクスのタスクに転送するためのシンプルなディスタンスラーニングAIメソッドを開発しました：ベースラインに比べてポリシーラーニングを20％改善

オープンセットマルチモーダルアプローチ：FAnは、カテゴリに関係なく、与えられた環境内の任意の物体のリアルタイム検出、セグメンテーション、追跡、追従を容易にする新しい手法を導入しています。

統一的な展開：このシステムは、マイクロエアリアルビークルに焦点を当てたロボットプラットフォームへの簡単な展開を設計しており、実用的なアプリケーションへの効率的な統合を可能にしています。

堅牢性：このシステムは、トラッキングプロセス中に追跡されるオブジェクトが遮られたり一時的に見失われたりするシナリオを処理するための再検出メカニズムを組み込んでいます。

FAnシステムの基本的な目的は、オンボードカメラを搭載したロボットシステムが興味のあるオブジェクトを識別し、追跡することです。これには、ロボットが移動する中でオブジェクトがカメラの視野内に留まることを確認する必要があります。

FAnは、この目標を達成するために最先端のVision Transformer（ViT）モデルを活用しています。これらのモデルはリアルタイム処理に最適化され、一体化されたシステムに統合されています。研究者たちは、セグメンテーションのためのSegment Anything Model（SAM）、自然言語から視覚的な概念を学習するためのDINOとCLIP、そして軽量の検出と意味セグメンテーションスキームなど、さまざまなモデルの強みを活用しています。また、リアルタイムのトラッキングは（Seg）AOTとSiamMaskモデルを使用して容易に行われます。オブジェクト追従プロセスを制御するために、軽量のビジュアルサービングコントローラも導入されています。

研究者たちは、FAnの性能をさまざまなオブジェクトでゼロショット検出、追跡、追従のシナリオで評価するために包括的な実験を行いました。その結果、システムはリアルタイムで興味のあるオブジェクトを追跡する能力がシームレスかつ効率的であることが示されました。

結論として、FAnフレームワークはクローズドセットシステムの制約を排除し、リアルタイムの物体追跡と追従の包括的な解決策を提供します。オープンセットの性質、マルチモーダルの互換性、リアルタイム処理、新しい環境への適応性により、それはロボティクスにおける重要な進歩です。さらに、チームがシステムのオープンソース化に取り組んでいることは、幅広い実世界のアプリケーションに利益をもたらす可能性を示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!