このAI研究は、ロボット学習および具現化人工知能の研究のための包括的なソフトウェアプラットフォームとエコシステムであるRoboHiveを提案しています

「ロボット学習と具現化人工知能のための包括的なソフトウェアプラットフォーム RoboHive の提案」

近年、人工知能（AI）の進歩は、言語モデリング、タンパク質折りたたみ、およびゲームプレイなどで特に顕著なものがありました。ロボット学習の発展は控えめでした。AIエージェントにとってセンサーモーターの行動は高度な認知活動よりも inherently（本質的に）困難である、と主張するモラベックの逆説の一部がこの進展の鈍さの原因とされるかもしれません。さらに、ロボット学習のためのソフトウェアフレームワークの複雑さと共通の基準の欠如という重要な問題に焦点を当てなければなりません。その結果、敷居が上がり、迅速なプロトタイプ作成が制限され、アイデアの流れが制約されます。ロボット工学の学問領域は、コンピュータビジョンや自然言語処理のような他の領域に比べて、ベンチマークやデータセットが標準化されているため、より分断されています。

ワシントン大学、UCバークレー、CMU、UTオースティン、Open AI、Google AI、およびMeta-AIの研究者たちは、このギャップを埋めるために、ロボHiveという統合環境を提供しています。 RoboHiveは、ベンチマークおよび研究ツールの両方として機能するプラットフォームです。強化学習、模倣学習、転移学習などのさまざまな学習パラダイムを可能にするために、幅広いコンテキスト、具体的なタスクの説明、厳格な評価基準を提供しています。これにより、研究者は効率的な調査とプロトタイピングを行うことができます。また、RoboHiveはハードウェアの統合と遠隔操作の機能も提供し、現実世界と仮想ロボットの間でスムーズな移行が可能です。彼らは、RoboHiveを使用して、現在のロボット学習の状況と開発の潜在力とのギャップを埋めたいと考えています。 RoboHiveというロボット学習のための統一フレームワークの作成とオープンソース化が彼らの業績の主要な貢献です。

RoboHiveの特徴は以下の通りです：

• NVIDIAの研究者が「Retro 48B」を導入：前の指示調整よりも前にリトリーバルが行われた最大のLLM Pretrained
• SalesForce AI研究所によって開発されたProGen：人工知能を使用したタンパク質エンジニアリングの飛躍的進歩
• プリンストンの研究者が、構造化プルーニングを介した言語モデルの事前トレーニングの加速のためのシャアドLLaMAモデルを紹介します

1. 環境動物園：RoboHiveは、さまざまな学術分野をカバーするさまざまな設定を提供しています。これらの設定は、器用な手の操作、二足歩行ロボットや四足歩行ロボットを使用した移動、および筋骨格の腕・手モデルを使用した操作など、操作タスクに使用することができます。彼らは、物理的な現実主義に重点を置いた物理学シミュレーションを提供するMuJoCoを使用して、仮想世界を動かしています。

2. RoboHiveは、simhooksとハードウェアフックを介して仮想および実際のロボットとスムーズに連携する統一的なRobotClass抽象を提供します。この特別な機能により、一つのフラグを変更するだけで、研究者は簡単にロボットのハードウェアとやり取りし、シミュレーションから現実世界への発見の移行を行うことができます。

3. 遠隔操作とエキスパートデータセット：RoboHiveは、キーボード、3Dスペースマウス、およびバーチャルリアリティコントローラーなど、さまざまなモダリティを介した遠隔操作の機能を提供しています。彼らは、ヒトの遠隔操作によって蓄積された最大の実世界操作データセットの一つであるRoboSetを共有しており、料理の種々のタスクにわたる12の能力をカバーしています。模倣学習、オフライン学習、および関連学科で働く研究者にとって、これらの遠隔操作の機能とデータセットは特に役立ちます。

4. ビジュアルの多様性と物理的な忠実度：RoboHiveは、物理的な現実主義と広範なビジュアルの多様性を重視し、以前のベンチマークを超えて、現実世界のロボットの次の研究フロンティアを明らかにします。複雑なアセット、豊富なテクスチャ、および高度なシーン配置を含めることで、彼らはビジュオモーター制御の研究を日常生活のビジュアルの難しさと結びつけています。さらに、RoboHiveは、さまざまな状況でのシーンのレイアウトやビジュアルドメインのランダム化をネイティブにサポートし、視覚認識の適応性を高め、現実的で豊かな物理的な素材を提供します。

5. メトリクスとベースライン：RoboHiveは、さまざまな状況でアルゴリズムのパフォーマンスを評価するために、短く明確なメトリクスを使用しています。このフレームワークは、学習アルゴリズムとのシームレスな統合に向けたユーザーフレンドリーなgymのようなAPIを提供し、多くの学術研究者や実践家にアクセス可能にします。さらに、RoboHiveはTorchRLとmjRLと提携して、研究コミュニティ内で頻繁に研究されているアルゴリズムの詳細なベースライン結果を提供し、パフォーマンスの比較と研究のためのベンチマークを提供します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!