NVIDIAとUTオースティンの研究者がMimicGenを紹介：ロボティクスのための自律的なデータ生成システム

ナビディアとUTオースティンの研究者がMimicGenを紹介 ロボティクス向けの自律的なデータ生成システム

様々な操作動作をロボットに学習させるために、人間のデモンストレーションを模倣学習することが可能になりました。人間のオペレータは、さまざまな制御インターフェースを介してロボットアームをテレオペレートし、ロボットが異なる操作タスクを実行する様々なデモンストレーションを生成し、そのデータを使用してロボットにこれらのタスクを独立して実行させるように学習させる方法が一般的です。最近の取り組みでは、より多くのデータをより多くの人間オペレータの大規模なグループから、より広範な機能領域で収集することで、このパラダイムを拡大しようとする試みが行われています。これらの研究では、大規模で多様なデータセット上の模倣学習が印象的な性能を示し、ロボットが新しいオブジェクトや未知のタスクに対して汎化できることを示しています。

これは、幅広く優れたロボットを作成するための重要な第一歩であることを意味しています。しかし、これは高価で時間のかかる人間の作業によってのみ可能な達成です。例えば、コーラの缶を一つのビンから別のビンに移動させるエージェントのケーススタディを見てみましょう。この単純な作業においても、200のデモが必要で、成功率は73.3%でした。さらに、最近の試みでは、様々なシーンやアイテムの設定に拡大するために、数万のデモが必要であることが明らかになりました。例えば、20,000の軌跡データを使用して、オブジェクトや目標のわずかな変化に対する課題を一般化できることが示されています。

図1：研究者たちは、既存のデモを新しいコンテキストで有用に着想し、大規模で多様なデータセットを生成するデータ生成システムを提供しています。彼らはMimicGenを使用して、様々なアイテム、ロボットギア、シーンの設定に対してデータを提供しています。

• オープンAIは、最新のモデルGPT-4 Turboを発表しました
• モデルアーキテクチャのための生成AIに向けて
• 「データストーリーテリングとアナリティクスにおける生成AIのインパクトの公開」

約1.5年にわたるデータ収集の取り組みで、NVIDIAとUT Austinの研究者は、複数の人間オペレータ、複数のキッチン、ロボットアームを使用して、キッチン内の物事を再配置、清掃、回復するためのルールを97%の成功率で作成しました。ただし、実世界のキッチンでこのシステムを実装するためには、必要なデータを収集するために何年もかかることがまだわかっていません。彼らは、「このデータはどの程度異なる操作動作から構成されているのか」と尋ねています。これらのデータセットには、さまざまな設定や状況で使用される類似の変更技術が含まれる場合があります。たとえば、カップを掴む場合、カップの配置に関係なく、人間のオペレータは非常に似たようなロボットの軌跡を示すかもしれません。

これらの軌跡をさまざまな状況に適用することで、様々な操作動作を生成するのに役立ちます。しかし、これらの手法の適用範囲は、特定のタスクやアルゴリズムに対する仮定により制約されています。それよりも、彼らは現在の模倣学習プロセスに簡単に組み込むことができ、さまざまな活動のパフォーマンスを向上させることができる普遍的なシステムを作成したいと考えています。この研究では、限られた数の人間の例から自動的に多数のシナリオで巨大なデータセットを生成するユニークなデータ収集手法であるMimicGenを提案しています。彼らの手法は、ヒトのデモンストレーションをオブジェクトにフォーカスしたパーツに分割し、それらを空間上で変形させ、組み合わせ、ロボットにこの新しい経路をたどるように指示して、異なるオブジェクトの姿勢を持つ新たなシナリオで最新のデモンストレーションを収集するものです。単純な手法ですが、この手法は様々なシナリオから大規模なデータセットを生成するのに非常に適していることがわかりました。これらのデータセットは、模倣学習を使用して有能なエージェントの訓練に使用することができます。

彼らの貢献は以下の通りです：

• NVIDIAとUT Austinの研究者が、限られた数の人間のデモンストレーションを利用して、新しい状況適応を用いた技術で大規模で多様なデータセットを作成するMimicGenを提案しています。

• 彼らは、MimicGenが高品質のデータを提供できることを示しています。これらのデータは、元のデモには含まれていないさまざまなシーンの設定、オブジェクトのインスタンス、ロボットアームに対して訓練されたスキルのあるエージェントを模倣学習で訓練するのに適しています（図1を参照）。ピック＆プレース、挿入、関節オブジェクトとのインターフェースなど、MimicGenが広範で高精度なアクティビティに適しており、異なる操作能力が求められます。200の元の人間のデモで、彼らは2つのシミュレータと実際のロボットアームを使って、18のジョブのために50,000以上の追加のデモを生成しました。

• 彼らの方法は、より多くの人間のデモを集める代替方法と同等のパフォーマンスを発揮します。これは、いつ追加データを人間から要求する必要があるかについて重要な懸念を引き起こします。MimicGenを使用して同じ量の合成データを生成する（例：10人から生成された200のデモと200人のデモ）と、エージェントのパフォーマンスが同等になります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!