「ユーレカ！NVIDIAの研究によるロボット学習の新たな進展」

「ユーレカ！NVIDIAの研究によるロボット学習の新たな進展」

ロボットに複雑なスキルを教えることができるNVIDIA Researchによって開発された新しいAIエージェントは、ロボットの手にペン回しのテクニックを迅速に演じることを学習しました。これは人間と同じくらいのスキルです。

上記のビデオで見られる驚くべき手品は、ユーレカによってほぼ30のタスクを学習させることによって達成されました。ユーレカは報酬アルゴリズムを自律的に書き、ボットをトレーニングします。

ユーレカは、引き出しやキャビネットを開ける、ボールを投げてキャッチする、はさみを使うなどのタスクもロボットに教えました。

今日発表されたユーレカの研究には、論文とこのプロジェクトのAIアルゴリズムが含まれており、開発者はNVIDIA Isaac Gymを使用して実験することができます。これは強化学習研究のための物理シミュレーションリファレンスアプリケーションです。アイザックジムは、オープンUSDフレームワークに基づいた3Dツールやアプリケーションを構築するための開発プラットフォームであるNVIDIA Omniverse上に構築されています。ユーレカ自体は、GPT-4大規模言語モデルによって動作します。

• 研究者たちは、AIシステムを取り巻くガードレールはあまり堅牢ではないと述べています
• UCバークレーの研究者たちは、「リングアテンション：トランスフォーマーのメモリ要件を削減するためのメモリ効率の良い人工知能アプローチ」という提案を行っています
• 「マイクロソフトの研究者たちはDeepSpeed-VisualChatを提案：スケーラブルなマルチモーダル言語モデルの訓練の大きな進歩」というタイトルで、記事の内容を日本語に翻訳すると、以下のようになります

「ここ10年で強化学習は素晴らしい成果を上げてきましたが、報酬設計などの課題はまだ存在します。それは試行錯誤のプロセスです。」と、NVIDIAのAI研究の上級ディレクターであるアニマ・アナンドクマールは語りました。彼女はまた、ユーレカの論文の共著者でもあります。「ユーレカは、困難なタスクを解決するために生成的学習と強化学習の手法を統合する新しいアルゴリズムを開発するための第一歩です。」

AIがロボットをトレーニング

論文によると、ユーレカが生成する報酬プログラムは、ロボットの試行錯誤学習において、専門家によって作成されたものよりも80%以上のタスクで優れたパフォーマンスを発揮しています。これにより、ボットの平均パフォーマンスが50%以上向上しています。

ユーレカによって引き出しを開けるように学習されたロボットアーム。

このAIエージェントは、ロボットに強化学習のためのソフトウェアコードを生成するためにGPT-4 LLMと生成的AIを活用しています。具体的なタスクの促しや事前定義された報酬テンプレートは必要ありません。また、開発者のビジョンにより正確に合わせて報酬を修正するための人間のフィードバックをすぐに組み込むことができます。

Isaac GymのGPUアクセラレーションされたシミュレーションを使用することにより、ユーレカは効率的なトレーニングのために大規模な報酬候補の品質を迅速に評価することができます。

ユーレカは、トレーニング結果からキーとなる統計情報の要約を作成し、LLMに報酬関数生成の改善を指示します。このように、AI自体が自己改善しています。ユーレカは、四足歩行、二足歩行、クアッドローター、器用な手、共同作業者のアームなど、あらゆる種類のロボットにあらゆる種類のタスクを実行することを教えてきました。

この研究論文では、20のユーレカによるトレーニングされたタスクについて、ロボットの手が幅広い複雑な操作スキルを示す必要があるオープンソースの手先器用さベンチマークに基づく詳細な評価が提供されています。

NVIDIA Omniverseを使用して生成された視覚化で、9つのIsaac Gym環境の結果が紹介されています。

ユーレカを通じて走りの足技を学ぶヒューマノイドロボット。

「ユーレカは、大規模言語モデルとNVIDIAのGPUアクセラレーションされたシミュレーション技術のユニークな組み合わせです」と、プロジェクトの貢献者のひとりであるNVIDIAのシニアリサーチサイエンティスト、リンシ・”ジム”・ファンは述べています。「ユーレカは、器用なロボットの制御を可能にし、アーティストに物理的にリアルなアニメーションを提供する新しい方法を提供すると考えています。」

これは開発者の心を可能性で踊らせる革新的な仕事であり、Voyagerのような最近のNVIDIA Researchの進歩に加わります。VoyagerはGPT-4を使用して構築されたAIエージェントであり、自律的にMinecraftをプレイすることができます。

NVIDIA Researchは、AI、コンピュータグラフィックス、コンピュータビジョン、自動運転車両、ロボット工学などのトピックに特化した数百人の科学者とエンジニアからなるグローバルなチームで構成されています。

EurekaとNVIDIA Researchについて詳しく学びましょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!