Search Results Eureka

ユレカ：大規模な言語モデルをコーディングすることによる人間レベルの報酬設計

近年、大型言語モデルの進化によって、これらのLLMフレームワークが連続的な高レベルの意思決定タスクのための意味的なプランナーとして優れている理由が驚くほど明らかになっていますしかし、開発者は依然として複雑な低レベルの操作タスクの学習にLLMフレームワークの全ての潜在能力を活用することに苦戦していると感じています現在の大型言語モデルには、効率性がありますが、[…]が必要です

ユリーカに会ってください：大規模な言語モデルでパワードされた人間レベルの報酬設計アルゴリズム

大型言語モデル（LLM）は、高レベルの計画に優れていますが、ペン回しのような低レベルのタスクに対するサポートが必要です。しかし、NVIDIA、UPenn、Caltech、UT Austinの研究者チームは、EUREKAと呼ばれるアルゴリズムを開発しました。EUREKAは、GPT-4などの高度なLLMを使用して、強化学習を通じた複雑なスキル獲得のための報酬関数を作成します。EUREKAは、人間が設計した報酬よりも安全で高品質なヒントを提供し、ヒューマンフィードバックに基づいた勾配のない文脈学習により、画期的な成果を上げました。このブレイクスルーは、シミュレートされたShadow Handがペン回しのトリックを習得するというLLMを活用したスキル獲得の道を開くものです。強化学習における報酬の設計は課題となっており、既存の手法では手動のトライアンドエラー、逆強化学習など、よりスケーラブルで適応性のある手法が必要とされています。EUREKAは、LLMを利用してリアルタイムで報酬を向上させるために解釈可能な報酬コードを生成する方法を提案しています。以前の研究では意思決定のためにLLMが用いられてきましたが、EUREKAは低レベルのスキル学習タスクへの適用において画期的であり、初期の候補やフューショットのプロンプトを必要とせず、LLMと進化アルゴリズムを組み合わせた報酬設計を先駆的に行っています。 LLMは高レベルの計画に秀でていますが、ペン回しのような低レベルのスキルにはサポートが必要です。強化学習における報酬設計はしばしば時間のかかるトライアンドエラーに頼っています。彼らの研究は、GPT-4などの高度なコーディングLLMを活用し、自律的にさまざまなタスクの報酬関数を作成して、多様な環境で人間による報酬を上回る成果を収めました。EUREKAはまた、ヒューマンフィードバックからの文脈学習を可能にし、報酬の品質と安全性を向上させます。これにより、マニュアルによる報酬設計では不可能な緻密な操作タスクへの取り組みを可能にしています。 EUREKAは、GPT-4などのLLMによって駆動される報酬設計アルゴリズムであり、29の強化学習環境において優れた成果を収めています。モデルの更新を必要とせず、ヒューマンフィードバック（RLHF）からの文脈学習を活用して報酬の品質と安全性を向上させます。EUREKAの報酬は、シミュレートされたShadow Handがペン回しや高速のペン操作をマスターするためのトレーニングを可能にします。これにより、進化アルゴリズムとLLMを組み合わせた報酬設計が実現され、初期の候補やフューショットのプロンプトが不要となり、強化学習の重要な進歩を示しています。 EUREKAは、L2Rを上回り、報酬の生成表現性を示しています。EUREKAは一貫して改善し、最良の報酬は最終的には人間の基準を上回ります。それは、人間と弱い相関を持つユニークな報酬を作成し、直感に反する設計原則を明らかにする可能性があります。報酬の反映は、高次元のタスクでのパフォーマンスを向上させます。カリキュラム学習と共に、EUREKAはシミュレートされたShadow Handを使って緻密なペン回しのタスクに成功します。 EUREKAは、LLMの力を借りて人間レベルの報酬生成を達成し、タスクの83％で平均52％の向上を遂げます。LLMを進化アルゴリズムと組み合わせることは、困難で開放的な問題における報酬設計のための多目的かつスケーラブルなアプローチを証明します。EUREKAの器用さは、カリキュラム学習を使って緻密なペン回しのような複雑なタスクを解決することで明らかです。その適応性と劇的な性能向上は、多様な強化学習と報酬設計の応用において有望です。将来の研究の方向性には、EUREKAの適応性と性能をさらに多様で複雑な環境や異なるロボット設計で評価することが含まれます。シミュレーションを超えた現実世界での適用可能性を評価することは重要です。モデルベースの手法やメタ学習などの強化学習技術との相乗効果を探求することで、EUREKAの機能をさらに向上させることができます。EUREKAが生成した報酬関数の解釈可能性についての調査は、その意思決定プロセスの理解のために不可欠です。人間のフィードバックの統合を強化し、ロボット技術以外のさまざまな領域でのEUREKAの可能性を探求することは、有望な方向性です。

このAIニュースレターがあれば、あなたは全てが揃った！＃70

今週のAIでは、特に2つの新しいエージェントモデルのリリースに興味を持っていましたNvidiaは、複雑なタスクを自律的に実行するためにロボットをガイドするために設計されたAIエージェント「ユーレカ」を発表しました…

ロボット学習の革命：NVIDIAのユーレカが複雑なタスクをこなす

テクノロジーが絶えず進化する世界で、NVIDIAは再びその能力を発揮し、画期的な進歩を遂げましたEureka AIエージェント「この最先端のツールは、あらゆるAIモデルとは異なり、ロボットの領域を変革し、かつて複雑すぎると考えられていた複雑なタスクを習得する能力を提供していますロボットが[…]を行うと想像してみてください」

「ユーレカ！NVIDIAの研究によるロボット学習の新たな進展」

ロボットに複雑なスキルを教えることができるNVIDIA Researchによって開発された新しいAIエージェントは、ロボットの手にペン回しのテクニックを迅速に演じることを学習しました。これは人間と同じくらいのスキルです。上記のビデオで見られる驚くべき手品は、ユーレカによってほぼ30のタスクを学習させることによって達成されました。ユーレカは報酬アルゴリズムを自律的に書き、ボットをトレーニングします。ユーレカは、引き出しやキャビネットを開ける、ボールを投げてキャッチする、はさみを使うなどのタスクもロボットに教えました。今日発表されたユーレカの研究には、論文とこのプロジェクトのAIアルゴリズムが含まれており、開発者はNVIDIA Isaac Gymを使用して実験することができます。これは強化学習研究のための物理シミュレーションリファレンスアプリケーションです。アイザックジムは、オープンUSDフレームワークに基づいた3Dツールやアプリケーションを構築するための開発プラットフォームであるNVIDIA Omniverse上に構築されています。ユーレカ自体は、GPT-4大規模言語モデルによって動作します。「ここ10年で強化学習は素晴らしい成果を上げてきましたが、報酬設計などの課題はまだ存在します。それは試行錯誤のプロセスです。」と、NVIDIAのAI研究の上級ディレクターであるアニマ・アナンドクマールは語りました。彼女はまた、ユーレカの論文の共著者でもあります。「ユーレカは、困難なタスクを解決するために生成的学習と強化学習の手法を統合する新しいアルゴリズムを開発するための第一歩です。」 AIがロボットをトレーニング論文によると、ユーレカが生成する報酬プログラムは、ロボットの試行錯誤学習において、専門家によって作成されたものよりも80%以上のタスクで優れたパフォーマンスを発揮しています。これにより、ボットの平均パフォーマンスが50%以上向上しています。 https://blogs.nvidia.com/wp-content/uploads/2023/10/franka_cabinet.mp4 ユーレカによって引き出しを開けるように学習されたロボットアーム。このAIエージェントは、ロボットに強化学習のためのソフトウェアコードを生成するためにGPT-4 LLMと生成的AIを活用しています。具体的なタスクの促しや事前定義された報酬テンプレートは必要ありません。また、開発者のビジョンにより正確に合わせて報酬を修正するための人間のフィードバックをすぐに組み込むことができます。 Isaac GymのGPUアクセラレーションされたシミュレーションを使用することにより、ユーレカは効率的なトレーニングのために大規模な報酬候補の品質を迅速に評価することができます。ユーレカは、トレーニング結果からキーとなる統計情報の要約を作成し、LLMに報酬関数生成の改善を指示します。このように、AI自体が自己改善しています。ユーレカは、四足歩行、二足歩行、クアッドローター、器用な手、共同作業者のアームなど、あらゆる種類のロボットにあらゆる種類のタスクを実行することを教えてきました。この研究論文では、20のユーレカによるトレーニングされたタスクについて、ロボットの手が幅広い複雑な操作スキルを示す必要があるオープンソースの手先器用さベンチマークに基づく詳細な評価が提供されています。 NVIDIA Omniverseを使用して生成された視覚化で、9つのIsaac Gym環境の結果が紹介されています。 https://blogs.nvidia.com/wp-content/uploads/2023/10/humanoid.mp4 ユーレカを通じて走りの足技を学ぶヒューマノイドロボット。…

「水中ロボットが深海採鉱のためのハイテク未来をもたらすかもしれません」

マイニングソリューション開発者のImpossible MetalsのRenee Groganは、生態系を損なうことなく海底から貴金属を収穫するために、水中ロボットを重要な要素として考えています

「LangChainを使用して、強力な大規模言語モデルを使用してデータフレームをクエリしてください」

「前回の記事では、ChromaDBのようなベクトルデータベースを使って情報を保存し、Hugging FaceのLarge Language Modelsへのクエリにパワフルなプロンプトを作成する方法を説明しました…」

Learn more about Search Results Eureka