ロコムジョコに会おう：厳格な評価と比較のために設計された新しい機械学習ベンチマーク

新しい機械学習ベンチマーク「ロコムジョコ」で厳格な評価と比較

Intelligent Autonomous Systems Group、Locomotion Laboratory、German Research Center for AI、Centre for Cognitive Science、およびHessian.AIの研究者によって、疑似学習（IL）の研究を進めるためのベンチマークが紹介されました。このベンチマークは、既存の単純なタスクに重点を置いている限定的な評価手法の制限に対処しており、クワッドラペッド、バイペッド、および筋骨格ヒューマンモデルを含む多様な環境と包括的なデータセットで構成されています。実際のノイズのあるモーションキャプチャデータ、専門家の正確なデータ、およびサブオプティマルなデータを組み込んでおり、さまざまな難易度レベルで評価が可能です。

既存のベンチマークの制限に取り組むため、LocoMuJoCoはクワッドラペッド、バイペッド、および筋骨格ヒューマンモデルなど、多様な環境を提供しています。実際のモーションキャプチャデータ、専門家の正確なデータ、およびサブオプティマルなデータを伴っており、ベンチマークは難易度レベルにわたるILアルゴリズムの包括的な評価を可能にします。本研究では、確率分布と生体力学的原理に基づく指標が必要であることを強調し、効果的な行動品質評価のために求められるものです。

LocoMuJoCoは、所望のIL用にカスタマイズされたPythonベースのベンチマークであり、既存の基準における標準化の問題に取り組むことを目指しています。LocoMuJoCoはGymnasiumとMushroom-RLライブラリと互換性があり、ヒューマノイドとクワッドラペッドのロコモーション、および筋骨格ヒューマンモデル向けの多様なタスクとデータセットを提供します。この指標は、エンボディメントの不一致、専門家の行動を伴う学習、サブオプティマルな専門家の状態や行動の扱いなど、さまざまなILパラダイムをカバーしています。Mushroom-RLを使用して、クラシカルなIRLおよび対抗的なILアプローチ（GAIL、VAIL、GAIfO、IQ-Learn、LS-IQ、SQIL）のベースラインを提供します。

• 「Llama2とAmazon SageMakerを使用したLoRAのファインチューニングモデルのモデル管理」
• 「大規模な言語モデルを使ったフェイクニュースの検出」を活用する
• 「SAS認定マシンラーニングエンジニアになるために必要なすべて」

LocoMuJoCoは、包括的なデータセットを伴うクワッドラペッド、バイペッド、および筋骨格ヒューマンモデルなど、多様な環境を特徴とするベンチマークです。さまざまなエンボディメントに対するトレーニングのための動的ランダム化のためのスムーズなインターフェース、手作りの指標、最新のベースラインアルゴリズム、およびさまざまなILパラダイムのサポートが含まれています。このモデルは一般的なRLライブラリとのユーザーフレンドリーなインターフェースで簡単に拡張可能です。

LocoMuJoCoは、多様な環境と包括的なデータセットを提供することで、ロコモーションタスクの模倣学習のための包括的なベンチマークです。手作りの指標、最新のベースラインアルゴリズム、およびさまざまなILパラダイムのサポートにより、ILアルゴリズムの評価と比較が容易になります。この標準はクワッドラペッド、バイペッド、および筋骨格ヒューマンモデルをカバーし、異なるエンボディメントに対する一部観測可能なタスクを提供します。LocoMuJoCoは、難易度レベルにわたる評価を確実に行います。

LocoMuJoCoは、既存の基準の制限に取り組むとともに、ILアルゴリズムの徹底的な評価を容易にすることを目指しています。クワッドラペッド、バイペッド、および筋骨格ヒューマンモデルなど、多様な環境を含んでおり、難易度レベルの異なる包括的なデータセットを提供しています。この標準は簡単に拡張可能で一般的なRLライブラリと互換性があり、確率分布と生体力学的原理に基づく指標の開発に関するさらなる研究の必要性を認識しています。

本研究では、模倣学習のベンチマークにおける課題を特定し、クローンされた行動の品質を効果的に測定することの難しさを強調しています。確率分布と生体力学的原理の間の差異に基づく指標の開発に関するさらなる研究を提唱しており、特にサブオプティマルなデモンストレーションの場合には優先順位付けされた専門家のデータセットの探索の重要性が強調されています。さらに多くの環境とタスクを含むようにベンチマークを拡張し、多様なILアルゴリズムを使用して、汎用的なLocoMuJoCo指標を探索することが奨励されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!