コンピュータビジョンシステムは、ビデオから筋肉の活動を推定できるのでしょうか？筋肉の動き（MIA）に出会う：筋肉の活動を人間の動き表現に組み込むための新しいデータセット

コンピュータビジョンシステムは筋肉の活動を推定できるか？筋肉の動き（MIA）に出会う：新しいデータセットで人間の動きに組み込む

近年、人工知能の分野が話題となっています。自然言語処理と自然言語理解に基づく人間を模倣する大規模言語モデルであるGPT 3.5や、コンピュータビジョンに基づくテキストから画像への変換モデルであるDALL-Eなど、AIは成功に向けて歩みを進めています。AIのサブフィールドであるコンピュータビジョンは、新しいアプリケーションのリリースごとにさらに進化しています。ビデオから人間の動きを分析し、ポーズ推定、アクション認識、モーション転送などのさまざまなタスクに取り組む能力を持つようになりました。

コンピュータビジョンは人間の動きを決定するためだけのものではありません。すべての行動は、私たちの脳が神経に電気信号を送り、それが筋肉の収縮を引き起こし、最終的には関節の動きにつながる結果です。研究者たちは、人間の移動を駆動する筋肉の活動をシミュレートするアプローチを開発するために多くの努力をしてきました。この研究を進めるために、コロンビア大学の2人の研究者が「Muscles in Action（MIA）」という新しいユニークなデータセットを紹介しました。このデータセットには、12.5時間の同期したビデオと表面筋電図（sEMG）データが含まれており、10人の被験者がさまざまな運動を行っています。

筋電図（sEMG）センサーは、侵襲的および非侵襲的なバージョンで利用可能な、筋肉活動を決定するための従来のツールです。研究者たちは、MIAデータセットを使用して、ビデオから筋肉の活動を予測し、逆に筋肉の活動データから人間の動きを再構築する表現を開発しました。主な目的は、基礎となる筋肉の活動と視覚情報の複雑な関係を理解することです。両方のモダリティを共同モデリングすることにより、モデルは筋肉の活動に一致する動きを生成するために条件付けられています。

• 中国の最新のAI研究により、「OMMO」と呼ばれる大規模な屋外マルチモーダルデータセットと新しい視点合成および暗黙的なシーン再構築のためのベンチマークが紹介されました
• 「2023年の小売り向けデータストリーミングの状況」
• メタAIは、IMAGEBINDを紹介します：明示的な監督の必要性なく、一度に6つのモダリティからデータを結合できる最初のオープンソースAIプロジェクトです

このプロジェクトの主な部分は、ビデオで見られる人間の動きとsEMG信号によって反映される内部の筋肉活動との関連性をモデリングするためのフレームワークです。チームによって共有された研究論文は、人間の活動分析、条件付きの動き生成、多モーダル学習、筋電図、および物理学に基づく人間の動き生成に関連する研究の概要を簡潔に説明しています。これに続いて、多モーダルデータセットの詳細な説明と分析が行われます。

評価のために、研究者たちはトレーニングデータとは異なるデータおよびトレーニングデータと似たデータに対して、モデルがどれだけうまく機能するかを確認するために、分布内の参加者とエクササイズ、および分布外の被験者とワークアウトで実験を行いました。この評価は、手法の一般化可能性を検証するのに役立ちます。

結論として、コンピュータビジョンシステムで筋肉を使用することには、多くの潜在的な利用法があります。内部の筋肉活動を理解しシミュレートすることによって、豊かな仮想人間モデルを作成することができます。これらのモデルは、スポーツ、フィットネス、拡張現実、仮想現実に関連するさまざまな実世界の設定で使用することができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!