「SwimXYZとの出会い:水泳モーションとビデオのための合成データセット、3.4Mフレームにグラウンドトゥルースの2Dおよび3Dジョイントの注釈が付いています」
「SwimXYZとの素晴らしい出会い:水泳モーションとビデオのための合成データセット、3.4Mフレームには誇り高い2Dおよび3Dジョイントの注釈がたくさん!」
人間の動作キャプチャは、スポーツ、医療、エンターテイメント業界のキャラクターアニメーションなど、さまざまな業界で重要なツールとして登場しています。モーションキャプチャは、スポーツにおいて、ケガの予防、ケガの分析、ビデオゲーム業界のアニメーション、さらにはテレビ放送局への情報的な可視化など、さまざまな目的で利用されています。従来のモーションキャプチャシステムは、ほとんどの状況で確かな結果を提供しますが、設置、キャリブレーション、ポストプロセスに費用と時間がかかり、広範なスケールでの利用が困難です。水泳などの水上活動では、マーカーの反射や水中カメラの設置など、独特の問題が生じます。
最近の進歩により、簡単で手ごろな価格のデバイスを使って、RGBの写真や映画から動きを捉えることができるようになりました。これらのリアルタイム、単一カメラシステムは、既存のライブビデオデータを利用してスポーツイベントでのモーションキャプチャの広範な適用の可能性を開くかもしれません。これは、アマチュアアスリートのトレーニングプログラムを向上させるために小規模な構造物に使用されるかもしれません。ただし、より多くのデータが必要なため、水泳におけるコンピュータビジョンに基づくモーションキャプチャではいくつかの障壁があります。2D(2D関節、体のセグメンテーション)または3D(3D関節、仮想マーカー)のいずれのHuman Pose and Shape(HPS)推定手法でも、画像から情報を抽出する必要があります。ただし、従来のデータセットでトレーニングされたコンピュータビジョンアルゴリズムは、水中データの取り扱いには力不足であり、訓練用の画像とは大きく異なります。
HPS推定の最近の進展により、合成データが実際の画像を置き換えたり補完したりすることができるようになりました。彼らは、SwimXYZを導入して、水泳における画像ベースのモーションキャプチャ技術の応用範囲を拡大しようとしています。SwimXYZは、リアルな泳ぎのプールから採取された2Dおよび3D関節が注釈付けされた水泳専用映像を備えた人工的なデータセットです。SwimXYZを構成する11520本の映画の3.4百万フレームは、カメラの視点、対象物と水の見た目、照明、アクションなどが異なります。また、SMPL形式の240本の合成水泳モーションシーケンスとともに、SwimXYZはさまざまな体形と水泳モーションを提供しています。
- 「WHOが医療分野におけるAI規制の考慮事項の概要を発表」
- In English Building a Batch Data Pipeline with Athena and MySQL
- 「NVIDIA DGX クラウドと AI エンタープライズがオラクルクラウドマーケットプレイスに登場」
CentraleSupélec、IETR UMR、Centrale Nantes、Université Technologique de Compiègneの研究者たちは、この研究でSwimXYZを作成しました。この大規模な人工水泳動作と映像のコレクションは、論文の承認後にオンラインで公開される予定です。SwimXYZの試験は、水泳におけるモーションキャプチャの潜在能力を示しており、その目標はより広く使用されるようになることを支援することです。将来の研究では、SwimXYZが提供する映像を用いて2Dおよび3Dポーズ推定モデルのトレーニングに加えて、SMPL形式の動作を使用してポーズのトレーニングやモーションプライオリを行うことができます。また、将来の作品では被写体(性別、体型、水着のルックス)や場所(外部環境、プール底)の多様性を補完することも考えられます。その他の改善点として、セグメンテーションや深度マップなどの他のアノテーションの追加や、飛び込みやターンなどの追加の水泳モーションなどが考えられます。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles