「NTUシンガポールの研究者が、3Dポイントクラウドからの正確な人間のポーズと形状の推定のためのAIフレームワークであるPointHPSを提案する」という文です

NTUシンガポールの研究者がPointHPSというAIフレームワークを提案

人工知能の分野でのいくつかの進歩により、最近では人の姿勢と形状の推定（HPS）はますます重要な研究分野となっています。モーションキャプチャ、バーチャル試着、混合現実など、さまざまな実用的な応用があり、3Dの人体復元は大きな課題となっています。ポーズの推定や体の配置、さらには3D空間での個人の形状や物理的特性の分析は、このプロセスの一部です。例えば、SMPLモデルのようなパラメトリックな人体モデルを使用することがあります。これらのモデルは、人体の形状や位置の特徴を表現します。

最近の研究では、実世界の環境で取得されたポイントクラウドからの正確な3D HPSのための体系的なフレームワークであるPointHPSが導入されました。PointHPSは、各イテレーションでポイントの特性を繰り返し改良する階層的な設計を使用しています。入力のポイントクラウドデータは、各段階でさまざまなダウンサンプリングとアップサンプリングの技術によって処理される反復的な改良プロセスを経ます。これらのプロセスは、データからローカルおよびグローバルな手がかりを抽出するためのものです。

PointHPSには、特徴抽出手法を改善するための2つの最先端のモジュールが組み込まれています。1つ目はクロスステージ特徴融合（CFF）で、これは複数のスケールの特徴伝播を可能にするモジュールであり、さまざまなネットワークステージ間で効率的な情報伝達を可能にします。これにより、文脈の保存と情報のキャプチャが支援されます。2つ目はIFE（中間特徴強化）で、これは人体の構造を意識した特徴の収集に焦点を当てています。各ステージの後、特徴の品質が向上し、正確な姿勢と形状の推定に適しています。

• XLang NLP研究所の研究者がLemurを提案：テキストとコードの能力をバランスさせた最先端のオープンプリトレーニング済み大規模言語モデル
• 「インセプション、MBZUAI、そしてCerebrasが『Jais』をオープンソース化：世界最先端のアラビア語大規模言語モデル」の記事が公開されました
• 横浜の大学の研究者らが提案した「VirSen1.0：センサーに基づく人間のジェスチャー認識システムの開発を効率化するための仮想環境」

チームは、さまざまな条件下での徹底的な評価を提供するために2つの大規模なベンチマークでテストを実施しました。

1. 実世界のデータセット：このデータセットには、実際の商用センサを使用してラボで記録されたさまざまな参加者とアクションが含まれています。より困難で現実的な環境を表しています。

1. データセット生成：このデータセットは、忙しい屋外のような実際の条件を考慮して入念に作成されました。さまざまな環境パラメータを制御することも可能です。

広範なテストにより、PointHPSがポイント特徴の抽出と処理において最先端の手法を凌駕していることが明らかになりました。CFFおよびIFEモジュールによって改善された提案された階層的なアーキテクチャの効果は、削除実験によってさらに裏付けられています。チームは、追加のポイントクラウド研究におけるHPSに使用するために、事前学習済みモデル、コード、データをリリースする予定です。将来の研究では、実世界のポイントクラウドデータから正確な3D人体位置と形状を推定する能力が向上し、この分野での研究がより容易になるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!