「UCSDとByteDanceの研究者が、アクターズネルフ(ActorsNeRF)を発表:未知の俳優にも対応するアニメータブルな人間アクターネルフモデルで、フューショット設定の環境に汎化する」という意味です

「UCSDとByteDanceの研究者がアクターズネルフ(ActorsNeRF)を発表:未知の俳優にも対応可能なアニメータブルな人間アクターネルフモデルでフューショット設定の環境に汎化する」という意味です

Neural Radiance Fields(NeRF)は、2D画像またはまばらな3Dデータから3Dシーンとオブジェクトをキャプチャするための強力なニューラルネットワーク技術です。NeRFは、「NeRF in」と「NeRF out」の2つの主要なコンポーネントから構成されるニューラルネットワークアーキテクチャを使用します。「NeRF in」ネットワークは、ピクセルの2D座標と関連するカメラのポーズを入力し、特徴ベクトルを生成します。「NeRF out」ネットワークは、この特徴ベクトルを入力として受け取り、対応する3Dポイントの3D座標と色情報を予測します。

NeRFベースの人物表現を作成するには、通常、さまざまな視点から人物被写体の画像またはビデオをキャプチャします。これらの画像はカメラ、深度センサー、または他の3Dスキャニングデバイスから取得できます。NeRFベースの人物表現には、ゲームや仮想現実のための仮想アバター、アニメーションや映画制作のための3Dモデリング、診断と治療計画のための患者の3Dモデル作成など、さまざまな応用があります。ただし、計算負荷が高く、大量のトレーニングデータが必要です。

それには、同期したマルチビュービデオと特定の人物ビデオシーケンスでトレーニングされたインスタンスレベルのNeRFネットワークの組み合わせが必要です。研究者は、ActorsNeRFと呼ばれる新しい表現方法を提案しています。これは、見知らぬアクターにも対応するカテゴリレベルの人物アクターNeRFモデルであり、数枚の画像(例:30フレーム)のみでAIST ++データセットの見知らぬポーズで新しいアクターの高品質な新規ビューを合成します。

研究者は、2つのレベルのカノニカル空間の方法に従っています。特定のボディポーズとレンダリング視点に対して、3D空間のサンプリングポイントは、スキンウェイトネットワークによって生成されるスキンウェイトを使用して最初にカノニカル空間に変換されます。スキンウェイトは、キャラクターをアニメーションする際に、キャラクターをどのように変形させるかを制御します。スキンウェイトネットワークは、3Dコンピュータグラフィックスでリアルなキャラクターの動きや変形を実現するために重要です。

異なる個人間で汎化するために、研究者はカテゴリレベルのNeRFモデルをさまざまな被験者の多様なセットでトレーニングしました。推論フェーズでは、対象のアクターのわずかな画像のみを使用して、事前トレーニングされたカテゴリレベルのNeRFモデルを微調整しました。これにより、モデルをアクターの特定の特徴に適応させることができます。

研究者は、ActorsNeRFがHumanNeRFアプローチを大幅に上回り、HUmanNeRFシステムと比較して未観測の体の部位に対して有効な形状を維持することを発見しました。ActorsNeRFは、カテゴリレベルを活用して、体の未観測部分をスムーズに合成することができます。ActorsNeRFは、ZJU-MoCapやAIST ++データセットなどの複数のベンチマークでテストされると、未知のポーズを持つ新しい人物アクターを複数のフューショット設定で上回ります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

「「AI-トクラシー」がどのように生まれるか」

中国では、AIによる顔認識技術の使用が、研究者によると、政府が反対派を抑圧する一方で、技術を向上させていると報告されて...

AIニュース

「AIによるPaytmによるインド経済の保護:金融セキュリティの革新」

インドの金融セクターの景観を再定義する画期的な動きとして、Paytmという有名ブランドの親会社であるOne 97 Communications ...

データサイエンス

「Transformerの簡略化:あなたが理解する言葉を使った最先端のNLP — part 3 — アテンション」

「トランスフォーマーは、AIの分野で、おそらく世界中で重大な影響を与えていますこのアーキテクチャはいくつかのコンポーネ...

機械学習

「全体的なメンタルモデルを持つAI製品の開発」

注:この記事は「AIアプリケーションの解析」というシリーズの最初の記事ですこのシリーズでは、AIシステムのためのメンタル...

データサイエンス

オレゴン大学とアドビの研究者がCulturaXを紹介します:大規模言語モデル(LLM)の開発に適した167の言語で6.3Tのトークンを持つ多言語データセット

大規模言語モデル(LLM)は、幅広いタスクで最先端のパフォーマンスを劇的に向上させ、新たな新興スキルを明らかにすることに...

データサイエンス

ジェネラティブAIを通じた感情分析のマスタリング

イントロダクション センチメント分析は、企業が顧客のフィードバックを理解し対応する方法を革新しました。顧客のセンチメン...