「UCSDとByteDanceの研究者が、アクターズネルフ(ActorsNeRF)を発表:未知の俳優にも対応するアニメータブルな人間アクターネルフモデルで、フューショット設定の環境に汎化する」という意味です

「UCSDとByteDanceの研究者がアクターズネルフ(ActorsNeRF)を発表:未知の俳優にも対応可能なアニメータブルな人間アクターネルフモデルでフューショット設定の環境に汎化する」という意味です

Neural Radiance Fields(NeRF)は、2D画像またはまばらな3Dデータから3Dシーンとオブジェクトをキャプチャするための強力なニューラルネットワーク技術です。NeRFは、「NeRF in」と「NeRF out」の2つの主要なコンポーネントから構成されるニューラルネットワークアーキテクチャを使用します。「NeRF in」ネットワークは、ピクセルの2D座標と関連するカメラのポーズを入力し、特徴ベクトルを生成します。「NeRF out」ネットワークは、この特徴ベクトルを入力として受け取り、対応する3Dポイントの3D座標と色情報を予測します。

NeRFベースの人物表現を作成するには、通常、さまざまな視点から人物被写体の画像またはビデオをキャプチャします。これらの画像はカメラ、深度センサー、または他の3Dスキャニングデバイスから取得できます。NeRFベースの人物表現には、ゲームや仮想現実のための仮想アバター、アニメーションや映画制作のための3Dモデリング、診断と治療計画のための患者の3Dモデル作成など、さまざまな応用があります。ただし、計算負荷が高く、大量のトレーニングデータが必要です。

それには、同期したマルチビュービデオと特定の人物ビデオシーケンスでトレーニングされたインスタンスレベルのNeRFネットワークの組み合わせが必要です。研究者は、ActorsNeRFと呼ばれる新しい表現方法を提案しています。これは、見知らぬアクターにも対応するカテゴリレベルの人物アクターNeRFモデルであり、数枚の画像(例:30フレーム)のみでAIST ++データセットの見知らぬポーズで新しいアクターの高品質な新規ビューを合成します。

研究者は、2つのレベルのカノニカル空間の方法に従っています。特定のボディポーズとレンダリング視点に対して、3D空間のサンプリングポイントは、スキンウェイトネットワークによって生成されるスキンウェイトを使用して最初にカノニカル空間に変換されます。スキンウェイトは、キャラクターをアニメーションする際に、キャラクターをどのように変形させるかを制御します。スキンウェイトネットワークは、3Dコンピュータグラフィックスでリアルなキャラクターの動きや変形を実現するために重要です。

異なる個人間で汎化するために、研究者はカテゴリレベルのNeRFモデルをさまざまな被験者の多様なセットでトレーニングしました。推論フェーズでは、対象のアクターのわずかな画像のみを使用して、事前トレーニングされたカテゴリレベルのNeRFモデルを微調整しました。これにより、モデルをアクターの特定の特徴に適応させることができます。

研究者は、ActorsNeRFがHumanNeRFアプローチを大幅に上回り、HUmanNeRFシステムと比較して未観測の体の部位に対して有効な形状を維持することを発見しました。ActorsNeRFは、カテゴリレベルを活用して、体の未観測部分をスムーズに合成することができます。ActorsNeRFは、ZJU-MoCapやAIST ++データセットなどの複数のベンチマークでテストされると、未知のポーズを持つ新しい人物アクターを複数のフューショット設定で上回ります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

信頼性のある世代をチェーンオブバーニケーションを通じて解放する 迅速なエンジニアリングの飛躍

大規模言語モデルにおける幻覚を減らすための重要な手段である「Chain-of-Verification Prompt Engineering(検証チェーン・プ...

機械学習

「最高のAI画像エンハンサーおよびアップスケーリングツール(2023年)」

これらは、利用可能なトップのAI画像アップスケーラーおよびエンハンサーツールのいくつかです: HitPaw Photo Enhancer(エ...

人工知能

「トップの音声からテキストへのAIツール(2023年)」

インテリジェントな音声認識ソフトウェアは、AIとMLによって可能にされた最も価値のある機能の一つであり、自動的にオーディ...

機械学習

「自分の武器を選ぶ:うつ病AIコンサルタントの生存戦略」

最新のターミネーターの映画が最近公開されましたこの新しいエピソードでは、未来の人間の抵抗組織がロボットを過去に送り、O...

AIニュース

「Amazon SageMakerを使用して数千のMLモデルのトレーニングと推論をスケール化する」

数千のモデルのトレーニングとサービスには、堅牢でスケーラブルなインフラストラクチャが必要ですそれがAmazon SageMakerの...

機械学習

ジェミニに会ってください:Googleの画期的なマルチモーダルAIモデルが人工知能の未来を再定義する

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screen...