「UCSDとByteDanceの研究者が、アクターズネルフ(ActorsNeRF)を発表:未知の俳優にも対応するアニメータブルな人間アクターネルフモデルで、フューショット設定の環境に汎化する」という意味です

「UCSDとByteDanceの研究者がアクターズネルフ(ActorsNeRF)を発表:未知の俳優にも対応可能なアニメータブルな人間アクターネルフモデルでフューショット設定の環境に汎化する」という意味です

Neural Radiance Fields(NeRF)は、2D画像またはまばらな3Dデータから3Dシーンとオブジェクトをキャプチャするための強力なニューラルネットワーク技術です。NeRFは、「NeRF in」と「NeRF out」の2つの主要なコンポーネントから構成されるニューラルネットワークアーキテクチャを使用します。「NeRF in」ネットワークは、ピクセルの2D座標と関連するカメラのポーズを入力し、特徴ベクトルを生成します。「NeRF out」ネットワークは、この特徴ベクトルを入力として受け取り、対応する3Dポイントの3D座標と色情報を予測します。

NeRFベースの人物表現を作成するには、通常、さまざまな視点から人物被写体の画像またはビデオをキャプチャします。これらの画像はカメラ、深度センサー、または他の3Dスキャニングデバイスから取得できます。NeRFベースの人物表現には、ゲームや仮想現実のための仮想アバター、アニメーションや映画制作のための3Dモデリング、診断と治療計画のための患者の3Dモデル作成など、さまざまな応用があります。ただし、計算負荷が高く、大量のトレーニングデータが必要です。

それには、同期したマルチビュービデオと特定の人物ビデオシーケンスでトレーニングされたインスタンスレベルのNeRFネットワークの組み合わせが必要です。研究者は、ActorsNeRFと呼ばれる新しい表現方法を提案しています。これは、見知らぬアクターにも対応するカテゴリレベルの人物アクターNeRFモデルであり、数枚の画像(例:30フレーム)のみでAIST ++データセットの見知らぬポーズで新しいアクターの高品質な新規ビューを合成します。

研究者は、2つのレベルのカノニカル空間の方法に従っています。特定のボディポーズとレンダリング視点に対して、3D空間のサンプリングポイントは、スキンウェイトネットワークによって生成されるスキンウェイトを使用して最初にカノニカル空間に変換されます。スキンウェイトは、キャラクターをアニメーションする際に、キャラクターをどのように変形させるかを制御します。スキンウェイトネットワークは、3Dコンピュータグラフィックスでリアルなキャラクターの動きや変形を実現するために重要です。

異なる個人間で汎化するために、研究者はカテゴリレベルのNeRFモデルをさまざまな被験者の多様なセットでトレーニングしました。推論フェーズでは、対象のアクターのわずかな画像のみを使用して、事前トレーニングされたカテゴリレベルのNeRFモデルを微調整しました。これにより、モデルをアクターの特定の特徴に適応させることができます。

研究者は、ActorsNeRFがHumanNeRFアプローチを大幅に上回り、HUmanNeRFシステムと比較して未観測の体の部位に対して有効な形状を維持することを発見しました。ActorsNeRFは、カテゴリレベルを活用して、体の未観測部分をスムーズに合成することができます。ActorsNeRFは、ZJU-MoCapやAIST ++データセットなどの複数のベンチマークでテストされると、未知のポーズを持つ新しい人物アクターを複数のフューショット設定で上回ります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

原子力輸送船のAI推進帆のテスト

英国の使用済み核燃料輸送船団は、燃料費と排出物を減らすために、人工知能による帆を備えた改装を目指しています

機械学習

「50以上の新しい最先端の人工知能(AI)ツール(2023年9月)」

AIツールの開発が急速に増えており、新しいツールが定期的に導入されています。以下のいくつかのAIツールをチェックして、日...

機械学習

人工知能の未来を形作る:進歩と革新のための迅速なエンジニアリングの重要性

ChatGPTはリリース当日から話題になっています。革新的なチャットボットを既に100万人以上のユーザーが利用しています。ChatG...

AIニュース

新技術による道路と橋の建設および修復のためのツール:人工知能

「ペンシルベニア州とその他の地域で、AIが国の老朽化したインフラに適用されていますそれは賢明な判断でしょうか?」

データサイエンス

トランザクション分析:情報を解放し、貸し出しの判断をするための洞察を得る

「よりダイナミックで包括的で効率的な金融の景観を追求するために、トランザクション分析の変革力を探求してください」