ゲーム業界の皆様へ！もう奇妙な鏡は不要です、Mirror-NeRFが登場しました！

To the gaming industry! No need for a strange mirror anymore, Mirror-NeRF has arrived!

NeRF（ニューラル・ラディアンス・フィールド）は、RNNとCNNの組み合わせを使用して、形状、材質、テクスチャなどの物体の物理的特性を捉えます。異なる照明条件下で物体のリアルなイメージを生成することができます。高解像度のイメージを生成する能力により、医学、ロボット工学、エンターテイメントなどで非常に有用であることが証明されています。

鏡が現実世界に普遍的に存在する場面の3D再構築とレンダリングは、長年の課題でした。NeRFを使用した鏡の再構築の不一致に対処するため、浙江大学の研究者たちは、ミラー-NeRFを紹介しています。ミラー-NeRFは、ミラー内の反射を正しくレンダリングするために、反射確率を提出し、Whitted Ray Tracingの光輸送モデルに従って光線を追跡することにより、統一された放射輝度場における反射を実現します。

NeRF、RefNeRF、NeRFReNの3つの方法は、以前に学習した反射を補完することで、新しい視点からミラーの反射を生成しました。ただし、訓練中に見たことのない反射を信頼性を持って推測することや、シーンに新たに導入されたアイテムやミラーに対して反射を合成することには制約があります。新しく導入されたミラー-NeRF技術は、物理的なレイトレーシングをニューラルレンダリングプロセスに統合することにより、ミラー内の反射を正確に描画し、さまざまなシーンの変更アプリケーションに役立つことができます。

• GAN（Generative Adversarial Networks）
• 「Amazon SageMaker JumpStartを使用したゼロショットテキスト分類」
• 「機械学習に人間のミスを組み込む」

合計で5つの合成データセットと4つの実データセットが作成され、ピーク信号対雑音比（PSNR）、構造類似性指数（SSIM）、学習済み知覚画像パッチ類似度（LPIPS）のメトリックを用いた新しい視点合成の定量的比較が行われました。ミラーの凹凸した表面が反射の品質に大きな影響を与えるため、最適化プロセスにはいくつかの正則化項も導入されました。すべての正則化項を有効にした場合、最も高い画像品質でミラー内の正確な反射を得ることに成功しました。

研究結果は、NeRF、Ref-NeRF、NeRFReNが、色に高周波変動があるオブジェクトの反射を生成するのに苦労していることを示しています。例えば、ミーティングルームのミラーの歪んだ掛け絵、オフィスとラウンジのミラーのぼやけたカーテン、衣料品店のミラーの「曇った」洋服などです。一方、新しい手法は反射された光線を追跡することで、オブジェクトの詳細な反射をレンダリングします。ミラーを使った作業には大きな進展がありますが、まだ屈折をフレームワークに組み込むことはできていません。

結論として、このブレークスルーはゲームおよび映画業界に新たな可能性を約束しています。アーティストは、複雑なビジュアル効果を作成し、ミラー操作を利用したり、例えばミラー内の反射を異なるシーンで置き換えたりすることを望むかもしれません。マルチビューの一貫性を持ったミラー内の新しいシーンのフォトリアリスティックなビューを合成することができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!