メタリサーチャーズがVR-NeRFを紹介：高精細なキャプチャーと仮想現実の歩行可能な空間のレンダリングのための先進的なエンドツーエンドAIシステム

メタリサーチャーズがVR-NeRFをご紹介：高精細なキャプチャーと仮想現実の歩行可能な空間のレンダリングを可能にする最先端のエンドツーエンドAIシステム

手頃な価格の仮想現実（VR）技術の登場により、現実的なVR写真やビデオなどの高度に没入型の映像メディアが大幅に成長しています。既存の手法は一般的に次の2つのカテゴリに分類されます：

• 直径が1メートル未満の小さなヘッドボックスでの高品質のビュー合成は、ユーザーの動きを制限してしまいます。
• 低品質またはフレームレートのシーンスケールの自由視点ビューシンセシスでは、ユーザーは自由に移動できますが、レンダリングされた画像の品質が低下します。

既存の手法の制限に対処するため、本論文の著者たちはVR-NeRFを導入しました。これは、ユーザーが実世界の空間を歩き回り、探索できる現実的なVR体験を作成することができるシステムです。研究者たちが使用したデータセットは、数千の5000万画素のHDR画像から成り、データセットのいくつかは100ギガピクセルを超えているため、彼らのシステムは高品質なビュー合成を実現できます。

最近、新鮮味のある視点合成を生成する能力から、神経輻射場（NeRF）の人気が大幅に増しています。ただし、既存のNeRF手法は大きくて複雑なシーンには適用できません。

• この中国のAI研究は「Consistent4D」を紹介します：未キャリブレーションの単眼映像から4Dダイナミックオブジェクトを生成するための新しい人工知能手法
• デューク大学の研究者たちは、ポリシーステッチングを提案していますこれは、ロボットとタスクの新しい組み合わせにおけるロボットの転送学習を容易にする、画期的なAIフレームワークです
• 中国の研究者がiTransformerを提案：時間系列予測のためのTransformerアーキテクチャの見直し

研究者によって提案されたNeRF手法は、彼らが設計した高品質なデータセットに特化しており、高品質なリアルタイムVRレンダリングをサポートすることができます。研究者が使用したマルチカメラリグは、シーンの多数の均一に分布したHDR写真をキャプチャする特別なデバイスです。

VR-NeRFはまた、カスタムGPUレンダラも持っており、高品質なVRへのレンダリングを可能にします。また、レンダラは一定のフレームレートで36 Hzで実行されるため、魅力的なVR体験を提供します。研究者たちは、いくつかの改善を加えた瞬時ニューラルグラフィックスプリミティブ（NGP）を拡張し、正確な色で画像を生成し、品質と速度のトレードオフを最適化できるようにしています。

研究者たちはまた、彼らが挑戦的な高品質データセットでの結果の品質をデモンストレーションし、彼らの手法とデータセットを既存のベースラインと比較しました。彼らは、彼らの手法が歩行可能な空間の広いダイナミックレンジで高品質なVRレンダリングを生成できることを示しました。

結論として、VR-NeRFはVRでの歩行可能な空間のキャプチャ、再構築、およびレンダリングに対する包括的なアプローチです。この手法は、より高い解像度、フレームレート、および視覚的忠実度を実現し、包括的なVR体験を可能にします。研究者たちが提案した手法は、既存のVRアプリケーションの問題を解決し、ユーザーにより大きくて複雑なシーンを詳細に体験させる可能性があります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!