「ミケランジェロのAIいとこ：ニューランジェロは高精度な3D表面再構築が可能なAIモデルです[コードも含まれています]」

Michelangelo's AI cousin Newrangelo is an AI model capable of highly accurate 3D surface reconstruction [includes code].

ニューラルネットワークは近年かなり進化しており、ほとんどのアプリケーションで使用されています。最も興味深いユースケースの1つは、現実世界の3Dモデリングです。私たちは、通常のカメラを使用してシーンの3Dジオメトリを正確にキャプチャできるニューラル輝度場（NeRF）を見てきました。これらの進歩により、3D表面再構成の新たなページが開かれました。

3D表面再構成の目標は、複数の視点からキャプチャされた複数の画像を分析して、シーンの詳細なジオメトリ構造を回復することです。これらの再構成された表面には、拡張/仮想/複合現実のための3Dアセットの生成や、自律型ロボットのナビゲーションのための環境マッピングなど、さまざまなアプリケーションに適用できる貴重な構造情報が含まれています。特に興味深いアプローチは、単一のRGBカメラを使用した写真測量的な表面再構成です。これにより、一般的なモバイルデバイスを使用して、ユーザーは簡単に現実のデジタルレプリカを作成することができます。

3D表面再構成は、複数の画像から密なジオメトリ構造を生成することで、拡張/仮想/複合現実やロボット工学など、さまざまなアプリケーションに広範な活用が可能です。多視点ステレオアルゴリズムなどの古典的な手法は、疑わしい観測結果に対して苦労し、不正確または不完全な結果を生み出すことがよくあります。ニューラル表面再構成手法は、シーンを暗黙的な関数として表現するために座標ベースの多層パーセプトロン（MLP）を活用することで、有望な解決策として登場しました。ただし、現在の手法の忠実度は、MLPの容量とスケーリングがうまくいきません。

• 「ゴリラ – API呼び出しの使用能力を向上させる大規模言語モデルの強化」 翻訳結果はこちらです
• このAI論文は、古典的なコンピュータによって生成される敵対的攻撃に対して、量子マシンラーニングモデルがより良く防御される可能性があることを示唆しています
• 「自己修正手法を通じて、大規模言語モデル（LLM）の強化」

スケーリング問題を解決する方法があったらどうでしょうか？RGB入力だけで本当に正確な3D表面モデルを生成できたらどうでしょうか？それでは、ニューラルアンジェロに会いましょう。

ニューラルアンジェロは、インスタントNGP（ニューラルグラフィックスプリミティブ）のパワーとニューラルSDF表現を組み合わせて高品質の表面再構築を実現するフレームワークです。

ニューラルアンジェロは、ニューラル符号化された符号距離関数（SDF）表現としてインスタントNGPを採用しています。インスタントNGPは、多分解ハッシュエンコーディングを備えたハイブリッド3Dグリッド構造と、ログリニアメモリフットプリントを維持しながら表現力を向上させる軽量MLPを導入しています。このハイブリッド表現は、ニューラルフィールドの表現力を大幅に向上させ、細部までの情報をキャプチャする能力に優れています。

ハッシュ符号化された表面再構築の品質をさらに向上させるために、ニューラルアンジェロは2つのキーコンセプトを導入しています。まず、表面法線などの高次導関数を計算するために数値勾配が使用され、最適化プロセスの安定化に貢献します。次に、進行的な最適化スケジュールが実装され、異なる詳細レベルでの構造の回復が可能になり、包括的な再構築アプローチが実現されます。これらのテクニックは相互に作用し、再構築の精度とビューシンセシスの品質の両方において大幅な改善をもたらします。

ニューラルアンジェロは、マルチ解像度ハッシュ符号化のパワーをニューラルSDF表現に自然に組み込んでおり、再構築能力が向上しています。さらに、数値勾配とアイコナール正則化の使用により、ハッシュ符号化された表面再構築の品質が向上し、最適化プロセスが安定化します。最後に、標準ベンチマークと実世界のシーンでの幅広い実験により、ニューラルアンジェロの効果が実証され、再構築の精度とビューシンセシスの品質の両方において、従来の画像ベースのニューラル表面再構築手法に比べて大幅な改善が示されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!