このAI論文は、「MATLABER：マテリアルを意識したテキストから3D生成のための新しい潜在的BRDFオートエンコーダ」を提案しています

This AI paper proposes a new latent BRDF autoencoder for 3D generation from material-aware text, called MATLABER.

3Dアセットの開発は、ゲーム、映画、AR/VRなど、多くの商業応用において不可欠です。従来の3Dアセット開発プロセスでは、多くの労力と時間を要する作業が必要であり、それらはすべて専門的な知識と形式美的なトレーニングに依存しています。最近の生成品質と効率の向上、および従来の3Dアセット作成に必要な時間とスキル要件を大幅に削減する潜在能力により、純粋なテキスト記述から自動的に3Dアセットを生成するテキストから3Dへのパイプラインへの注目が高まっています。

これらのテキストから3Dへのパイプラインは、NeRFまたはDMTETで表現されたターゲット3DアセットをSDS損失を介して逐次最適化することにより、魅力的なジオメトリと外観を提供することができます。図1は、彼らが高忠実度のオブジェクト素材を復元するのがいかに困難であるかを示しており、これがリライティングなどの現実世界のアプリケーションでの使用を制限しています。彼らのデザインには双方向反射率分布関数（BRDF）とランベルト反射率をモデル化しようとする試みがなされていますが、素材を予測するニューラルネットワークは、自然な分布に準拠する適切な素材を識別するために必要なモチベーションと手がかりを欠いています。特に、環境ライトと頻繁に絡み合うことが多い固定ライト条件下で、彼らの示した素材が環境ライトと混同してしまうことがあります。

本研究では、上海AI研究所とS-Lab、南洋理工大学の研究者が、既に利用可能な豊富な素材データを使用して、素材を環境ライティングから正確に分離する独自のテキストから3Dへのパイプラインを学習することに成功しました。MERL BRDF、Adobe Substance3D素材、実世界のBRDFコレクションTwoShotBRDFなど、大規模なBRDF素材データセットがありますが、素材とテキストの記述の結合データセットへのアクセスのなさにもかかわらず、彼らはテキストプロンプトに正確に対応するリアルで自然な見た目の素材を作成するために、全く新しい潜在的BRDFオートエンコーダを使用したマテリアルアウェアテキストから3Dへのエンコーダ（MATLABER）を提案しています。

• モンテカルロ近似法：どれを選び、いつ選ぶべきか？
• 「ジェネラティブAIおよびMLモデルを使用したメールおよびモバイル件名の最適化」
• 「AIの問題を定義する方法」

BRDFの値ではなくBRDFの潜在コードを予測するために、潜在的BRDFオートエンコーダは、そのスムーズな潜在空間にTwoShotBRDFの実世界のBRDF事前知識を組み込むように訓練されます。これにより、MATLABERは最も適切な素材の選択に集中し、予測されたBRDFの妥当性にあまり心配する必要がありません。彼らの手法は、BRDFオートエンコーダのスムーズな潜在空間により、オブジェクトのジオメトリと外観の最適な分離を実現し、高忠実度のコンテンツを持つ3Dアセットを生成することができます。図1に示すように、これは従来の最先端のテキストから3Dへのパイプラインを超えるものです。

さらに重要なことに、オブジェクト素材の正確な推定により、以前は困難だったシーンの修正、素材の編集、リライティングなどの活動が可能になります。これらのダウンストリームのタスクが重要であると認識するいくつかの現実世界のアプリケーションによって、より実用的な3Dコンテンツ生成のパラダイムに道が開かれています。さらに、彼らのアルゴリズムは、ObjectFolderなどのマルチモーダルデータセットを使用して、取得した素材から触覚情報や音響情報を推測することができます。これらの情報は、仮想物体の素材の三位一体を構成します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!