「One-2-3-45++に出会ってみましょう：おおよその1分で単一の画像を詳細な3Dテクスチャメッシュに変換する革新的な人工知能手法」

『1-2-3-45++で新たな出会いを：1分で単一の画像を詳細な3Dテクスチャメッシュに変換する革新的なAI手法』

UCサンディエゴ、浙江大学、清華大学、UCLA、およびスタンフォード大学の研究者たちは、高速かつ高品質な3Dオブジェクト生成のための革新的なAI手法「One-2-3-45++」を発表しました。この手法は、まず2次元拡散モデルを活用し、一貫したマルチビュー画像の生成のために微調整を行います。次に、これらの画像を詳細な3Dのテクスチャつきメッシュに変換するために、マルチビューによる条件付きの3Dネイティブ拡散モデルが使用されます。この手法により、約1分間で入力画像によく似た高品質で多様な3Dアセットが合成され、実用アプリケーションにおける速度と忠実度の課題に取り組まれています。

One-2-3-45++は、1枚のRGB画像からわずか1分未満で高品質な3Dオブジェクトを生成する手法です。マルチビュー画像を活用し、生成されたメッシュのテクスチャを軽量の最適化プロセスを介して改善します。比較的な評価では、One-2-3-45++がCLIPの類似度スコアとユーザーの選好スコアにおいてベースライン手法よりも優れていることが示されています。3D拡散モジュールの効果に対するマルチビュー画像の重要性が強調され、一貫したマルチビューの生成において既存手法に対して改善が見られました。

この研究は、単一の画像やテキストに基づいて3D形状を生成するという課題に取り組んでおり、さまざまなアプリケーションにとって重要です。既存の手法は、3Dトレーニングデータの不足により未知のカテゴリにおいて汎化する際に改訂する必要があります。提案されたOne-2-3-45++手法は、以前のOne-2-3-45の欠点を克服し、一貫したマルチビュー画像を同時に予測し、マルチビューによる条件付きの3D拡散ベースモジュールを使用して効率的かつ現実的な3D再構築を実現します。この手法は、細かい制御を持ちつつ1分未満で高品質な結果を達成し、ベースライン手法を上回っています。

• 中国からのこのAI論文では、「モンキー」という新しい人工知能のアプローチが紹介されていますこれは、大規模なマルチモーダルモデルで入力の解像度と文脈関連性を向上させるための方法です
• 『LEOと出会いましょう：先進的な3Dワールドインタラクションとタスクソルビングのための画期的なエンボディードマルチモーダルエージェント』
• 「スロープ・トランスフォーマーに出会ってください：銀行の言語を理解するために特別に訓練された大規模な言語モデル（LLM）」

広範なマルチビューと3DペアリングでトレーニングされたOne-2-3-45++モデルは、各ステージに別々の拡散ネットワークを使用しています。最初のステージでは通常の3D畳み込みを使用して完全な3D占有ボリュームを作成し、2番目のステージでは3Dスパース畳み込みを3Dライトボリュームに取り入れます。マルチビュー画像によって誘導される軽量の改善モジュールは、テクスチャの品質を向上させます。CLIPの類似度スコアとユーザーの選好スコアを含む評価指標は、この手法がベースライン手法を上回っていることを示しています。ユーザー調査によっても品質が検証され、既存手法と比較してランタイムの効率性が強調されました。

One-2-3-45++はCLIPの類似度スコアとユーザーの選好スコアにおいてベースライン手法を上回し、優れた品質とパフォーマンスを示しています。改善モジュールはテクスチャの品質を向上させ、CLIPの類似度スコアを高めることにつながります。さらに、この手法は最適化ベースの手法と比較して優れたランタイムの利点を提供し、迅速な結果を提供します。

まとめると、One-2-3-45++は、1枚の画像から迅速かつ正確に高品質な3Dテクスチャ付きメッシュを生成する非常に効率的なテクノロジーです。ユーザー調査によって、入力画像との品質と整合性において他のテキストから3Dモデリング手法よりも優れていることが検証されました。さらに、最適化ベースの代替手法を上回し、迅速な結果を提供します。

将来の研究は、より大規模かつ多様な3Dトレーニングデータセットの活用、追加の後処理技術の探求、テクスチャの改善モジュールの最適化、幅広いユーザースタディの実施、および他の情報タイプの統合に注力する必要があります。この手法を仮想現実、ゲーム、コンピュータ支援設計などのさまざまな分野で適用する際の有効性と潜在的な影響を評価することが重要です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!