「NTUシンガポールの研究者たちは、テキストから3D生成のための新しいプラグアンドプレイなリファインメントAIメソッドであるIT3Dを提案しています」

NTUシンガポールの研究者は、IT3Dという新しいプラグアンドプレイなリファインメントAIメソッドを提案しています

テキストから画像への領域で注目すべき進歩があり、研究コミュニティ内で3D生成への拡大に対する熱意の急増が起きています。この興奮は、事前学習された2Dテキストから画像への拡散モデルを利用する手法の出現によるものです。

この領域で重要な進展となるのは、Dreamfusionによって行われた創造的な作業です。彼らはスコア蒸留サンプリング(SDS)アルゴリズムという新しい手法を導入しました。この手法は、テキストの指示だけで数多くの異なる3Dオブジェクトを作成できるため、大きな違いをもたらしています。革新的なアプローチであるにもかかわらず、ジオメトリとテクスチャの制御には制約があり、過飽和やモデルの多重顔のような問題がよく発生します。

さらに、研究者は、テキストの指示を強化するだけではモデルをより良くすることはできないと気付いています。

これらの課題に立ち向かうために、研究者たちはこの3D生成のための強化された手法を導入しました。この手法は、望ましい3Dモデルの異なる角度から複数の画像を作成し、これらの画像を使用して3Dオブジェクトを再構築することに焦点を当てています。このプロセスは、DreamFusionなどの既存のテキストから3D生成モデルを使用して、オブジェクトの基本的な表現を作成することから始まります。これらの初期モデルを作成することで、オブジェクトの形状と空間内での配置の基本的な理解を得ることができます。その後、この手法は画像から画像への生成プロセスを使用して、ビューの画像を改善します。

IT3Dは、メッシュやNeRFなどの異なる3D出力表現に対する支援を提供し、テキスト入力を使用して3Dモデルの外観を効率的に変更する能力が追加の強みです。上記の画像はIT3Dのパイプラインを示しています。IT3Dは、粗い3Dモデルから始めて、まず画像から画像へのパイプラインを活用して小さなポーズデータセットを生成します。

次に、ランダムに初期化された識別器を組み込み、生成されたデータセットから知識を蒸留し、識別損失とSDS損失を使用して3Dモデルを更新します。

さらに、分析からは、この手法が訓練プロセスを高速化し、必要な訓練ステップを減らし、合計の訓練時間を比較可能にすることが示されます。この手法は、上記の画像からもわかるように、高い分散データセットにも耐えることができます。最後に、経験的な結果は、提案された手法がテクスチャの詳細、ジオメトリ、およびテキストプロンプトと生成された3Dオブジェクトとの忠実度の点でベースラインモデルを大幅に改善することを示しています。

この技術は、テキストから3D生成に関する新しい視点を提供し、GANと拡散事前学習を組み合わせた最初の研究作業となりました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「シャッターストックがNVIDIAピカソとともに生成AIを3Dシーンの背景に導入」

こんな感じです:Shutterstockの最新のツールを使って、クリエイターはジェネレーティブAIの助けを借りて、迅速にカスタマイ...

人工知能

タイム100 AI:最も影響力のあるもの?

『タイム誌が、Time 100 AIリストを発表しましたこのリストは、リーダーやイノベーターなどのカテゴリーで、AIの100人の重要...

機械学習

「生成的なAIアプリケーションと3D仮想世界の構築方法」

成長し成功するためには、組織は特に生成AIや3D仮想世界のような急速に進化する技術領域において、技術スキルの開発に継続的...

機械学習

「Google AIの新しいパラダイムは、多段階の機械学習MLアルゴリズムの組成コストを削減して、強化されたユーティリティを実現する方法は何ですか」

今日のデータ駆動型の環境では、機械学習やデータ分析アルゴリズムの有用性を最大化しながらプライバシーを確保することが重...

データサイエンス

人間の脳血管のアトラスは、アルツハイマー病における変化を強調します

科学者たちは、6つの領域にわたるアルツハイマー病関連の変化を強調するために、人間の脳血管の分子アトラスを作成しました

AI研究

「この新しいAI研究は、事前学習されたタンパク質言語モデルを幾何学的深層学習ネットワークに統合することで、タンパク質構造解析を進化させます」

科学的な探求には、魅力的で複雑な構造を持つタンパク質による魅力的で不思議な方法で重要な生物学的プロセスを支配する分子...