「NTUシンガポールの研究者たちは、テキストから3D生成のための新しいプラグアンドプレイなリファインメントAIメソッドであるIT3Dを提案しています」

NTUシンガポールの研究者は、IT3Dという新しいプラグアンドプレイなリファインメントAIメソッドを提案しています

テキストから画像への領域で注目すべき進歩があり、研究コミュニティ内で3D生成への拡大に対する熱意の急増が起きています。この興奮は、事前学習された2Dテキストから画像への拡散モデルを利用する手法の出現によるものです。

この領域で重要な進展となるのは、Dreamfusionによって行われた創造的な作業です。彼らはスコア蒸留サンプリング(SDS)アルゴリズムという新しい手法を導入しました。この手法は、テキストの指示だけで数多くの異なる3Dオブジェクトを作成できるため、大きな違いをもたらしています。革新的なアプローチであるにもかかわらず、ジオメトリとテクスチャの制御には制約があり、過飽和やモデルの多重顔のような問題がよく発生します。

さらに、研究者は、テキストの指示を強化するだけではモデルをより良くすることはできないと気付いています。

これらの課題に立ち向かうために、研究者たちはこの3D生成のための強化された手法を導入しました。この手法は、望ましい3Dモデルの異なる角度から複数の画像を作成し、これらの画像を使用して3Dオブジェクトを再構築することに焦点を当てています。このプロセスは、DreamFusionなどの既存のテキストから3D生成モデルを使用して、オブジェクトの基本的な表現を作成することから始まります。これらの初期モデルを作成することで、オブジェクトの形状と空間内での配置の基本的な理解を得ることができます。その後、この手法は画像から画像への生成プロセスを使用して、ビューの画像を改善します。

IT3Dは、メッシュやNeRFなどの異なる3D出力表現に対する支援を提供し、テキスト入力を使用して3Dモデルの外観を効率的に変更する能力が追加の強みです。上記の画像はIT3Dのパイプラインを示しています。IT3Dは、粗い3Dモデルから始めて、まず画像から画像へのパイプラインを活用して小さなポーズデータセットを生成します。

次に、ランダムに初期化された識別器を組み込み、生成されたデータセットから知識を蒸留し、識別損失とSDS損失を使用して3Dモデルを更新します。

さらに、分析からは、この手法が訓練プロセスを高速化し、必要な訓練ステップを減らし、合計の訓練時間を比較可能にすることが示されます。この手法は、上記の画像からもわかるように、高い分散データセットにも耐えることができます。最後に、経験的な結果は、提案された手法がテクスチャの詳細、ジオメトリ、およびテキストプロンプトと生成された3Dオブジェクトとの忠実度の点でベースラインモデルを大幅に改善することを示しています。

この技術は、テキストから3D生成に関する新しい視点を提供し、GANと拡散事前学習を組み合わせた最初の研究作業となりました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

クラウドウォッチの高度なメトリクス、ダッシュボード、アラートを使用してAWSのコストを最適化する

この記事では、Amazon CloudWatchを活用した高度なダッシュボードを使用して、AWSのコストを効率的に管理および分析する方法...

データサイエンス

「機械学習と人工知能を利用した在庫管理の改善」

「人工知能(AI)は在庫管理システムの効果を大幅に向上させることができます需要予測をサポートし、在庫レベルを最適化し、...

人工知能

「GPT-4 8つのモデルを1つに統合、秘密が明かされる」

「GPT4は競争を避けるためにモデルを秘密にしていましたが、今はその秘密が明らかになっています!」

機械学習

「SIEM-SOAR インテグレーションによる次世代の脅威ハンティング技術」

NLP、AI、およびMLは、データ処理の効率化、自動化されたインシデント処理、コンプライアンス、および積極的な脅威検知を通じ...

機械学習

「AIアクトの解読」

AI法 [1]は、長く苦痛な過程を経て形成されましたこれは、ヨーロッパの立法プロセスにおける政治の影響と重要性を完璧に示す...

データサイエンス

指数平滑移動平均の直感的な説明

時間系列分析において、前の値を考慮に入れて、配列の傾向方向を理解する必要がしばしばあります配列内の次の値の近似を行う...