ルーシッドドリーマー：インターバルスコアマッチングを介した高品位のテキストから3D生成

ルーシッドドリーマー：3D生成による高品位なテキストのインターバルスコアマッチング

テキストから3D生成AIフレームワークの最近の進展は、生成モデルの重要なマイルストーンを示しています。これらは、さまざまな現実世界のシナリオで3Dアセットを作成するための新たな可能性を切り開いています。デジタル3Dアセットは、私たちのデジタルプレゼンスにおいて不可欠な役割を果たしており、複雑な環境やオブジェクトとの包括的な視覚化や対話を可能にしています。これらの3D生成AIフレームワークは、アニメーション、建築、ゲーム、拡張現実（AR）、仮想現実（VR）など、さまざまなドメインで使用されています。また、オンライン会議、小売業、教育、マーケティングなどでも広く使用されています。

しかし、テキストから3D生成フレームワークの進展の可能性にもかかわらず、3D技術の広範な使用は重大な問題を伴っています。高品質な3Dイメージやメディアコンテンツの生成には、依然として時間、労力、リソース、熟練した専門知識が必要です。これらの要件を満たしても、テキストからの3D生成では詳細で高品質な3Dモデルをレンダリングすることができないことがよくあります。このレンダリングと低品質な3D生成の問題は、スコア蒸留サンプリング（SDS）メソッドを使用するフレームワークでより一般的に見られます。本記事では、SDSメソッドを使用するモデルで観察される注目すべき不足点について論じます。これにより、生成された出力に過剰な平滑化効果が生じ、不一致や低品質な更新方向が導入されます。また、過剰な平滑化の問題を克服するためにInterval Score Matching (ISM) メソッドを使用する革新的なアプローチであるLucidDreamerフレームワークを紹介します。モデルのアーキテクチャと最先端のテキストから3D生成フレームワークとのパフォーマンスについても探究します。それでは、始めましょう。

LucidDreamer3D：Interval Score Matchingを使用した3D生成の概要

3D生成モデルが生成AI業界で話題になっている大きな理由は、その広範な適用範囲と各業界での能力にあります。そしてリアルタイムで3Dコンテンツを生成する能力です。広範な実用的な応用のため、開発者はさまざまな3Dコンテンツ生成手法を提案しています。その中でも、テキストから3D生成フレームワークは、テキストの説明だけで想像力豊かな3Dモデルを生成する能力から他とは一線を画しています。テキストから3D生成フレームワークは、事前にトレーニングされたテキストから画像への拡散モデルを使用して、3Dモデルのトレーニングを監督します。これにより、テキストに一致する連続的な3Dイメージをレンダリングすることができます。この一定の3Dイメージのレンダリング能力は、基本的にScore Distillation Sampling（SDS）の使用に基づいており、2Dの結果を拡散モデルから3Dにもたらす核心メカニズムとしてSDSの役割を果たしています。しかし、SDSメソッドを使用した3D生成AIフレームワークは、歪みや過剰な平滑化の問題に苦しむことがよくあります。これは、高品質な3D生成の実装を妨げます。

過剰な平滑化の問題に取り組むため、LucidDreamerフレームワークではInterval Score Matching（ISM）アプローチを採用しています。これは、2つの効果的なメカニズムを使用します。まず、ISMアプローチはDDIM変換手法を使用して、疑似真実の不一致に起因する平均化効果を緩和し、反転可能な拡散軌跡を生成します。また、3Dモデルによってレンダリングされた画像を疑似真実と一致させるのではなく、ISMメソッドは拡散軌跡内の2つの間隔段階間でそれらを一致させるため、一段階の再構成を避けることで高い再構成エラーを回避します。ISMの使用により、SDSに比べて一貫して高いパフォーマンスと高度なリアリティのある詳細な出力が得られます。

• 「安定拡散を使用したハイパーリアルな顔を生成する3つの方法」
• 「オープンソースツールを使用して、プロのように音声をクローンし、リップシンク動画を作る方法」
• 「Forza Horizon」がGeForce NOWにレースを展開」

全体として、LucidDreamerフレームワークは3D生成AIに以下の貢献を目指しています。

1. テキストから3D生成フレームワークでの基本概念であるSDSの詳細な分析を提供し、低品質な疑似真実の制約による制限と、これらの3D生成フレームワークが直面する過剰な平滑化効果の説明を提供します。
2. SDSアプローチによって引き起こされる制約に対処するために、LucidDreamerフレームワークはInterval Score Matchingを導入し、間隔に基づいたマッチングと反転可能な拡散軌跡によって、SDSを圧倒する高度なリアリティと詳細な出力を生成します。
3. ISMメソッドを3Dガウシアンスプラッティングに統合することにより、低いトレーニングコストで既存の3Dコンテンツ生成手法を上回る最先端のパフォーマンスを実現します。

SDSの限界

先に述べた通り、SDSはテキストから3D生成モデルへのアプローチの中でも最も人気のあるものの一つであり、DDPMの潜在空間における条件付き事後モードを探求します。SDSアプローチはまた、条件付き事後モデリングのために事前学習されたDDPMを採用し、以下のKLダイバージェンスを最小化することで実現される条件付き事後の3D表現を蒸留することを目指しています。さらに、SDSアプローチはDDPトレーニングのための重み付きノイズ除去スコアマッチング目標も再利用しています。SDSアプローチの主な目的は、DDPMによって単一ステップで推定される疑似正解の視点を3Dモデルの視点に合わせることであり、疑似正解の特徴が一貫性のないものとなり、蒸留プロセス中に低品質の出力を生成することがよく観察されています。

しかしながら、望ましくない状況下での更新方向は最終的に平滑化されすぎた結果を導くことになります。また、DDPMコンポーネントは入力に対して敏感であり、入力のわずかな変化でも疑似正解の特徴が大幅に変化します。さらに、カメラのポーズと入力のノイズ成分の両方におけるランダム性は、蒸留中に避けられない変動要素を追加する可能性があります。一貫性のない疑似正解に対して入力を最適化すると、平均的な結果が得られます。さらに、SDSアプローチはすべての時間間隔に対して単一ステップ予測で疑似正解を獲得し、単一ステップDDPMコンポーネントの制約を考慮していないため、高品質の出力を生成することができず、SDSコンポーネントを使用した3Dアセットや画像の蒸留は最も理想的なアプローチとは言えないかもしれません。

LucidDreamer：方法論と動作

LucidDreamerフレームワークはISMアプローチを導入していますが、それだけでなく、テキストから3D生成モデル、拡散モデル、および微分可能な3D表現フレームワークからの学習を基にしています。それでは、LucidDreamerフレームワークのアーキテクチャと方法論を詳しく見ていきましょう。

Interval Score MatchingまたはISM

多くのテキストから3D生成フレームワークが直面する過度の平滑化と低品質の出力の問題は、疑似正解と一致せず、しばしば劣悪な品質である3D表現とのマッチングを目指すSDSアプローチの使用に起因するものとされています。SDSの問題に対処するため、LucidDreamerフレームワークはInterval Score MatchingまたはISMという新しいアプローチを導入しています。ISMは2つの作業段階から成り立っており、最初の段階ではISMコンポーネントが一貫性のある疑似正解を蒸留中に獲得し、カメラのポーズとノイズの乱雑さに関係なくなります。2番目の段階では、フレームワークは品質の高い疑似正解を生成します。

また、SDSのもう一つの主な制約は、すべての時間間隔に対して単一ステップ予測で疑似正解を生成することであり、これは高品質な疑似正解を保証することが非常に困難になる要因となっています。同様に、SDSの目的は、DDPMによって単一ステップで推定される疑似正解の視点を3Dモデルの視点と一致させることであり、蒸留プロセスではDDPMコンポーネントの重要な側面が見過ごされ、低品質の疑似正解が生成されます。

全体を通して、ISMコンポーネントは、テキストから3D生成モデルで使用される従来の方法に比べていくつかの利点を提供するとされています。第一に、ISMの能力により、一貫して高品質な疑似正解を提供できるため、より細かい構造とより豊かなディテールを持つ高品質な蒸留出力を生成することができ、大規模なガイダンススケールの必要性を排除し、3Dコンテンツの作成の柔軟性を向上させることができます。第二に、SDSアプローチからISMアプローチへの移行には、DDIM完全性のための追加の計算コストを要求する一方で、全体的な効率にはほとんど影響を与えません。

上記の図はISMアプローチの動作を示し、LucidDreamerフレームワークのアーキテクチャの概要を提供しています。フレームワークはまず、事前学習されたテキストから3Dジェネレータを使用して、ガウススプラッティング（すなわち3D表現）を初期化します。次に、事前学習された2D DDPMコンポーネントと組み合わせて、DDIM逆変換を使用してランダムな視点をノイズのない条件付き潜在軌跡に変換し、インターバルスコアで更新します。そのアーキテクチャのおかげで、ISMコンポーネントの最適化の中心にあるのは、高品質で特徴に整合され、計算的にも優しい疑似真実に向かって3D表現を更新することです。この原理が、ISMをSDSアプローチの基本的な目標に合わせつつ、既存の手法を改良することを可能にしています。

DDIM逆変換

LucidDreamerフレームワークは、3D表現に整合したより一貫性のある疑似真実を生成することを目指しています。そのため、LucidDreamerフレームワークでは3D表現を生成する代わりに、DDIM逆変換手法を使用してノイズ潜在3D表現を予測し、反復的に逆変換可能なノイズ潜在軌跡を予測します。さらに、DDIM逆変換の逆変換可能性のおかげで、LucidDreamerフレームワークはすべての時間間隔において疑似真実の一貫性を大幅に向上させることができます。

高度な生成パイプライン

LucidDreamerフレームワークは、ISMに加えて高度なパイプラインも導入しており、テキストから3D生成の視覚的品質に影響を与える要因を探求し、3Dガウススプラッティングまたは3DGSを3D生成として導入します。さらに、3D点群生成モデルも初期化に使用します。

3Dガウススプラッティング

既存の研究では、トレーニングのためにバッチサイズとレンダリング解像度を増やすことで、視覚的品質が大幅に向上することが示されています。しかし、テキストから3D生成に採用される多くの学習可能な3D表現は、時間とメモリを消費するものがほとんどです。一方、3Dガウススプラッティング手法は最適化とレンダリングの両方で効率的な結果を提供し、制限された計算リソースで大容量のバッチサイズと高解像度のレンダリングを実現することができます。

初期化

最新のテキストから3D生成フレームワークの多くは、円やボックス、円柱などの制約のあるジオメトリで3D表現を初期化しますが、これは非軸対称オブジェクトに対して望ましくない出力を生じることがしばしばあります。一方、LucidDreamerフレームワークでは3Dガウススプラッティングを3D表現として導入するため、フレームワークは自然にさまざまなテキストからポイント生成フレームワークを採用して、人間の入力に基づいた粗い初期化を生成することができます。この初期化戦略により、収束速度が大幅に向上します。

LucidDreamer: 実験と結果

テキストから3D生成

上記の図は、LucidDreamerモデルによる元の安定した拡散アプローチによって生成された結果を示しており、以下の図では異なる微調整済みチェックポイントで生成された結果について説明しています。

上記のように、LucidDreamerフレームワークは、入力テキストと意味的手がかりを使用して高度に一貫した3Dコンテンツを生成することが可能です。さらに、ISMの使用により、LucidDreamerフレームワークは一般的な問題（過度な飽和、または過度のスムージング）を回避しながら、一般的なオブジェクトの生成および創造的な作成をサポートするより緻密で現実的なイメージを生成することができます。

ISMの汎化性

ISMの汎化性を評価するために、ISMとSDSの手法を明示的および暗黙的表現の両方で比較し、その結果を以下の画像で示します。

質的比較

ルーシッドドリーマーのフレームワークの質的効率を分析するために、現在のSoTAベースラインモデルと比較して、公正な比較をするために蒸留のためにStable Diffusion 2.1フレームワークを使用し、その結果を以下の画像で示しています。見て分かる通り、このフレームワークは高度な品質保証と幾何学的に正確な結果を提供し、リソースと時間の消費量を削減します。 

さらに、より包括的な評価を提供するために、開発者はユーザースタディを実施しています。評価は28のプロンプトを選択し、各プロンプトに対して異なるテキストから3D生成アプローチを使用してオブジェクトを生成します。その結果はユーザーによって入力プロンプトとの一致度と忠実度の基準でランキングされました。 

ルーシッドドリーマー：応用

テキストから3D生成タスクの広範な範囲で優れたパフォーマンスを発揮するため、ルーシッドドリーマーフレームワークにはゼロショットアバタージェネレーション、パーソナライズされたテキストから3D生成、およびゼロショット2Dおよび3D編集などの潜在的な応用があります。 

左上の画像はルーシッドドリーマーのゼロショット2Dおよび3D編集タスクにおける潜在能力を示し、左下の画像はLoRAを使用したフレームワークのパーソナライズされたテキストから3D出力の能力を示しています。右側の画像はフレームワークの3Dアバター生成能力を示しています。 

最後の考え

この記事では、ルーシッドドリーマーについて話しました。これはオーバースムージングの問題を克服するためにInterval Score Matching（ISM）メソッドを使用し、モデルのアーキテクチャと最新のテキストから3D生成フレームワークとのパフォーマンスについて議論しました。また、SDS（スコア蒸留サンプリング）や多くの最新のテキストから3D生成モデルで一般的に実装されているアプローチは生成された画像のオーバースムージングに結果することがよくあり、ルーシッドドリーマーフレームワークは高品質かつより現実的な3D画像を生成するために、ISM（Interval Score Matching）アプローチを導入してこの問題に対処しています。結果と評価はルーシッドドリーマーフレームワークの広範な3D生成タスクでの効果を示し、フレームワークが既存の最先端の3D生成モデルよりも優れたパフォーマンスを発揮することを示しています。フレームワークの優れたパフォーマンスは、すでに議論されたように、幅広い実用的な応用の可能性を示しています。 

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!