3Dアセット生成：ゲーム開発のためのAI＃3

3Dアセット生成：AI＃3

ゲーム開発のためのAIへようこそ！ このシリーズでは、AIツールを使用してわずか5日間で完全な機能を備えた農業ゲームを作成します。このシリーズの終わりまでに、さまざまなAIツールをゲーム開発のワークフローに組み込む方法を学ぶことができます。以下のようにAIツールを使用する方法を紹介します：

1. アートスタイル
2. ゲームデザイン
3. 3Dアセット
4. 2Dアセット
5. ストーリー

短いビデオバージョンが欲しいですか？こちらでご覧いただけます。それ以外の場合は、技術的な詳細を知りたい場合は読み続けてください！

注意：このチュートリアルは、Unity開発とC＃に精通している読者を対象としています。これらの技術に初めて触れる方は、続ける前に「初心者向けUnityシリーズ」をご覧ください。

Day 3: 3Dアセット

このチュートリアルシリーズの第2部では、ゲームデザインのためのAIを使用しました。具体的には、ChatGPTを使用してゲームのデザインをブレインストーミングしました。

• Optimum+ONNX Runtime – Hugging Faceモデルのより簡単で高速なトレーニング
• どのような要素が対話エージェントを有用にするのか？
• 効率的で安定した拡散微調整のためのLoRAの使用

このパートでは、AIを使用して3Dアセットを生成する方法について説明します。簡単な答えは「できません」です。テキストから3Dへの変換は、現在のところ実用的にゲーム開発に適用することはできません。ただし、それは非常に速く変わっています。続けて読んで、テキストから3Dへの現在の状態、なぜそれがまだ役に立たないのか、そしてテキストから3Dの未来について学びましょう。

テキストから3Dへの現在の状態

第1部で説明したように、Stable Diffusionなどのテキストから画像への変換ツールは、ゲーム開発のワークフローで非常に役立ちます。しかし、テキストから3D、つまりテキストの記述から3Dモデルを生成することに関しては、最近この分野で多くの進展がありました：

• DreamFusionは2D拡散を使用して3Dアセットを生成します。
• CLIPMatrixとCLIP-Mesh-SMPLXは直接テクスチャ付きメッシュを生成します。
• CLIP-Forgeは言語を使用してボクセルベースのモデルを生成します。
• CLIP-NeRFはテキストと画像でNeRFを制御します。
• Point-EおよびPulsar+CLIPは言語を使用して3Dポイントクラウドを生成します。
• Dream TexturesはBlenderでシーンのテクスチャを自動的に生成するためのテキストから画像への変換を使用します。

CLIPMatrixとCLIP-Mesh-SMPLXを除くこれらの手法の多くは、従来の3Dレンダリングとは異なり、被写体の新しい視点を生成する「ビューシンセシス」というアプローチに基づいています。これはNeRF（ニューラル放射輝度場）のアイデアです。NeRFはビューシンセシスにニューラルネットワークを使用します。

ゲーム開発者として、これは何を意味するのでしょうか？現時点ではまだ何も意味しません。この技術はまだゲーム開発において有用なレベルに到達していません。なぜなのかについて話しましょう。

なぜまだ役に立たないのか

注意：このセクションは、メッシュ、UVマッピング、フォトグラメトリなどの従来の3Dレンダリング技術に精通している読者を対象としています。

ビューシンセシスは素晴らしいですが、3Dの世界はメッシュで動いており、これはNeRFとは異なります。ただし、NeRFをメッシュに変換する作業は進行中です。実際には、これはフォトグラメトリのようなもので、現実世界のオブジェクトの複数の写真を組み合わせて3Dアセットを作成します。

テキストからNeRF-to-meshパイプラインで生成されたアセットの実用的な使用は、フォトグラメトリで生成されたアセットと同様に制限されています。つまり、生成されたメッシュはすぐにゲームに適した状態ではなく、ゲームに適したアセットにするには多大な作業と専門知識が必要です。この意味では、NeRF-to-meshはそのままでも有用なツールかもしれませんが、まだテキストから3Dの変革的なポテンシャルには到達していません。

NeRF-to-meshや写真測量のような方法は、現在は手作業の後処理が必要な超高精細度のアセットを作成するために最も適しているため、5日間で農業ゲームを作成するためにはあまり意味がありません。その場合、ゲーム内の作物を異なる色のキューブで表現することにしました。

しかしこの領域は急速に変化しており、近い将来、実用的な解決策が出てくるかもしれません。次に、テキストから3Dに関して進む方向のいくつかについて話します。

テキストから3Dの未来

最近のテキストから3Dは大きく進歩しましたが、テキストから画像のようなインパクトを持つためにはまだ大きなギャップがあります。このギャップがどのように埋まるかは推測に過ぎません。最も明らかな2つの可能性としては次のようなものが考えられます：

1. NeRF-to-meshとメッシュ生成の改善。現行のモデルは、写真測量と同様に、ゲームに適したアセットを作成するために多くの作業が必要です。これは、リアルで高精細なアセットを作成する場合など、一部のシナリオでは有用ですが、特に私のように超低ポリのアートスタイルを使用する場合、ゼロから低ポリアセットを作成するよりも時間がかかります。
2. NeRFを直接エンジン内でレンダリングするための新しいレンダリング技術。公式の発表はまだありませんが、NVIDIAやGoogleなどがこれに取り組んでいる可能性があると推測できます。

もちろん、時間が経つにつれてわかることです。進展を追いかけたい方は、ぜひTwitterでフォローしてください。見逃した新しい開発がある場合は、お気軽にご連絡ください！

第4部は、2DアセットのためのAIを使用する方法について読むには、ここをクリックしてください。

引用

最新のオープンソースのテキストから3Dに関する情報を提供してくれたPoli @multimodalartさんに感謝します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!