シカゴ大学の研究者が3Dペイントブラシを導入：テキストを入力として使用してメッシュ上にローカルスタイルのテクスチャを生成するためのAIメソッド

シカゴ大学の研究者が3Dペイントブラシを導入！テキストを入力として使用し、メッシュ上にローカルスタイルのテクスチャを生成するAIメソッド

3Dのペイントブラシは通常、3Dモデリングやスカルプトアプリケーションで使用され、3Dオブジェクトやモデルを作成および操作するために使用されます。これらのツールを使用すると、ユーザーは直接3D表面に描画し、モデルにテクスチャ、色、詳細を追加することができます。このプロセスは、ゲーム、アニメーション、映画などのさまざまな産業で、リアルなテクスチャの作成、複雑なディテールの追加、3Dオブジェクトに命を吹き込むために基本的なものです。

詳細で正確なローカライゼーションは、編集を特定の領域に制約し、対象の編集に関係のない変更を防止するために重要です。通常は、テクスチャマップを持つメッシュという技術が使用されます。テクスチャマップは、色、表面パターン、粗さ、艶などの詳細を提供するために、3Dモデルの表面に巻き付けられた2Dイメージまたはセットです。3Dの構造は、頂点、エッジ、および面からなり、オブジェクトの形を形成します。

シカゴ大学とスナップリサーチの研究者は、テキストの説明を介してメッシュ上のローカルセマンティック領域に自動的にテクスチャを付けるための3Dペイントブラシを開発しました。彼らの方法は、メッシュ上で直接操作され、標準のグラフィックスパイプラインにシームレスに統合されるテクスチャマップを生成します。3Dペイントブラシは、直感的で自由形式のテキスト入力を介して制御され、さまざまなメッシュ上でオープンボキャブラリーを使用して編集を説明することができます。

• メタリサーチは、システム2アテンション（S2A）を導入します：入力コンテキストの重要な部分を決定するためのAI技術で、優れた応答を生成する能力がございます
• 中国のこのAI研究は、AIの幻覚を探求する：大型言語モデルにおける幻視に深く潜る
• このAI研究では、ドライブ可能な3Dガウスアバター（D3GA）を提案します：ガウススプラットでレンダリングされた人体のための最初の3Dコントローラブルモデルです

彼らはまた、局所的なテクスチャ領域の詳細と解像度を向上させるためにカスケードスコア蒸留（CSD）を開発しました。これを使用して、ローカライゼーション領域を変更し、局所的な領域内のジオメトリを変形することができます。彼らはローカリゼーションとテクスチャマップを表現するためにマルチレイヤーパーセプトロンでエンコードされたニューラルフィールドを使用しました。このローカライセーションは、テクスチャを明示的にマークし、局所的なスタイルをローカライズされた境界に保証します。

テクスチャとともにローカライゼーションを明示的に学習することで、編集を局所化することが保証されます。彼らは、3Dペイントブラシのローカライゼーションが既存のモデルが生成するよりも鮮明であると述べています。ユーザーは、そのCSDを使用して、監督のグラニュラリティとグローバル理解を制御し、他のSDSよりも高解像度のテクスチャとローカリゼーションを実現することができます。

彼らの方法では、3D表面上で定義されたMLPを使用して、3Dでスムーズに変化する出力を生成するニューラルテクスチャを作成します。これは、2Dテクスチャマップがテクスチャのシームで不連続性を持つ場合にも行うことができます。MLPが提供する滑らかさは、アーティファクトを減少させ、ノイズの少ないテクスチャを生成し、超解像度の機能を組み込んでいます。

チームは同時にローカライゼーションとテクスチャ領域を最適化しました。同時最適化により、予測されたローカライゼーション領域に効果的に適合する詳細なテクスチャが生成されました。予測されたローカライゼーション領域は鮮明で入り組んでいます。将来は、テクスチャマップを利用して複数の形状を共有することで、テキスチャリングおよび学習のローカライズされた編集機能を拡張することを目指しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!