「CT2Hairに会ってください：ダウンストリームグラフィックスアプリケーションで使用するために適した高精細な3Dヘアモデルを完全自動で作成するフレームワーク」

CT2Hair a framework for creating high-resolution 3D hair models automatically, suitable for use in downstream graphics applications.

ゲームが好きな人は誰ですか？ゲームの中のキャラクターが自然でファッション感のあるほど、私たちはそれをより楽しめます。自然な髪の毛のように見えるグラフィックスは可能でしょうか？

3Dの髪の毛作成ツールに加え、アーティストによる手作りは時間がかかり、スケールするのも難しく、現在の3Dの作成ツールの制約によってバイアスがかかる可能性もあります。カール、シルキー、ストレート、ウェーブなど、幅広い現実世界の髪の毛のバリエーションを正確に表現した大規模なデータセットを作成することは大きな課題です。国家重点实验室とMeta Reality Labsの研究者は、実際の髪の毛ウィッグを入力としてさまざまなヘアスタイルのグラフィックスを再構築することに成功しました。

研究者たちは、髪の毛の領域の密度ボリュームを作成し、可視表面の画像ベースのアプローチとは異なり、髪の毛の内部を見ることができるようにしました。密度ボリュームを作成するために用いられた手法は、計算トモグラフィー（CT）でした。高い解像度と大きなスキャンボリュームのためにCTを使用し、X線を使用してCTを行いました。CT X線は通常、人間の組織や一般的なオブジェクトの再構築に使用されます。髪の毛の糸の薄い構造のため、CTから完全な人間の髪の毛の糸を回復することは容易ではありません。これにより、CTイメージングにノイズが生じ、解像度が低下します。この問題に対処するために、彼らは粗いから細かいアプローチを取りました。

• 「Jupyter AIに会おう：マジックコマンドとチャットインターフェースでジェネラティブ人工知能をJupyterノートブックにもたらす新しいオープンソースプロジェクト」
• 「OpenAIを任意のLLM（Language Model）と交換し、すべてを1行で行うことを想像してください！Genoss GPTに会ってください：OpenAI SDKと互換性のあるAPIで、GPT4ALLなどのオープンソースモデルをベースにして構築されています」
• メタのラマ2：商業利用のためのオープンソース言語モデルの革命化

彼らはまず、ノイズのある密度ボリューム（実際の髪の毛ウィッグ）から3Dの方向フィールドを推定し、推定された方向フィールドを使用して有用なガイドストランドを抽出しました。次に、ニューラル補間法を使用して頭皮にストランドを配置し、最後に最適化を行って、入力の密度ボリュームに正確に準拠するように洗練させました。最適化ステップでは、再構築された髪の毛のストランドを入力ボリュームによりよく整列させることが含まれます。彼らの作業には特定の髪の種類のための手作りの事前情報は含まれていないため、彼らは単一のフレームワークで多様なヘアスタイルを復元することができます。

研究者たちは、他の3つの画像ベースの手法（単一視点ベース、希薄視点ベース、密視点ベース）と自身の手法を比較しました。彼らは、単一視点ベースと希薄視点ベースの手法は比較的シンプルなヘアスタイルには適切な結果を生み出しましたが、カールヘアではトレーニングデータセットの不足のために大きな失敗をしました。密視点ベースの手法はこれらの2つの手法を上回りましたが、内部のジオメトリを推測することに失敗し、結果として不完全なジオメトリを生成しました。対照的に、研究者たちのモデルは良いジオメトリを示し、より多くの詳細を含んでいるため、リアルに見えます。

しかし、このアイデオロギーを実際の人間の頭部のキャプチャに拡張することは依然として挑戦です。産業用CTスキャナーは、生物に対する安全基準を超える大量のX線を使用するため、これを使用して顔のジオメトリをモデリングすることは不可能です。研究者たちは、キャプチャ中のわずかな動きでも密度ボリュームに大きなぼやけが生じると述べています。

機械学習アプローチを実装することにより、将来の研究では、医療用CTスキャナーを使用して、低解像度の密度ボリュームからでも高品質な3D髪データの大規模なコーパスを生成し、3D髪モデルを推測することが可能になるかもしれません。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!