サムスンのAI研究者が、ニューラルヘアカットを紹介しましたこれは、ビデオや画像から人間の髪の毛のストランドベースのジオメトリを再構築するための新しいAI手法です

SamsungのAI研究者が、ニューラルヘアカットという新しいAI手法を紹介しましたこれは、ビデオや画像から人間の髪の毛のジオメトリを再構築するための手法です

サムスンAIセンター、Rockstar Games、FAU Erlangen-Nurnberg、およびCinemersive Labsの研究者たちは、写真やビデオフレームのいくつかのビューから人間の髪を抽出することができる画像ベースのモデリングのための新しい技術を提案しています。髪の再構築は、非常に複雑な幾何学、物理学、反射を持つため、人間の3Dモデリングにおける最も困難なタスクの1つです。それにもかかわらず、ゲーム、遠隔会議、特殊効果を含む多くのアプリケーションにとって重要です。3Dポリラインまたはストランドは、コンピュータグラフィックスで髪を描写する最も一般的な方法です。これらは物理モデリングやリアルなレンダリングに使用できます。現代の画像およびビデオベースの人間再構築システムは、より少ない自由度を持つデータ構造を使用して髪型をシミュレートすることがよくあり、これにより推定が簡単になります。これにはボリューメトリックな表現やセットされたトポロジを持つメッシュなどが含まれます。

その結果、これらの技術はしばしば過度に滑らかな髪のジオメトリを生成し、ヘアスタイルのコア構造を捉えることはできません。光ステージ、制御された照明装置、および同期カメラを備えた密なキャプチャシステムを使用すると、正確なストランドベースの髪の再構築が可能です。最近では、整理されたまたは一貫した照明とカメラキャリブレーションに依存して再構築プロセスを高速化することで、驚くべき結果が得られました。最新の取り組みでは、髪の成長方向に関するフレームごとの手動注釈も使用して、物理的に信頼性のある再構築を行っています。複雑なキャプチャセットアップと労力のかかる前処理の要件により、これらの技術は優れた品質にもかかわらず、多くの実用的なアプリケーションでは実用的ではありません。

ヘアスタイルモデリングのためのいくつかの学習ベースのアルゴリズムは、ストランドベースの合成データから発見されたヘアプライオリを使用して取得プロセスを高速化します。しかし、訓練データセットの量はこれらのアプローチの精度の自然な決定要因です。既存のデータセットのほとんどは数百のサンプルしか含んでいないため、人間のヘアスタイルの多様性を適切に扱うためにはより大きなデータセットが必要であり、再構築品質が低下します。この研究では、未制御の照明環境で動作し、さらなるユーザーアノテーションなしで画像またはビデオベースのデータを使用するヘアモデリングの技術を提供しています。彼らはそれを行うための2段階の再構築プロセスを作成しました。最初のステップでの粗いボリューメトリックな髪の復元は完全にデータ駆動型であり、暗黙的なボリューメトリック表現を使用します。第二段階であるファインストランドベースの再構築は、個々の髪のストランドのレベルで作業し、主に小さな合成データセットから発見されたプライオリに依存します。髪と胸（頭部と肩）領域では、最初のステップで暗黙の表面表現を再作成します。

• 「サリー大学の研究者が開発した新しいソフトウェアは、AIが実際にどれだけの情報を知っているかを検証することができます」
• 新しいAIの研究は、事前学習済みおよび指示微調整モデルのゼロショットタスクの一般化性能を改善するために、コンテキスト内の指導学習（ICIL）がどのように機能するかを説明しています
• 「スタンフォード大学の新しいAI研究は、言語モデルにおける過信と不確実性の表現の役割を説明します」

さらに、トレーニング画像または2D方向マップで示される髪の方向と比較することで、異方性投影を使用して髪の成長方向のフィールドを学習することができます。このフィールドは、髪の形状のより正確なフィッティングに役立つことができますが、その主な適用は第二段階の髪のストランドの最適化を制限することです。彼らは、入力フレームから髪の方向マップを生成するために、画像の勾配に基づく従来の方法を使用しています。

ストランドベースの再構築を行うために、第二段階では事前にトレーニングされたプライオリを使用します。彼らは、自己符号化器を使用して合成データからトレーニングされたパラメトリックモデルを使用して個々の髪のストランドとその共同分布またはヘアスタイル全体を表現します。したがって、最適化手順を介して、この段階では前の段階で達成された粗い髪の再構築を学習ベースのプライオリと調和させます。最後に、異方性レンダリングを使用した新しいヘアレンダラを使用して、再構築されたヘアスタイルのリアリズムを高めます。

要約すると、彼らの貢献は次のとおりです：

• ストランドプライオリの改善されたトレーニングアプローチ

• 頭部および髪の領域における人間の3D再構築方法（ヘアの方向を含む）

• ラテント拡散ベースのプライオリを使用したグローバルヘアスタイルモデリング（パラメトリックストランドプライオリと「インターフェース」する）

• 従来のレンダリング技術よりもより正確な再構成を実現する、微分可能なソフトヘアラスタリゼーションの手法。

• ストランドレベルでの人間の髪の優れた再構成を実現するために、上記の要素をすべて組み合わせたストランドフィッティングの手法。

彼らの技術の効果を人工および実世界のデータでテストするために、スマートフォンの単眼フィルムと無制限な照明設定で動作する3Dスキャナからの多視点写真を使用しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!