バイトダンスとキング・アブドゥッラー科学技術大学のAI研究者が、静止したポートレート写真の髪の毛を揺らすための新しいフレームワークを発表します

「バイトダンスとキング・アブドゥッラー科学技術大学のAI研究者が、静止したポートレート写真の髪を揺らす新しいフレームワークを発表」

髪は人間の身体の中でも最も印象的な特徴の1つであり、そのダイナミックな特性によってシーンが生き生きと表現されます。研究により、ダイナミックな要素が静止画像よりも強い魅力と興味を引き起こすことが一貫して証明されています。TikTokやInstagramのようなソーシャルメディアプラットフォームでは、人々が写真を魅力的で芸術的に魅力的にすることを望んで、広範なポートレート写真の共有が日常的に行われています。この動機は、静止画像内の人間の髪をアニメーション化する領域の探索を燃料としており、鮮やかで美しく景観的な視覚体験を提供することを目指しています。

この分野での最新の進化により、静止画像に水、煙、火などの流動物質をアニメーション化する手法が導入されました。しかし、これらの手法は実生活の写真での人間の髪の複雑な性質をほとんど無視しています。この記事では、ポートレート写真内で人間の髪の芸術的な変換に焦点を当て、その写真をシネマグラフに変換することを目指しています。

シネマグラフは、プロの写真家、広告主、アーティストの間で好まれる革新的な短いビデオ形式です。デジタル広告、ソーシャルメディア投稿、ランディングページなど、さまざまなデジタルVoAGIで利用価値があります。シネマグラフの魅力は、静止画像と動画の強みを融合させる能力にあります。シネマグラフの一部分には、短いループで繰り返し動作する微妙な動きがあり、残りの部分は静止しています。この静止と動きの要素の対比が、鑑賞者の注意を効果的に引きつけます。

• スタンフォード大学の研究者たちは、MLAgentBenchを提案しました：AI研究エージェントのベンチマーキングのためのマシンラーニングタスクのスイート
• 「UCSDとByteDanceの研究者が、アクターズネルフ（ActorsNeRF）を発表：未知の俳優にも対応するアニメータブルな人間アクターネルフモデルで、フューショット設定の環境に汎化する」という意味です
• 「Googleの研究者が球面上でのディープラーニングのためのJAX向けのオープンソースライブラリを紹介します」

ポートレート写真をシネマグラフに変換することで、微妙な髪の動きを含めて、写真の魅力を高めることを目指しています。これにより、より魅力的で魅力的な視覚体験が生まれます。

既存の手法や商用ソフトウェアは、入力ビデオから高品質なシネマグラフを生成するために、一部のビデオ領域を選択的に凍結するという手法を採用しています。残念ながら、これらのツールは静止画像の処理には適していません。対照的に、静止画像のアニメーション化に関心が高まっています。これらの手法の多くは、雲や水、煙などの流体要素をアニメーション化することに焦点を当ててきました。しかし、繊維状の材料から構成される髪のダイナミックな振る舞いは、流体要素と比較して独特の課題を提供します。広範な注目を集めている流体要素のアニメーション化とは異なり、実際のポートレート写真での人間の髪のアニメーション化は比較的未開拓の領域です。

静止したポートレート写真で髪をアニメーション化することは、髪の構造とダイナミクスの複雑さにより、困難を伴います。人間の体や顔の滑らかな表面とは異なり、髪は数十万もの個別のコンポーネントから構成され、複雑で均一ではありません。この複雑さにより、髪内には髪の中での複雑な運動パターンや頭との相互作用が存在します。カメラアレイと高速カメラを使用するなど、髪のモデリングのための特殊な手法はありますが、コストと時間がかかるため、実世界での髪のアニメーションには制約があります。

本記事で紹介する論文は、静止したポートレート写真内で髪を自動的にアニメーション化するためのAI手法を紹介しており、ユーザーの介入や複雑なハードウェアセットアップは不要です。この手法の背後にある考えは、実際のポートレートビデオ内の個々の髪のストランドとそれらの動きに対する人間の視覚システムの感度が、仮想環境内の合成ストランドと比較して低下していることです。提案されている解決策は、個々のストランドではなく「髪の房」をアニメーション化することで、視覚的に魅力的な視聴体験を創造することです。これを実現するために、本論文では髪の房のアニメーションモジュールを紹介し、効率的かつ自動化された解決策を提供しています。以下に、このフレームワークの概要を示します。

この文脈での主な課題は、これらの髪の房をどのように抽出するかです。髪のモデリングなどの関連する研究では、主に髪の領域全体の抽出を対象としていますが、これは目的と異なります。意味のある髪の房を抽出するために、研究者は髪の房抽出をインスタンスセグメンテーション問題としてフレーム化し、静止画像内の個々のセグメントが髪の房に対応するようにしました。この問題定義を採用することで、研究者はインスタンスセグメンテーションネットワークを活用して髪の房の抽出を容易にしました。これにより、髪の房の抽出問題が簡素化されるだけでなく、効果的な抽出のために高度なネットワークの使用が可能になります。さらに、本論文では、ネットワークのトレーニングのための実際のポートレート写真を含む髪の房データセットの作成と、特定された髪の房のための正解注釈のためのセミアノテーションスキームの作成を紹介しています。以下の図には、本論文と先進的な手法を比較したいくつかのサンプル結果が報告されています。

これは、美しい動きを持つ髪の毛を使って、静止したポートレートをシネマグラフに変換するための新しいAIフレームワークの要約でした。目立つ欠点なく魅力的なモーションを与えることができます。興味がある方は、以下に引用されたリンクを参照してください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!