「Text2Cinemagraphによるダイナミックな画像の力を探索：テキストプロンプトからシネマグラフを生成するための革新的なAIツール」

Exploring the power of dynamic images with Text2Cinemagraph an innovative AI tool for generating cinemagraphs from text prompts.

もしこの用語について初めて知ったのなら、シネマグラフについて何か疑問に思うかもしれませんが、おそらくすでに見かけたことがあるでしょう。シネマグラフは、特定の要素が連続的な動きを繰り返す一方で、他のシーンは静止しているビジュアルに魅了されるイラストです。それらは画像ではありませんが、ビデオとも分類できません。特定の瞬間を捉えながら、ダイナミックなシーンを特色付けるユニークな方法を提供します。

シネマグラフは、社会メディアプラットフォームや写真共有サイトでのショートビデオやアニメーションGIFとして人気を集めています。また、オンライン新聞、商業ウェブサイト、仮想会議でもよく見られます。しかし、シネマグラフを作成することは非常に困難な作業であり、カメラを使用してビデオや画像を撮影し、シームレスなループ動画を生成するために半自動の技術を利用する必要があります。このプロセスには、適切なフッテージを撮影すること、ビデオフレームを安定化させること、アニメーション化された領域と静止した領域を選択すること、モーションの方向を指定することなど、多くのユーザーの関与が必要とされます。

本記事で提案されている研究では、新たな課題であるテキストベースのシネマグラフの合成に取り組み、データキャプチャと労力のかかる手作業を大幅に減らすことが目指されています。この研究で提案されている手法は、「水の落下」と「流れる川」といったモーション効果を捉えることが困難な、静止画や既存のテキストから画像への変換技術を用いたモーション合成です。重要な点は、この手法によってシネマグラフで実現可能なスタイルと構図の範囲が広がり、コンテンツクリエーターが多様な芸術的スタイルを指定し、想像力豊かなビジュアル要素を表現できることです。この研究で紹介されている手法は、現実的なシネマグラフと創造的または異世界的なシーンの両方を生成する能力を持っています。

• 「生成型AIアプリケーションにおける効果的なプロンプトエンジニアリング原則」
• 「Underrepresented Groupsの存在下での学習について」
• アリババのChatGPTの競合相手、統一千文と出会ってください：その大規模言語モデルは、Tmall Genieスマートスピーカーや職場メッセージングプラットフォームのDingTalkに組み込まれる予定です

現在の手法は、この新しい課題に対処する際に重要な課題に直面しています。一つのアプローチは、芸術的な画像を生成し、それをアニメーション化するためのテキストから画像への変換モデルを利用することです。しかし、単一の画像に対して動きを生成する既存のアニメーション手法は、主に実際のビデオデータセットで訓練されているため、芸術的な入力に対して意味のあるモーションを生成することが困難です。個々のシネマグラフを作成し、多様な芸術的スタイルを含む大規模なループ動画データセットを構築することは複雑であり、実用的ではありません。

また、テキストベースのビデオモデルを直接利用してビデオを生成する方法もあります。ただし、これらの手法では、静止した領域に目立つ時間的なチラつきのアーティファクトを導入する場合があり、望ましい半周期的なモーションを生成できないことがあります。

本研究では、実際のビデオ用に設計されたアニメーションモデルと芸術的な画像との間のギャップを埋めるために、ツインイメージ合成に基づいたText2Cinemagraphというアルゴリズムが提案されています。この手法の概要は、以下の画像に示されています。

この手法では、ユーザーが提供するテキストプロンプトから2つの画像が生成されます – 一つは芸術的で、もう一つは現実的な画像であり、同じ意味のレイアウトを共有しています。芸術的な画像は最終的な出力のスタイルと外観を表し、現実的な画像は現在のモーション予測モデルがより簡単に処理できる入力として機能します。現実的な画像に対してモーションが予測された後、この情報は芸術的な画像に転送され、最終的なシネマグラフの合成が可能になります。

現実的な画像は最終的な出力として表示されるわけではありませんが、既存のモデルと互換性がありながら芸術的な画像のセマンティックレイアウトに似た中間層として重要な役割を果たします。モーション予測を向上させるために、テキストプロンプトと現実的な画像のセマンティックセグメンテーションからの追加情報が活用されます。

以下に結果が報告されています。

これは、リアルなシネマグラフの生成を自動化するための革新的なAI技術であるText2Cinemagraphの概要でした。もし興味があり、この研究についてさらに詳しく知りたい場合は、以下のリンクをクリックして詳細情報を見つけることができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!