一貫性のあるAIビデオエディターが登場しました：TokenFlowは、一貫性のあるビデオ編集のために拡散特徴を使用するAIモデルです

一貫性のあるAIビデオエディター、TokenFlowは拡散特徴を使用するAIモデルです

拡散モデルは、この時点でお馴染みのものです。過去の1年間、AIの領域で鍵となるトピックでした。これらのモデルは、画像生成において驚くべき成功を収め、まったく新しいページを開きました。

私たちは、テキストから画像を生成する時代にいますし、それらは日々改善されています。MidJourneyなどの拡散型生成モデルは、大規模な画像テキストデータセットを使用しており、テキストの提示に基づいて多様で現実的な視覚コンテンツを生成する能力を示しています。

テキストから画像へのモデルの急速な進化は、画像編集とコンテンツ生成の著しい進展をもたらしました。現在、ユーザーは生成された画像と実際の画像のさまざまな要素を制御することができます。これにより、アイデアをよりよく表現し、手作業の描画に数日間費やす代わりに、比較的迅速な方法で結果を示すことができます。

• 「メタに立ち向かい、開発者を強力にサポートするために、アリババがAIモデルをオープンソース化」
• 「CT2Hairに会ってください：ダウンストリームグラフィックスアプリケーションで使用するために適した高精細な3Dヘアモデルを完全自動で作成するフレームワーク」
• 「Jupyter AIに会おう：マジックコマンドとチャットインターフェースでジェネラティブ人工知能をJupyterノートブックにもたらす新しいオープンソースプロジェクト」

ただし、これらの画期的な進展をビデオの領域に適用する場合は、状況は異なります。ここでは進展が比較的遅いです。テキストからビデオを生成する大規模な生成モデルは登場しましたが、解像度、ビデオの長さ、および表現できるビデオのダイナミクスの複雑さに関してはまだ制限があります。

ビデオ編集に画像拡散モデルを使用する際の主な課題の1つは、編集されたコンテンツがすべてのビデオフレームで一貫していることを確保することです。画像拡散モデルに基づく既存のビデオ編集方法は、自己注意モジュールを複数のフレームに拡張することでグローバルな外観の整合性を実現していますが、望ましいレベルの時間的一貫性を達成するのは難しいことがよくあります。これにより、プロフェッショナルや準プロフェッショナルは、追加の手作業を含む緻密なビデオ編集手順に頼ることがあります。

それでは、TokenFlowに会いましょう。これは、事前学習されたテキストから画像へのモデルの力を活用して、自然なビデオのテキストによる編集を可能にするAIモデルです。

TokenFlowの主な目標は、入力テキストプロンプトで表現される目標の編集に従って、元のビデオの空間レイアウトとモーションを維持しながら、高品質のビデオを生成することです。

TokenFlowは、時間の一貫性の解決を目指して導入されました。それは編集されたビデオの特徴がフレーム間で一貫していることを保証するために、元のビデオのダイナミクスに基づいて編集された拡散特徴を伝播させることによって実現されます。これにより、追加のトレーニングや微調整の必要なしに、最先端の画像拡散モデルの生成事前知識を活用することができます。TokenFlowは、既存の拡散型画像編集手法ともシームレスに連携します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!