「AnimateDiffとは モデル特有の調整なしでパーソナライズされたテキストからイメージ（T2I）モデルをアニメーション生成器に拡張するための効果的なAIフレームワーク」

AnimateDiffは、効果的なAIフレームワークであり、モデル特有の調整なしでパーソナライズされたテキストからイメージ（T2I）モデルをアニメーション生成器に拡張するものです

テキストから画像（T2I）生成モデルは、研究コミュニティ内外から前例のない注目を集めており、芸術家やアマチュアなどの非研究者ユーザーにとってはAI支援のコンテンツ作成への低い敷居を提供しています。DreamBoothやLoRAなどのいくつかの軽量な個人化技術は、RTX3080を搭載したノートパソコンのような消費者向けのデバイスで小規模データセットに対してこれらのモデルをカスタマイズすることを可能にし、その後、これらのモデルは noticeably improved quality でカスタマイズされたコンテンツを生成することができます。これらの技術は、既存のT2I生成モデルの創造性をさらに促すことを目指しています。

これにより、ユーザーは事前学習済みのT2Iモデルに簡単かつ手頃な価格で新しいアイデアや美学を追加することができるようになり、CivitAIやHuggingfaceなどのモデル共有ウェブサイトでプロやアマチュアによって作成されたカスタマイズモデルの増加につながっています。DreamBoothやLoRAを使用して開発されたカスタマイズされたテキストから画像へのモデルは、その優れた視覚的品質に対して称賛を受けていますが、静止画像のみを生成します。時間的な柔軟性の欠如が主な問題です。アニメーションの多様な使用を考慮して、現在のほとんどのカスタマイズされたT2Iモデルを元の視覚的品質を維持しながらアニメーション画像を生成するモデルに変換できるかどうかを知りたいと考えています。

最近の一般的なテキストから動画を生成する技術の推奨事項として、初期のT2Iモデルに時間的なモデリングを組み込み、ビデオデータセットを使用してモデルを微調整することが挙げられます。しかし、カスタマイズされたT2Iモデルでは、デリケートなハイパーパラメータの微調整、カスタマイズされたビデオの収集、要求の厳しい計算リソースのため、これは困難になります。本研究では、上海AI研究所、香港中文大学、スタンフォード大学の研究者が、AnimateDiffという一般的な技術を提案し、モデル固有の調整を必要とせずに、時間の経過に伴う美的な内容の一貫性を持つ任意のカスタマイズされたT2Iモデルでアニメーション画像を作成できるようにしています。

• コードの解読：機械学習が故障診断と原因分析の秘密を明らかにする
• 「起業家のためのトップAIツール2023年」
• Google DeepMindは、NaViTという新しいViTモデルを導入しましたこのモデルは、トレーニング中にシーケンスパッキングを使用して、任意の解像度やアスペクト比の入力を処理します

ほとんどのカスタマイズされたT2Iモデルが同じ基本モデル（例：stable diffusion）から派生していることや、各カスタマイズドメインの対応するビデオを収集することが困難であることを考慮し、彼らはモーションモデリングモジュールの設計に取り組みました。具体的には、ベースのT2Iモデルにモーションモデリングモジュールを追加し、大規模なビデオクリップで洗練され、適切なモーションプライオリティを学習します。なお、基本モデルのパラメータは変更されません。微調整の後、彼らは作成されたパーソナライズされたT2Iも、よく学習されたモーションプライオリティから利益を得ることができ、魅力的で流れるようなアニメーションを作成することを示しています。

モーションモデリングモジュールは、追加のデータ収集やカスタムトレーニングを必要とせずに、関連するすべてのカスタマイズされたT2Iモデルをアニメーション化することができます。彼らは、AnimateDiffを実際には様々な典型的なDreamBoothやLoRAモデルに適用し、リアルな画像やアニメ画像を含んでいます。特別な調整なしに、ほとんどのカスタマイズされたT2Iモデルは、熟練したモーションモデリングモジュールをインストールするだけで直接アニメーション化することができます。さらに、彼らは実践で、モーションモデリングモジュールが時間の次元に沿ったプレーンバニラアテンションのみで正しいモーションプライオリティを獲得できることを発見しました。また、彼らはモーションプライオリティが2Dアニメや3Dアニメーションなどのドメインでどのように使用できるかを示しています。これにより、AnimateDiffはカスタムエネルギーの簡単かつ効率的なベースラインを提供し、消費者がカスタマイズされた画像モデルの料金で簡単に特注のアニメーションを取得できるようにします。コードはGitHubで入手できます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!