UC BerkeleyとUCSFの研究者が神経ビデオ生成を革新します： 高度な空時的ダイナミクスのためのLLM-Groundedビデオ拡散（LVD）の紹介

UC BerkeleyとUCSFの研究者が美容業界を変革する：LLM-Groundedビデオ拡散（LVD）で驚くべき神経ビデオ生成技術を紹介

テキストのプロンプトからビデオを生成する際に直面する課題に対応するため、研究者のチームがLLM-Grounded Video Diffusion（LVD）と呼ばれる新しいアプローチを導入しました。問題の核心は、既存のモデルがテキストのプロンプトで説明される複雑な時空間ダイナミクスを正確に表現するビデオを作成するのに苦労しているということです。

背景を提供するために、テキストからビデオを生成することは、テキストの説明に基づいてビデオを生成するという複雑な課題です。この問題に対して以前の試みがあったものの、空間的な配置や時間的なダイナミクスの観点で与えられたプロンプトとよく一致するビデオを生成することができないという問題がありました。

一方で、LVDは異なるアプローチを取ります。直接テキストの入力からビデオを生成するのではなく、Large Language Models（LLMs）を利用して最初にテキストの説明に基づいて動的なシーンレイアウト（DSLs）を作成します。これらのDSLsは、後続のビデオ生成プロセスにおいて実質的に設計図やガイドとなります。

• 新しいAI論文で、CMUとGoogleの研究者が言語モデルの出力を再定義します：応答を一時停止トークンで遅延させることが、QAや推論のタスクでのパフォーマンスを向上させる方法
• ノースウェスタン大学の研究者たちは、最初の人工知能（AI）システムを開発しましたこのシステムは、ゼロからロボットを知的に設計することができます
• スタンフォード大学研究者が提案するMAPTree：強化された堅牢性とパフォーマンスを備えたベイジアンアプローチに基づく決定木生成

特に興味深いのは、LLMsがこれらのDSLsを生成する驚くべき能力を持っていることが研究者によって発見されたことです。これらのDSLsは、空間的な関係だけでなく複雑な時間的なダイナミクスも正確に捉えることができます。これは、テキストのプロンプトに基づいて現実のシナリオを正確に反映するビデオを生成するために重要な要素です。

このプロセスを具体的にするために、LVDはDSLsを利用してオブジェクトレベルの空間関係と時間的なダイナミクスがビデオ拡散モデルでどのように生成されるかを制御するアルゴリズムを導入します。重要な点は、この手法は広範なトレーニングを必要とせず、訓練フリーのアプローチであり、分類器のガイダンスが可能なさまざまなビデオ拡散モデルに統合できるということです。

LVDの結果は非常に注目すべきものです。それはベースのビデオ拡散モデルや他の強力なベースライン手法を遥かに上回り、テキストのプロンプトで要求される属性やモーションパターンに忠実に従ったビデオを生成する能力において抜きん出ています。LVDによるテキストと生成されたビデオの類似度は0.52です。テキストとビデオの類似度だけでなく、ビデオの品質も他のモデルを超えています。

まとめると、LVDはテキストからビデオを生成する画期的な手法であり、複雑なテキストのプロンプトから生成されるビデオの品質と忠実度を向上させるためにLLMsの力を活用して動的なシーンレイアウトを生成します。この手法は、コンテンツ作成やビデオ生成など、さまざまなアプリケーションにおいて新たな可能性を開拓する可能性があります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!