テンセントAI研究所では、GPT4Videoを紹介していますこれは統合マルチモーダル大規模言語モデルであり、指示に従った理解と安全意識のある生成を目指しています

「テンセントAI研究所がGPT4Videoを紹介：統合マルチモーダル大規模言語モデルで安全な生成と指示に従った理解を目指す」

テンセントAIラボとシドニー大学の研究者たちによって、ビデオの理解と生成シナリオの問題がGPT4Videoで解決されました。この統一されたマルチモデルのフレームワークは、ビデオの理解と生成の能力を持つLLM（言語・ロボットマルチモデル）をサポートしています。 GPT4Videoは、安定した拡散生成モデルに統合された指示に従うアプローチを開発し、効果的かつ安全にビデオの生成シナリオを処理します。

先行研究では、視覚入力とテキスト出力を処理する多モーダル言語モデルが開発されています。例えば、いくつかの研究者は、複数のモダリティ用の共有埋め込み空間の学習に焦点を当てています。そして、マルチモーダル言語モデルが指示に従うことができるようにすることに関心が集まっており、最初のマルチモーダルな指示の調整基準データセットであるMultiInstructが紹介されました。LLMは自然言語処理を革新しました。テキストから画像/ビデオの生成は、さまざまな技術を用いて探究されてきました。LLMの安全性への懸念も、最近の研究で取り組まれています。

GPT4Videoフレームワークは、LLMに高度なビデオの理解と生成能力を与えるために設計された万能で多様なシステムです。現在のMLLM（マルチモーダル言語モデル）の限界に応えるために、GPT4Videoはマルチモーダルな出力を生成する能力において不足しているにもかかわらず、マルチモーダルな入力を処理する能力に優れています。GPT4Videoは、LLMが解釈するだけでなく、豊かなマルチモーダルコンテンツを生成することができるようにします。

• 「ロボットのビジョン-言語プランニングにおけるGPT-4Vの力を発揮する方法は？ViLaと出会ってください：長期計画のためにGPT-4Vを活用するシンプルで効果的なAIメソッド」
• 「AppleがオープンソースのMLフレームワーク「MLX」を発表」
• ムーブワークスのCEO兼創業者であるBhavin Shah—シリコンバレーの起業の旅、AIのスケーリングの課題、イノベーション文化、戦略的パートナーシップ、規制上のハードルの克服、ユーザーとのAIとの対話、エンタープライズの将来のビジョン

GPT4Videoのアーキテクチャは、3つの重要なコンポーネントで構成されています：

• ビデオ理解モジュールは、ビデオの特徴抽出器とビデオの要約器を使用して、ビデオ情報をLLMの単語埋め込み空間とエンコードし整列させます。
• LLM本体は、LLaMAの構造を活用し、元の事前学習済みパラメータを維持しながら、Parameter-Efficient Fine Tuning（PEFT）手法であるLoRAを用いています。
• ビデオ生成パートは、データセットに従って緻密に構築された指示によって、LLMにプロンプトを生成するように条件付けます。

GPT4Videoは、ビデオの理解と生成において優れた能力を示し、ビデオの質問回答タスクでValleyを11.8%上回り、テキストからビデオへの生成タスクでNExt-GPTを2.3%上回りました。このモデルは、追加のトレーニングパラメータなしでLLMにビデオ生成の機能を備え、さまざまなモデルと連携してビデオ生成に利用することができます。

結論として、GPT4Videoは、言語とビジョンモデルを高度なビデオの理解と生成機能で拡張する強力なフレームワークです。専門的にビデオのモダリティを扱う一方、将来のアップデートでは画像や音声など、他のモダリティにも拡大する予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!