マルチモーダル言語モデル：人工知能（AI）の未来

マルチモーダル言語モデル：AIの未来

大規模言語モデル（LLM）は、テキストの分析や生成などのタスクをこなすことができるコンピュータモデルです。これらは膨大なテキストデータで訓練され、テキスト生成やコーディングなどのパフォーマンスを向上させます。

現在のほとんどのLLMはテキストのみであり、テキストベースのアプリケーションに優れ、他の種類のデータを理解する能力に制限があります。

テキストのみのLLMの例には、GPT-3、BERT、RoBERTaなどがあります。

• マイクロソフトAIは、高度なマルチモーダルな推論と行動のためにChatGPTとビジョンエキスパートを組み合わせたシステムパラダイム「MM-REACT」を提案しています
• 「自動推論とツールの利用（ART）を紹介します：凍結された大規模言語モデル（LLM）を使用して、推論プログラムの中間段階を迅速に生成するフレームワーク」
• Concrete MLと出会ってください：プライバシーの保護と安全な機械学習を可能にするオープンソースのFHEベースのツールキット

それに対して、マルチモーダルLLMは、テキストに加えて画像、動画、音声、その他の感覚入力など、他のデータタイプを組み合わせます。マルチモーダル性をLLMに統合することで、現在のテキストのみのモデルの制限を解消し、以前は不可能だった新しいアプリケーションの可能性を開くことができます。

最近リリースされたOpen AIのGPT-4はマルチモーダルLLMの一例です。画像とテキストの入力を受け付け、多くのベンチマークで人間レベルのパフォーマンスを示しています。

マルチモーダルAIの台頭

マルチモーダルAIの進展は、2つの重要な機械学習技術、表現学習と転移学習によってもたらされています。

表現学習により、モデルはすべてのモダリティに共有の表現を開発することができます。一方、転移学習により、モデルは特定のドメインでの微調整の前に基礎的な知識を学習することができます。

これらの技術は、マルチモーダルAIを実現し、CLIP（画像とテキストを整合させる）、DALL·E 2およびStable Diffusion（テキストプロンプトから高品質の画像を生成する）などの最近のブレークスルーによって効果的であります。

異なるデータモダリティ間の境界が不明瞭になるにつれて、複数のモダリティ間の関係を活用するAIアプリケーションがさらに増えることが予想され、フィールド全体でパラダイムシフトが起こります。アドホックなアプローチは徐々に時代遅れになり、さまざまなモダリティ間の関連を理解する重要性はますます高まるでしょう。

マルチモーダルLLMの働き方

テキストのみの言語モデル（LLM）は、言語を理解し生成するためのトランスフォーマーモデルによって動作します。このモデルは入力テキストを「単語埋め込み」と呼ばれる数値表現に変換します。これらの埋め込みは、モデルがテキストの意味と文脈を理解するのに役立ちます。

トランスフォーマーモデルは、その後、「アテンションレイヤー」と呼ばれるものを使用して、入力テキストの異なる単語どうしの関係を処理し、出力の最も可能性の高い次の単語を予測します。

一方、マルチモーダルLLMは、テキストだけでなく、画像、音声、ビデオなどの他のデータ形式も扱います。これらのモデルは、テキストと他のデータタイプを共通のエンコーディング空間に変換するため、すべてのデータタイプを同じメカニズムで処理することができます。これにより、モデルは複数のモダリティからの情報を組み込んだ応答を生成し、より正確かつコンテキストに即した出力が可能となります。

マルチモーダル言語モデルの必要性

GPT-3やBERTのようなテキストのみのLLMは、記事の執筆、メールの作成、コーディングなど、幅広いアプリケーションに利用されています。ただし、このテキストのみのアプローチは、これらのモデルの制限も浮き彫りにしました。

言語は人間の知能の重要な部分ですが、それは私たちの知覚や能力の一側面を表すだけです。私たちの認知能力は、過去の経験や世界の動作の理解によって大きく形成された無意識の知覚と能力に大きく依存しています。

テキストだけで訓練されたLLMは、常識や世界の知識を組み込む能力に制限があります。トレーニングデータセットを拡大することはある程度役立つかもしれませんが、これらのモデルはまだ知識の予期せぬギャップに遭遇する可能性があります。マルチモーダルアプローチは、これらの課題のいくつかを解決することができます。

これをよりよく理解するために、ChatGPTとGPT-4の例を考えてみましょう。

ChatGPTは非常に有用な言語モデルであり、多くのコンテキストで非常に役立つことが証明されていますが、複雑な推論などの領域では制限があります。

これに対応するため、次のバージョンのGPTであるGPT-4は、ChatGPTの推論能力を上回ることが期待されています。より高度なアルゴリズムを使用し、マルチモダリティを組み込むことで、GPT-4は自然言語処理を次のレベルに引き上げ、より複雑な推論問題に取り組む能力を向上させ、人間に似た応答を生成する能力をさらに向上させることができるでしょう。

マルチモーダルLLMのいくつかの例

OpenAI：GPT-4

GPT-4は、画像とテキストの両方の入力を受け入れ、テキストの出力を生成する大規模なマルチモーダルモデルです。特定の現実世界の状況では人間ほど能力がないかもしれませんが、GPT-4は多くのプロフェッショナルおよび学術的なベンチマークで人間レベルのパフォーマンスを示しています。

前任者であるGPT-3.5と比較すると、2つのモデルの違いは非公式の会話では微妙かもしれませんが、タスクの複雑さが一定の閾値に達すると明らかになります。 GPT-4は、GPT-3.5よりも信頼性が高く、創造性があり、GPT-3.5よりも洗練された指示を処理することができます。

さらに、テキストと画像を含むプロンプトを処理することができるため、ユーザーは任意のビジョンまたは言語のタスクを指定することができます。 GPT-4は、テキスト、写真、図、スクリーンショットを含むドキュメントなど、さまざまなドメインでの能力を示し、自然言語やコードなどのテキストの出力を生成することができます。

最近、Khan AcademyはGPT-4を使用して、学生の仮想チューターおよび教師の教室アシスタントとして機能するAIアシスタント「Khanmigo」を開発すると発表しました。各学生の概念を理解する能力は大きく異なるため、GPT-4の使用はこの問題に対処するのに役立ちます。

Microsoft：Kosmos-1

Kosmos-1は、マルチモーダルな大規模言語モデル（MLLM）であり、さまざまなモダリティを認識し、コンテキストで学習（few-shot）し、指示に従う（zero-shot）ことができます。 Kosmos-1は、テキストと画像、画像キャプションのペア、およびテキストデータを含むWebデータを元に、ゼロからトレーニングされました。

このモデルは、言語理解、生成、認識言語、およびビジョンのタスクで印象的なパフォーマンスを達成しました。 Kosmos-1は、言語、認識言語、およびビジョンの活動をネイティブにサポートしており、認識集中型および自然言語タスクを処理することができます。

マルチモダリティによって、大規模言語モデルがより少ないリソースでより多くのことを実現し、より小さいモデルが複雑なタスクを解決することが可能になります。

Google：PaLM-E

PaLM-Eは、GoogleとTU Berlinの研究者によって開発された新しいロボットモデルであり、さまざまな視覚と言語のドメインからの知識移転を利用してロボットの学習を強化します。以前の取り組みとは異なり、PaLM-Eは言語モデルを訓練して、ロボットエージェントの生のセンサーデータを直接組み込みます。これにより、非常に効果的なロボット学習モデルである、最先端の汎用の視覚言語モデルが得られます。

このモデルは、テキスト、画像、およびロボットの周囲環境の理解など、さまざまな情報タイプの入力を受け取ります。プレーンテキスト形式または一連のテキスト指示として応答を生成し、テキスト、画像、および環境データなど、さまざまな入力情報タイプに基づいてロボットのための実行可能なコマンドに翻訳することができます。

PaLM-Eは、研究者によって実施された実験によって、具体的なタスクとエンボディメントの両方での能力を示しています。彼らの調査結果は、タスクごとにモデルをトレーニングすることで、そのパフォーマンスが向上することを示しています。さらに、モデルの知識移転能力により、限られたトレーニング例でもロボットタスクを効果的に解決することができます。これは、トレーニングデータを十分に取得することが困難なロボティクスにおいて特に重要です。

マルチモーダルLLMの制約事項

人間は自然に異なるモダリティや世界の理解方法を学び、組み合わせます。一方、マルチモーダルLLMは言語と知覚を同時に学習したり、事前にトレーニングされたコンポーネントを組み合わせたりする試みです。このアプローチは開発のスピードを上げ、スケーラビリティを向上させることができますが、奇妙な振る舞いや異常な結果を引き起こす可能性もあり、人間の知能との非互換性を示すことがあります。

マルチモーダルLLMは、現代の言語モデルや深層学習システムのいくつかの重要な課題に取り組む上で進展していますが、解決すべき制約事項もまだ存在します。これらの制約事項には、モデルと人間の知能の間の潜在的な不一致が含まれることがあり、これによってAIと人間の認知のギャップを埋める能力が阻害される可能性があります。

結論：なぜマルチモーダルLLMが未来なのか？

私たちは現在、人工知能の新たな時代の最前線にいます。現在の制約事項にも関わらず、マルチモーダルモデルは台頭しています。これらのモデルは複数のデータタイプとモダリティを組み合わせ、私たちが機械と対話する方法を完全に変える可能性を秘めています。

マルチモーダルLLMはコンピュータビジョンと自然言語処理で驚異的な成功を収めています。しかし、将来的には、マルチモーダルLLMが私たちの生活にさらなる大きな影響を与えると期待されます。

マルチモーダルLLMの可能性は無限であり、私たちはまだその真の潜在能力を探索し始めたばかりです。その約束された可能性を考えると、マルチモーダルLLMはAIの未来において重要な役割を果たすことは明らかです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!