「ChatGPTを再び視覚させる：このAIアプローチは、リンクコンテキスト学習を探求してマルチモーダル学習を可能にします」

ChatGPTを再び視覚させる：リンクコンテキスト学習によってマルチモーダル学習を実現

言語モデルは、連続的で文脈に即したテキストを生成する能力により、コンピュータとのコミュニケーション方法を革新しました。大規模な言語モデル（LLM）は、人間の言語のパターンや微妙なニュアンスを学習するために、膨大な量のテキストデータにトレーニングされ、この進歩の最前線に立っています。LLMの革命の先駆者であるChatGPTは、さまざまな学問分野の人々に非常に人気があります。

LLMの非常に高い能力のおかげで、様々なタスクが容易になりました。テキストの要約、メールの作成支援、コーディングタスクの自動化、ドキュメントの説明などに使用されます。これらのタスクは、1年前にはかなり時間がかかるものでしたが、今ではわずか数分で完了します。

しかし、テキスト、画像、さらにはビデオなど、さまざまなモダリティをまたがってコンテンツを処理および生成する必要があるマルチモーダル理解の需要が増えてきており、マルチモーダル大規模言語モデル（MLLM）の必要性が浮上しています。MLLMは、言語モデルの力を視覚理解と組み合わせることで、機械がより包括的で文脈に即した方法でコンテンツを理解および生成することを可能にします。

• 「生成AIをめぐる旅」
• 上位10のLLM脆弱性
• 「LLaSMと出会う：音声と言語の指示に従うクロスモーダルな対話能力を持つエンドツーエンドで訓練された大規模なマルチモーダル音声言語モデル」

ChatGPTのブームが少し収まった後、MLLMがAI界に台風のように吹き荒れ、テキストと画像をまたがるコンテンツの理解と生成を可能にしました。これらのモデルは、画像認識、ビジュアルグラウンディング、指示の理解などのタスクで驚異的なパフォーマンスを示しています。ただし、これらのモデルを効果的にトレーニングすることは依然として課題です。最大の課題は、MLLMが画像とラベルの両方が未知の完全に新しいシナリオに遭遇した場合です。

さらに、MLLMは、より長いコンテキストを処理する際に「中途で迷子になる」傾向があります。これらのモデルは、始まりと中間の位置に大きく依存しているため、ショット数が増えるにつれて正確性が停滞することを説明しています。そのため、MLLMはより長い入力に苦労します。

それでは、さあリンクコンテキスト学習（LCL）に会いましょう。

MLLMには2つの主要なトレーニング戦略があります。マルチモーダルプロンプトチューニング（M-PT）とマルチモーダルインストラクションチューニング（M-IT）です。M-PTは、モデルの一部のパラメータのみを微調整し、他の部分は凍結したままにするアプローチです。このアプローチにより、計算リソースを最小限に抑えながら、完全な微調整と同様の結果を達成することができます。一方、M-ITは、指示の説明を含むデータセットでMLLMを微調整することにより、ゼロショットの能力を向上させます。この戦略により、事前のトレーニングなしで新しいタスクを理解し、応答するモデルの能力が向上します。これらはうまく機能しますが、どちらも一部の側面を犠牲にしています。

その代わりに、LCLは異なるトレーニング戦略を探求しています：ミックス戦略、2ウェイ戦略、2ウェイランダム、2ウェイウェイト。ミックス戦略はゼロショットの正確性を大幅に向上させ、6ショットで印象的な結果を達成することで注目されます。ただし、16ショットではパフォーマンスがわずかに低下します。これに対して、2ウェイ戦略は、2ショットから16ショットまでの正確性が徐々に向上しており、トレーニングされたパターンとのより密な一致を示しています。

従来の文脈学習とは異なり、LCLはモデルに源と目標の間のマッピングを確立させることで、全体的なパフォーマンスを向上させます。因果関係を持つデモンストレーションを提供することで、LCLはMLLMに類推だけでなく、データ点間の潜在的な因果関係も識別できるようにし、未知の画像を認識し、新しい概念をより効果的に理解することができます。ISEKAIデータセットは、リンクコンテキスト学習の文脈でMLLMの能力を評価および向上させるための重要なリソースとして機能します。

さらに、LCLはISEKAIデータセットを導入し、MLLMの能力を評価するために特別に設計された新しい包括的なデータセットです。ISEKAIデータセットには完全に生成された画像と作り出された概念が含まれています。これにより、MLLMは進行中の会話から新しい概念を吸収し、正確な質問応答のためにこの知識を保持することに挑戦されます。

結論として、LCLはマルチモーダル言語モデルのトレーニング戦略に関する貴重な洞察を提供します。混合戦略と2ウェイ戦略は、MLLMのパフォーマンスを向上させるための異なるアプローチを提供し、それぞれ独自の強みと制約があります。文脈分析は、長い入力を処理する際にMLLMが直面する課題に光を当て、この領域でのさらなる研究の重要性を強調しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!