複数モードモデルとは何ですか？

マルチモードモデルとは？

LLMに見る能力を与えよう！

この記事は誰のためのものですか？

• 読者対象 [🟢⚪️⚪️]: AI初心者で、一般的な概念、モデル、および応用については理解している
• レベル [🟢🟢⚪️]: 中級のトピック
• 複雑さ [🟢⚪️⚪️]: 簡単に理解できる内容で、数式や複雑な理論は含まれていません

❓なぜ重要なのか

基礎となる大規模言語モデル（LLM）は、巨大なデータセットで事前にトレーニングされており、ゼロショット、フューショット、または転移学習を通じて一般的なマルチタスクを効率的に処理することができます。

実際、PaLM2やGPT4などのこれらのモデルの例は、テキストを入力としてコンピュータと対話する方法を革新しましたが、…

• もしこれらのモデルの知能を拡張する方法があるとしたら、写真や音声、動画など異なる入力モダリティを使用できるようにしてみませんか？ つまり、マルチモーダルにすることです！
• これは、ウェブ上で物事を検索する方法や、たとえば医学や病理学のような現実世界の応用において、私たちが世界を理解する方法を大幅に改善する可能性があります。
• その解決策が存在します！マルチモーダル深層学習モデルは、異なるタイプの入力からの埋め込みを組み合わせることで、例えばLLMがあなたが求めているものを「見る」ことができ、関連する結果を返すことができます。

⚡️もし今回の仕組みについてもっと学びたい場合は、このすべてがどのように機能するのかを詳しく学び、実際のデモで遊ぶことができますので、お付き合いください！

🔥どのように機能するのか？

埋め込みから始めましょう

ディープラーニングモデルのトレーニングの最もパワフルな構築ブロックの一つは、埋め込みベクトルの作成です。

• 「枝は何も必要ありません：私たちの主観的なMLバージョニングフレームワーク」
• アナリストとしてのミスを犯すこと-そしてそれに対処するための戦略
• 「ウォルマート、よりパーソナライズされたショッピング体験を提供するためにAIを活用」

トレーニング中、モデルは異なるカテゴリ（たとえば、人々、食べ物、おもちゃなど）をそれらの数値表現、つまり埋め込みベクトルに符号化します。

埋め込みは、カテゴリの疎な表現（テキストの一連の文字列や画像など）から、よりコンパクトで他のモデルでも再利用できるものに変換する際に有用です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!