「インコンテキスト学習について知っておくべきことすべて」

Incognito Learning All You Need to Know

| インコンテキスト学習 | 大規模言語モデル | LLMs

大規模言語モデルの成り立ちとその強力さ

「私にとって、文脈が鍵です。それから全ての理解が生まれます。」― ケネス・ノーランド

インコンテキスト学習（ICL）は、最も驚くべきモデルのスキルの一つです。GPT-3で観察され、著者の注目を集めました。ICLとは具体的に何でしょうか？さらに重要なのは、何がそれを生み出すのでしょうか？

この記事は、異なるセクションに分かれており、各セクションで以下の質問に答えます：

• インコンテキスト学習（ICL）とは何ですか？なぜそれが興味深いのですか？なぜそれが役立つのですか？
• ICLの謎：どのように機能するのですか？訓練データですか？プロンプトですか？アーキテクチャですか？
• ICLの未来はどうなるのでしょうか？残された課題は何ですか？

記事の最後に参考文献のリストをチェックしてください。さらに各トピックを深めるためのいくつかの提案も提供しています。

• PaLM-Eをご紹介します：新たな5620億パラメータの具現化された多モーダル言語モデルで、ロボットの操作計画やビジュアルQAなどのタスクを実行します
• 学習曲線の航行：AIの記憶保持との闘い
• 「事前学習済みのテキストからイメージへの拡散モデルを用いたポイントクラウドの補完」

インコンテキスト学習（ICL）とは何ですか？

「言語の限界は、私の世界の限界でもあります。」― ルートヴィヒ・ウィトゲンシュタイン

大規模言語モデル（LLMs）が公開される前は、人工知能モデルは訓練されたデータに制限されていました。つまり、LLMsは訓練が設計されたタスクのみを解決することができました。

一方、GPT-3や現在のLLMsは、新しい例（プロンプト）を提供するだけで新しいスキルを学び、新しいタスクを解決するという新しい能力を示しています。また、この場合、モデルを訓練しているわけではありません。勾配の更新やモデルパラメータの変更はありません。このスキルはインコンテキスト学習（ICL）と呼ばれます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!