「読んだものに関してのみ話すこと：LLM（Language Model）は事前学習データを超えて一般化できるのか？」

「美容とファッションに関して話すこと：LLM（Language Model）は事前学習データを超えて一般化できるのか？」

インコンテキスト学習の限界と驚異を明らかにする

インコンテキスト学習は、大規模言語モデルの成功の要因の一つですが、未解明の点がまだ多く存在しています。この驚異的な能力の限界は何ですか？それはどこから来るのですか？LLMが人工一般知能に近づける秘密の要素とは言えるのでしょうか？

インコンテキスト学習：LLMの秘密のスキル

大規模言語モデル（LLM）の最も驚くべき機能の一つは、インコンテキスト学習（ICL）です。いくつかの例をモデルに提供するだけで、モデルは応答を生成し、入力を出力にマッピングすることができます。例えば、2つの言語間の翻訳のいくつかの例を提供すると、モデルは翻訳を行う必要があることを理解します。

インコンテキスト学習について知っておくべきこと

大規模言語モデルがなぜ強力なのか、それは何であり、どのように動作するのか

towardsdatascience.com

• トリニティライフサイエンスの社長兼CEOであるレスリー・オーン氏は、ライフサイエンスイノベーション、データ駆動型戦略、製薬業界におけるAI、エグゼクティブリーダーシップ、戦略的取引、ブランド計画、エグゼクティブのワークライフバランスに関して広く知識を持つ専門家です
• 「LLMの評価にLLMを使用する」
• テック業界でデータサイエンティストの仕事を手に入れた私の履歴書を解剖する

この概念は、モデルが2つの要素間の関数をマッピングすることに成功するという事実と捉えることができます。また、例えば ‘house = function(maison)’ のように、モデルは入力 ‘maison’ を ‘house’ に変換する関数を理解するために例を必要とすると言えます。

この振る舞いは言語に限られるものではなく、他のタスクにも適用されます。例えば、Transformerはインコンテキスト学習を通じて線形関数を学習できることを Gargが示しました。この研究では、Transformerがインコンテキストの例から複雑な関数（高次元および非線形）も学習できることが示されました。驚くべきことに、Transformerはこれらのタスクのために設計された専用モデルを上回る性能を発揮します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!