このAIの論文は、インコンテキスト学習の秘密を解き明かすものです：言語モデルがベクトルマジックに関数をエンコードする方法

このAIの論文は、美容とファッションの専門家が活用するリッチな知識を提供します

自己回帰トランスフォーマーモデルでは、関数ベクトル（FV）として知られるコンパクトなベクトルで入出力関数を表現するニューラルメカニズムが特定されています。因果関係調停分析は、さまざまなコンテキストでの学習タスクに適用され、注意ヘッドの一部がFVを輸送し、ゼロショットおよび自然言語設定でのタスク実行を可能にします。FVには、関数の出力空間に関する情報が含まれており、これらは新しい複雑なタスクをトリガーするために組み合わせることができます。これは、LLM（言語モデル）において汎用関数の内部抽象化の存在を示しています。

北東大学の研究者たちは、LLMにおけるインコンテキスト学習（ICL）の研究を拡張し、FVの存在を明らかにするためにトランスフォーマーを探求しました。この研究は、ICLプロンプト形式、メタラーニングモデル、ベイジアンタスク推論など、関連する多くの研究を参照し、トランスフォーマーのデコードされた語彙の研究から洞察を得ます。また、ICLのコピー行動の分析と、Pearl他によって開発された因果関係調停分析手法を適用してFVを分離します。

この研究では、豊富な自然言語テキストデータで訓練された大規模な自己回帰トランスフォーマーモデルにおいてFVの存在を調査します。ICLの概念を拡張し、FVを生み出すトランスフォーマーの基本的なメカニズムを探求します。ICLに関する以前の研究、プロンプト形式やスケーリングなどがこの研究に影響を与えています。FVは入出力タスクのためのコンパクトなベクトル表現として導入されます。因果関係調停分析はFVを識別し、その特性（コンテキストの変化に対する堅牢性や意味的な組み合わせの可能性など）を理解します。

• CommonCanvasをご紹介します：クリエイティブ・コモンズの画像を使ってトレーニングされたオープンな拡散モデル
• 「ワンダー3Dに会おう：単一視点画像から高品質のテクスチャメッシュを効率的に生成する革新的な人工知能手法」
• ジナAIは、「jina-embeddings-v2」を紹介します 世界初の8kオープンソースのテキスト埋め込みモデル

この手法は因果関係調停分析を用いて自己回帰トランスフォーマーモデルにおけるFVを探求します。隠れ状態がタスクをエンコードしているかどうかを評価するテストを行い、出力の生成における精度を測定して自然言語の移植性を評価します。さまざまな設定でFVの抽出をテストするために40以上のジョブが作成され、代表的な6つのタスクに焦点を当てます。この論文は、ICLと言語モデルにおける関数表現に関する以前の研究を参照しています。

現在の研究では、因果関係調停分析を通じて自己回帰トランスフォーマーモデルにおけるFVの存在が明らかにされています。これらの入出力タスクのコンパクトな表現はさまざまなコンテキストで堅牢であり、特定の手順をトリガーすることができます。中間層において強力な因果関係効果が示され、複雑なタスクに対して意味的なベクトルの組み合わせが可能です。この手法は、他の手法よりも優れた性能を発揮し、言語モデルがさまざまなコンテキストで適用可能な汎用的な関数抽象化を持つことを強調しています。

提案された手法は、因果関係調停分析を通じて自己回帰トランスフォーマーモデル内のFVの存在を正確に特定します。これらの入出力タスクのコンパクトな表現はさまざまなコンテキストで堅牢であり、言語モデルの中間層において強力な因果関係効果を示します。また、FVには関数の出力空間をエンコードする情報が含まれることが多いですが、その再構築はより複雑です。さらに、FVは新しい複雑なタスクのトリガーとして組み合わせることができ、意味的なベクトルの組み合わせの可能性を示しています。これらの結果は、多様なコンテキストでの汎用関数の内部抽象化の存在を示唆しています。

今後の研究の方向性としては、FVの内部構造を探索し、エンコードされた情報と実行への寄与を解明すること、複雑なタスクでの有用性を検証すること、および組み合わせ可能性に関する可能性を調査することが挙げられます。様々なモデル、タスク、層でのFVの汎用性を探る比較研究が重要です。他のFV構築手法との比較研究や、タスク表現技術との関係についての調査も必要です。さらに、テキスト生成や質問応答などの自然言語処理タスクでのFVの応用についてもさらなる探求が必要です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!