Search Results L

AI2とワシントン大学の研究者が、LLMsの表面的な性質を明らかにし、チューニングフリーの新しい方法であるURIALを紹介した

ラージランゲージモデル（LLMs）は、人工知能（AI）やディープラーニングの分野での最近の革新です。GPT、PaLM、LLaMaなどのよく知られたLLMは、コンテンツの生成において非常に高いポテンシャルを示しています。質問応答やテキスト要約から言語翻訳やコード補完まで、これらのモデルは多くのことができます。ChatGPTを含むこれらのモデルは、広範な非監督テキストコーパスでの事前トレーニングを経ています。しかし、最近の研究は、従来のファインチューニングの採用方法が以前に考えられていたほど重要ではない可能性があると示唆しています。オープンドメインのAIアシスタントとしての基本LLMの改善プロセスであるアライメントチューニングは業界標準と認められています。これには、人間のフィードバックからの強化学習（RLHF）や監視付きファインチューニング（SFT）が含まれます。この標準は、LIMAという研究によって問われ、SFTのためのわずか1,000のサンプルでも意味のあるアライメントパフォーマンスを達成することができると示されました。 LIMAが提案したスーパーフィシャルアライメント仮説では、基本LLMの振る舞いを根本的に変えるのではなく、特定のデータ形式を選択するようにトレーニングすることで、アライメントチューニングが行われる可能性があります。これにより、わずかな例でも高品質なアライメントモデルが監視付きファインチューニングによって生成されることが示されました。スーパーフィシャルアライメント理論に確かな支持を見つけるための研究が不十分であるため、Allen Institute for Artificial Intelligenceおよびワシントン大学の研究チームは、最近の論文でアライメントチューニングの広く使用されている技術に取り組み、基本LLMを有用なオープンドメインのAIアシスタントにする方法を提案しています。選好チューニングは人間のフィードバックからの強化学習によって実現され、指導学習は監視付きファインチューニングによって実現されています。チームは、基本LLMとそのアライメントされたバージョン（例：Llama-2およびLlama-2-chat）のトークン分布の変化を調査し、アライメント調整の影響を研究しました。彼らは、基本LLMとそのアライメントされたバージョンが上位ランクされたトークンを共有し、ほとんどのトークン位置でデコーディングにおいてほぼ同じパフォーマンスを発揮することを発見しました。ディスコースマーカーやセーフティディスクレイマーなどのスタイルトークンは、最も分布の変動を経験しています。この研究は、アライメント調整が主にAIアシスタントの言語スタイルを同化することに焦点を当てており、基本LLMがユーザーの問い合わせに応えるために必要な情報を提供しているという仮説の説得力のある証拠を提供しています。チームはまた、SFTやRLHFなしで基本LLMをどの程度アラインできるかという研究トピックを提示しました。彼らは、URIAL（調整を必要としないLLMとコンテキスト内アライメント）というアライメント技術を提案しました。わずか3つの連続スタイルの例とシステムのプロンプトだけで、URIALは基本LLMとのコンテキスト内学習（ICL）のみを通じて効果的なアラインメントを達成します。チームは、Mistral-7b-Instruct（SFTで調整されたLLM）やSFT+RLHF（Llama-2-70b-chat）でアラインされたLLMsと同等またはそれ以上のパフォーマンスを提供するURIALを持つ基本LLMの詳細で理解しやすい分析を提供する、just-eval-instructと呼ばれる一連のインスタンスで、チューニングフリーおよびチューニングベースのアライメント戦略のギャップを劇的に縮小することが示されました。結論として、評価結果は浅いアライメントチューニングを強調し、基本LLMの言語スタイルの導入と既存の知識に委ねられることを示しています。

最近の人類学的研究によれば、クロード2.1の戦略的な促進を通じて、プロンプトに単一の追加をすることで、LLMsの記憶容量を70％増加させることができると報告されました

以下のHTMLコードを日本語に翻訳します（HTMLコードは結果に含めます）：この研究は、Claude 2.1の機能における固有の課題に取り組んでいます：200,000トークンの文脈ウィンドウ内での個々の文に基づく質問に対する抵抗力です。このため、モデルのリコール能力を最大化する上で重要なハードルとなり、解決策の探求を促しています。現在の手法を調査すると、Claude 2.1は、特に場違いとされる個々の文に関する質問に直面した際に躊躇することがわかります。これに対応して、Anthropicの研究者たちは、驚くほど効果的な解決策を提案しています：プロンプトの追加です。彼らは、「文脈内で最も関連のある文は次のとおりです：」という文をプロンプトに組み込むことを提案しています。この些細な調整は、メタコマンドに似ており、モデルのリコール能力を大幅に向上させます。追加されたプロンプトは、Claude 2.1に関連する文を優先的に処理するよう指示するため、効果的にモデルの質問に対する躊躇を解消します。200,000文脈ウィンドウの評価において、Claudeのスコアは27%から98%に驚異的に向上するなど、パフォーマンスの改善が実証されています。特に、このプロンプトを提供した後、単文のクエリの正確性が驚異的に90%増加しました。単文のクエリの正確性の増加は、追加されたプロンプトがClaude 2.1のパフォーマンスに与える重要な影響を示しています。この大幅な改善は、より広範な文脈内の単一の文の照会を処理する能力を高め、解決策の実用的な意義を示しています。まとめると、この革新的な手法はClaude 2.1の躊躇を解消し、単一のプロンプトの追加によってリコール能力が70%向上することを示しています。研究チームの調査結果は、プロンプトの微妙な動態と言語モデルの振る舞いへの重要な影響について貴重な示唆を提供しています。AIコミュニティは大規模言語モデルの精度を高めるために改善を追求していますが、この発見は機能性の向上に実用的な意義を持つ注目すべき進展となります。この記事はMarkTechPostの投稿から引用されました。