メタAIの研究者がRA-DITを導入：知識集約型タスクのための高度な検索機能を持つ言語モデルの改善のための新しい人工知能アプローチとして

メタAI研究者のRA-DIT導入：言語モデルの高度な検索機能を改善する新たな人工知能アプローチ

“`html

大規模な言語モデル（LLM）の制約や非一般的な知識の捉えを困難にする問題、そして広範な事前トレーニングの高い計算コストについて、Meta の研究者は、Retrieval-Augmented Dual Instruction Tuning（RA-DIT）を紹介しています。RA-DIT は、効率的な検索機能を備えた任意の LLM を装備するために設計された軽量なチューニング手法です。RA-DIT は、2つの異なるファインチューニングステージを通じて運用され、それぞれが大幅なパフォーマンス向上をもたらします。リトリーバルの情報利用とリトリーバーのコンテンツ関連性を最適化することで、RA-DIT はリトリーバ機能を備えた LLM の向上に対する有望な解決策を提供します。

RA-DIT は、リトリーバ機能を備えた LLM の向上を目指した、軽量な2段階のファインチューニング手法を提供します。RA-DIT は LLM のリトリーブ情報の利用をより最適化し、LLM が希望するより関連性の高い結果を提供するリトリーバを洗練させます。RA-DIT は、知識集約型のゼロショットおよびフューショット学習ベンチマークにおいて、既存のリトリーバ機能付きモデルよりも優れたパフォーマンスを発揮し、外部知識を LLM に統合してパフォーマンスを向上させることの優位性を示しています。

研究者たちは、LLM にリトリーブ機能を付加するために RA-DIT を導入しました。RA-DIT は、2つの主要なファインチューニングステージを含みます。第一に、事前トレーニング済みの LLM がリトリーブ情報をより良く活用するために洗練し、第二に、LLM が希望する文脈的に関連性の高い結果を提供するリトリーバを洗練します。彼らのアプローチは、広範なデータセットで事前トレーニングされた LLAMA 言語モデルを使用し、DRAGON モデルで初期化されたデュアルエンコーダベースのリトリーバーアーキテクチャを利用しています。さらに、彼らの手法では、LLM の予測をより効率的に行うために、並列インコンテキストリトリーブルアグメントを使用しています。

• メタAI研究者が高度な長文脈LLMsを提案します：アップサンプリング、トレーニングテクニック、およびGPT-3.5-Turbo-16kの性能を超えるための深い探求
• 清华大学和微软研究人员推出ToRA：用于数学问题解决的人工智能工具集成推理代理
• 中国の研究者が「ImageReward」という画期的な人工知能アプローチを発表人間の好みフィードバックを利用してテキストから画像のモデルを最適化する方法です

彼らの手法により、RA-DIT 65B は知識集約型のゼロショットおよびフューショット学習タスクにおいて、既存のインコンテキストリトリーバ機能付き言語モデル（RALM）を大幅に上回る成果を収めています。RA-DIT は、外部の知識源にアクセスすることを要するシナリオにおいて、リトリーバ機能付き言語モデルの性能を向上させる、軽量な指示チューニングの有効性を示しています。

RA-DIT は、知識集約型のゼロショットおよびフューショット学習ベンチマークで優れた成績を収め、インコンテキストリトリーバ機能付き言語モデル（RALM）を平均してゼロショット設定では+8.9％、5ショット設定では+1.4％まで上回っています。最高性能のモデルである RA-DIT 65B は、知識の利用と文脈的な認識を必要とするタスクにおいて、大幅な改善を示しています。RA-DIT は、パラメトリックな知識と推論能力を保持し、コモンセンスの推論評価データセットのうち7つでベースの LLAMA モデルを上回っています。アブレーション解析と並列インコンテキストリトリーブルアグメントによって、大量の知識にアクセスする場合に特に効果的なリトリーバ機能付き言語モデルの改善効果がさらに強調されます。

まとめると、彼らのアプローチでは、リトリーブ機能を備えた事前トレーニング済み言語モデルのパフォーマンスを向上させる RA-DIT を導入しています。RA-DIT は、知識集約型のベンチマークにおいてゼロショット評価での最新の結果を達成し、チューニングされていないインコンテキストリトリーバ機能付き言語モデルや広範な事前トレーニング手法と効果的に競争します。知識の利用と文脈的な認識が必要なタスクにおいて、性能を大幅に向上させます。RA-DIT 65B は既存のモデルを上回り、広範な外部の知識源を含むシナリオにおいて、軽量な指示チューニングの有効性を示しています。

“`

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!