AIにおける事実性の向上 このAI研究は、より正確かつ反映性のある言語モデルを実現するためのセルフ-RAGを紹介します

AIの進化と事実性向上 この研究で紹介される自己RAGは、より正確かつ実感ある言語モデルを実現するための一歩となる

セルフリフレクティブリトリーバルオーキュメンテッドジエネレーション（SELF-RAG）は、関連情報を動的に取得し、生成物に反映することで大規模な言語モデル（LLM）を強化するフレームワークです。このアプローチは、ChatGPTやLlama2-chatなどのLLMと検索増強モデルを凌駕し、オープンドメインの質問応答、推論、事実確認、長文生成タスクにおいて、LLMの品質、事実性、パフォーマンスを大幅に向上させます。

ワシントン大学、Allen Institute for AI、IBM Research AIの研究者は、SELF-RAGを導入し、リアルタイムで関連パッセージを取得し、生成コンテンツに反映することでLLMを強化しています。このアプローチは、LLMに見られる事実の不正確さを解決し、オープンドメインの質問応答、推論、事実確認など、様々なタスクでLLMおよび検索増強モデルを凌駕する成果を収めています。これにより、LLMの多用途性を損なう事がなく、低品質の結果を生み出す従来の手法の制約を克服することを目指しています。

先進的なLLMにおける事実の誤りの課題に対処するために、SELF-RAGが導入されました。SELF-RAGは、取得と自己反映を組み合わせることで、LLMの生成品質を向上させ、多用途性を損なうことなく、生成の品質と事実の正確さを大幅に向上させます。実験では、SELF-RAGが様々なタスクで既存のLLMや検索増強モデルを凌駕することが示されています。

• スタンフォードの研究者がRoboFuMeを導入：最小限の人間の入力でロボットの学習を革新する
• アップルの研究者が提案する「大規模な言語モデル強化学習ポリシー（LLaRP）」：体現された視覚的課題のために汎用的なポリシーとして機能するLLMをカスタマイズするためのAIアプローチ
• マイクロソフトの研究者が、言語AIを活用してオンライン検索エンジンを革命化するための「大規模検索モデル」フレームワークを紹介しました

SELF-RAGは、言語モデルの品質と事実性を向上させます。SELF-RAGは、パッセージの取得と反映を一つのモデルで行い、自己適応的に生成します。推論中の制御のために反射トークンを使用し、次の３つのステップを踏んでいます。パッセージの必要性の判断、取得されたパッセージの処理、アウトプット選択のための批評トークンの生成です。実験では、SELF-RAGがオープンドメインのQAや事実確認などのタスクで既存のモデルを凌駕することが示されています。

SELF-RAGフレームワークは、様々なタスクで非常に効果的であり、先進的なLLMや検索増強モデルを凌駕します。特にChatGPTと比較した場合、長文生成において事実性と引用の正確さにおいて大きな改善が見られます。ヒューマン評価では、SELF-RAGの出力は妥当であり、関連パッセージによって支持され、反射トークンの評価とも一致しています。非所有のLMベースモデルの中で、SELF-RAGはすべてのタスクで最高のパフォーマンスを発揮します。

リトリーバルとセルフリフレクションのツールを統合することで、セルフリフレクティブリトリーバルオーキュメンテッドジエネレーション（SELF-RAG）メカニズムは言語モデルマシン（LLMs）の正確さと品質を向上させるための実用的なソリューションを提供します。伝統的なリトリーバル増強アプローチとより多くのパラメータを持つLLMsを凌駕し、SELF-RAGは様々なタスクにおいてより効果的です。この研究は、事実の正確性と誤情報に関する現実の懸念を取り組みながら、改善の余地も認識しています。複数のメトリックを利用した包括的な評価では、SELF-RAGが従来の手法よりも優れており、LLMの出力を向上させる潜在能力が強調されています。

さらなる研究によって、特に誤情報と不正確なアドバイスに関連する現実世界の課題に対処することで、LLMの正確性を向上させることができます。SELF-RAGは重要な進展を遂げていますが、さらなる改善の余地があります。明示的なセルフリフレクションと詳細な帰属を組み込むことで、ユーザーはモデルが生成したコンテンツの妥当性を確認できます。この研究では、セルフリフレクションとリトリーバルメカニズムの応用を現在の実験範囲を超えたさらなるタスクやデータセットで検討することも提案しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!