テンセントAIラボは、検索補完された言語モデルの堅牢性と信頼性を高めるために、Chain-of-Noting（CoN）を導入します

「テンセントAIラボのChain-of-Noting（CoN）導入により、検索補完された言語モデルの堅牢性と信頼性が向上します」

Tencent AI Labの研究者は、検索補完型の言語モデル（RALM）の信頼性に関する課題に取り組み、関連性のない情報を取得し、誤った応答を引き起こす可能性に対処しています。提案されたアプローチであるCHAIN-OF-NOTING（CON）は、RALMを強化することを目指しています。CONを装備したRALMは、オープンドメインのQAベンチマークで顕著なパフォーマンスの向上を示し、正確な一致（EM）スコアと範囲外の質問に対する拒否率が著しく向上しました。

研究は、RALMの限界に取り組み、ノイズの耐性と取得したドキュメントへの依存度の低減を強調しています。CONアプローチは、取得したドキュメントのための連続的な読み取りメモを生成し、包括的な関連性評価を可能にします。事例研究では、CONがドキュメントの関連性をモデルが理解することを向上させ、関連しないまたは信頼性の低いコンテンツをフィルタリングすることで、より正確で文脈に即した応答を実現することが示されています。

標準のRALMを上回る性能を持つCONは、範囲外の質問に対する正確な一致スコアと拒否率を実現します。直接的な検索、推論的な推論、知識のギャップの認識をバランスよく行うことで、人間の情報処理に似た性能を示します。CONの実装には、読み取りメモの設計、データ収集、モデルトレーニングが含まれており、現在のRALMの制限に対する解決策を提供し、信頼性を向上させます。

• 量子コンピュータを使ってより高度な機械学習モデル
• 「Juliaプログラミング言語の探索：アプリケーションプログラミングインターフェース（API）—パート1」
• 基本に戻る週３：機械学習の紹介

連続的な読み取りメモを生成するフレームワークであるCONは、RALMのパフォーマンスを向上させます。ChatGPTのトレーニングデータを使用してLLaMa-2 7BモデルでトレーニングされたCONは、特に高ノイズのシナリオで標準のRALMを上回るパフォーマンスを発揮します。CONは、読み取りメモを直接の回答、有用な文脈、不明なシナリオに分類し、ドキュメントの関連性を評価するための堅牢なメカニズムを示します。ベースライン方法であるLLaMa-2 wo IRとの比較は、CONが関連しないコンテンツをフィルタリングする能力を示し、応答の正確性と文脈の関連性を向上させます。

CONを装備したRALMは、著しく改善され、完全なノイズのあるドキュメントに対して平均+7.9のEMスコアの向上を実現します。CONは、事前トレーニングの知識を超えたリアルタイムの質問に対する拒否率の+10.5の向上を示します。評価指標には、EMスコア、F1スコア、オープンドメインのQAに対する拒否率が含まれます。事例研究では、CONがRALMの理解を深め、ノイズや関係のないドキュメントの課題に対処し、全体的な堅牢性を向上させることを示しています。

CONフレームワークは、RALMを大幅に強化します。取得したドキュメントの連続的な読み取りメモを生成し、これを最終的な回答に統合することで、CONを装備したRALMは標準のRALMを上回り、顕著な平均改善を示します。CONは、標準のRALMの制約に取り組み、関連する情報の理解を深め、さまざまなオープンドメインのQAベンチマークでの全体的なパフォーマンスを向上させるよう促進しています。

将来の研究では、CONフレームワークを異なるドメインとタスクに応用し、RALMの強化の汎用性と効果を評価することが考えられます。多様な検索戦略やドキュメントのランキング方法の調査により、検索プロセスの最適化と取得ドキュメントの関連性の向上が可能となります。ユーザースタディでは、実世界のシナリオでのRALM with CONの使用可能性と満足度を評価し、応答の品質と信頼性を考慮します。追加の外部知識源の探索や、事前トレーニングやファインチューニングなどの技術との組み合わせによるCONの組み込みは、さらなるRALMのパフォーマンスと適応性の向上につながるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!