「検索増強生成によるAIの幻覚の軽減」

Reducing AI hallucinations through enhanced search generation

AIの急速な進化の世界では、大規模な言語モデルは私たちの周りの世界に関する印象的な知識を持つようになりました。しかし、知識も豊富なLLM（Large Language Models）であっても、自身の知識の境界を認識するのに苦労することがよくあります。この不足は、しばしばギャップを埋めるために「幻覚」を引き起こすことにつながります。新たな開発技術であるRetrieval Augmented Generation（RAG）は、プロプライエタリデータを用いてプロンプトを拡張することで、これらのLLMの知識を効率的に高め、幻覚の影響を軽減することを約束しています。

LLMの知識ギャップを乗り越える

LLMは、人間のようなテキストを理解し生成することができるコンピュータモデルです。彼らはデジタルアシスタント、オートコレクト機能、さらには一部のメールの裏にあるAIです。彼らの世界の知識はしばしば膨大ですが、完璧ではありません。人間と同様に、LLMも知識の限界に達することがありますが、停止する代わりに教養を持った推測や「幻覚」を行い、タスクを完了させる傾向があります。これにより、不正確または誤解を招く情報を含む結果が生じることがあります。

単純な世界では、モデルに必要な情報をクエリが行われる正確なタイミングで提供することが答えになるでしょう。しかし、「関連性のある」情報とは何かを決定することは常に簡単ではなく、LLMが達成すべきことを理解する必要があります。これがRAGの登場する場所です。

埋め込みモデルとベクトル類似検索の力

AIの世界では、埋め込みモデルは翻訳者のような役割を果たします。テキストドキュメントを「ドキュメントエンコーディング」というプロセスを通じて、数値の大きなリストに変換します。このリストは、LLMがドキュメントの意味を「理解」する内部表現です。この数値の並びはベクトルと呼ばれ、データの属性を示す数値の集合です。各データポイントは、データの特定の特徴や属性に対応する値を持つベクトルとして表されます。

• ディープラーニングを使用してファンタジーキャラクターの名前を生成する：ゼロから言語モデルを構築する
• 「GPT-4の隠れた回帰の時間経過の定量化」
• 「自然言語処理の解説：自然言語処理の基礎と技術を初心者向けに紹介するガイド」

一連の数値は、一般的な人には意味を持たないように思えるかもしれませんが、これらの数値は高次元空間内の座標として機能します。緯度と経度が物理空間の場所を記述するのと同様に、この数値の並びは意味空間内の元のテキストの位置を記述します。つまり、これらの数値を座標として扱うことで、2つのドキュメント間の意味の類似性を測定することができます。この測定は、意味空間内のそれぞれの点の距離として表されます。距離が小さいほど意味の類似性が高く、距離が大きいほど内容の不一致が示唆されます。そのため、クエリに関連する情報は、意味空間内でクエリに「近い」ドキュメントを検索することで発見することができます。これがベクトル類似検索の魔法です。

Retrieval Augmented Generationのアイデア

RAGは、クエリに関連する情報を自動的に発見するために意味的な類似性を適用する生成AIアーキテクチャです。

RAGシステムでは、ドキュメントはベクトルデータベース（DB）に保存されます。各ドキュメントは、埋め込みモデルによって生成された意味ベクトルに基づいてインデックスが付けられます。これにより、与えられたクエリベクトルに近いドキュメントを素早く見つけることができます。つまり、各ドキュメントはその意味を示す数値的な表現（ベクトル）が割り当てられることを意味します。

クエリが入ると、同じ埋め込みモデルが使用され、クエリのための意味ベクトルが生成されます。

モデルは、ベクトル検索を使用してDBから類似のドキュメントを取得し、クエリのベクトルに近いベクトルを持つドキュメントを探します。

関連するドキュメントが取得されると、クエリとこれらのドキュメントを使用してモデルから応答が生成されます。これにより、モデルは内部の知識だけに頼るのではなく、提供されたデータに適切なタイミングでアクセスすることができます。したがって、モデルは、ベクトル検索を提供するデータベースに格納されたプロプライエタリデータを組み込むことで、より正確で文脈に適した応答を提供するためにより適した装備を持つことができます。

DataStax Astra DBを含むいくつかの「ベクトルデータベース」が利用可能です。ベクトル検索が一般的に利用可能になっています。ベクトル検索を可能にするデータベースの主な利点は、速度です。従来のデータベースはクエリをデータベース内のすべてのアイテムと比較する必要がありますが、統合されたベクトル検索はインデックスの形式であり、プロセスを大幅に高速化する検索アルゴリズムが含まれているため、通常のデータベースに比べて大量のデータを短時間で検索することが可能です。

最適なパフォーマンスを実現するために、クエリエンコーダと結果ジェネレータに対して微調整が適用されることもあります。微調整とは、モデルのパラメータをわずかに調整して特定のタスクに適応させるプロセスです。

RAGとファインチューニングの比較

ファインチューニングは、LLMの最適化に多くの利点をもたらします。しかし、いくつかの制約もあります。まず、新しいデータや独自のデータの動的な統合ができません。モデルの知識はトレーニング後に静的なままであり、トレーニングセットの外のデータについて問い合わせられた場合には幻覚を引き起こすことがあります。一方、RAGは外部データベースから最新かつ独自のデータを動的に取得し統合することができ、幻覚の問題を軽減し、より文脈に即した正確な応答を提供します。RAGにより、モデルに提供される情報をクエリ時に制御することができ、クエリが行われた正確な時点での特定のユーザーに合わせたプロンプトを作成することができます。

RAGは、ファインチューニングよりも計算効率が高く柔軟です。ファインチューニングでは、各データセットの更新ごとにモデル全体を再トレーニングする必要があり、時間とリソースを消費する作業です。一方、RAGではドキュメントベクトルの更新のみが必要であり、情報の管理が容易かつ効率的に行えます。RAGのモジュラーなアプローチにより、検索機構のファインチューニングを別々に行うことができ、基本言語モデルを変更することなく、異なるタスクやドメインに適応することができます。

RAGは大規模言語モデルのパワーと精度を向上させるため、ファインチューニングに比べて魅力的な代替手法となります。実際には、企業ではファインチューニングよりもRAGをより頻繁に使用する傾向があります。

RAGによるLLMの役割の変化

RAGをLLMに統合することは、彼らの応答の正確さを向上させるだけでなく、その潜在能力を最大限に引き出します。このプロセスにより、LLMは賢明にプロンプトからコンテンツを生成することに集中することができます。モデルはもはや情報の唯一の源ではありません。RAGは必要な場合に関連する独自の知識を提供し、モデルにアクセス可能な知識のコーパスを高度に拡張および更新することができます。これにより、高価なモデルトレーニング作業なしにLLMの「幻覚」の傾向を大幅に減少させ、ユーザーにとってより正確かつ効率的なモデルを提供します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!