Graph RAG LLMによるナレッジグラフのパワーを解き放つ

グラフRAG LLMによるナレッジグラフのパワーを最大限に引き出す' (Gurafu RAG LLM ni yoru narejjigurafu no pawā o saidai genka ni hikidasu)

情報過多の時代では、膨大な量のデータをふるいにかけ、魅力的で理解しやすい検索結果を提供するためには、困難な戦いとなっています。従来の検索強化技術は、複雑なクエリやChatGPTのような最新技術の高い需要には対応しきれないことがよくあります。ここで、Graph Retrieval-Augmented Generation（RAG）が登場します。

Graph RAG技術は知識グラフに基づいています。これは大規模な言語モデル（LLM）と知識グラフを組み合わせて、検索エンジンにより包括的な文脈理解を提供します。ユーザーがよりスマートで正確な検索結果をより低いコストで得るのを支援します。

この記事では、Graph RAGの概念を紹介し、他のRAG技術と比較します。

従来の検索強化技術が直面する課題

正確な検索結果を得ることは難しい課題です。特に複雑なクエリやロングテールクエリの場合、従来の検索エンジンはキーワードの一致に頼り、実際のニーズにはよく合致しません。従来の検索強化技術のボトルネックは、トレーニングデータとテキスト理解の不足であり、正確で多様かつ関連性のある情報を生成する際に効果が低いと言えます。

• 機械はジェンAIを使用してお互いに英語で対話すべきでしょうか？
• 「音で見る：GPT-4V（イジョン）とテキスト読み上げ技術による視覚障がい者のサポート」
• 「Google Cloud Platformの探求：サービスと能力の包括的な概要」

この問題を解決するために、RAGが生まれました。RAGは、RAGモデルを介して検索結果を強化するプロセスを指します。具体的には、検索と言語生成を組み合わせて生成プロセスを強化する技術です。RAGを使用することで、従来の検索エンジンはより正確で関連性のある検索結果を生成することができます。

しかし、RAG技術にはトレーニングデータとテキスト理解の課題がまだあります。これらの課題には以下が含まれます：

• トレーニングデータ：RAG技術には大量のデータと計算リソースが必要であり、複数の言語や複雑なタスクを処理する場合に特に必要です。
• テキスト理解：RAGはクエリの意図を理解する必要がありますが、複雑なクエリや多義クエリの場合、RAGにはあいまいさや不確実性が生じる可能性があり、生成されるコンテンツの品質に影響を与えます。

したがって、より効果的な検索強化技術を見つけて、検索結果をより効率的かつユーザーの期待により合致させる方法についての問題はさらに緊急性を持っています。

Graph RAGとは何ですか？

Graph RAGは、知識グラフに基づいた検索強化技術であるNebulaGraphによって提案されました。知識グラフを使用してエンティティと関係性の関連性を示し、その後、大規模な言語モデル（LLM）を使用して検索強化を行います。

グラフデータベースは、グラフの形式で情報を整理して接続することによって、複雑なコンテキスト情報を保存および表現するために自然に適しています。グラフ技術を使用して知識グラフを構築し、コンテキスト内での学習を強化することにより、ユーザーはエンティティ間の関係をより理解し、表現能力と推論能力を向上させるためのより多様な情報を提供することができます。

Graph RAGは、知識グラフを大規模な語彙と同等のものと見なし、エンティティと関係性を単位として共同モデリングします。これにより、Graph RAGはクエリの意図をより正確に理解し、より正確な検索結果を提供することができます。

デモ：Graph RAG vs. Vector RAG vs. Text2Cypher

次のセクションでは、Graph RAGとVector RAG、Text2Cypherの比較を視覚的に示す2つのデモを紹介します。

Graph RAG vs. Graph + Vector RAG

以下の画像は、Vector RAG（ベクトルリトリーバル）とGraphおよびVector RAG（グラフ強化ベクトルリトリーバル）によって返される結果を比較しています。GIFバージョンはこちらでご覧いただけます。

• 左側の結果：Vector RAG
• 右側の結果：GraphとVector RAG

例えば、「ガーディアンズ・オブ・ギャラクシー3」のデータセットを考えてみましょう。私たちが「ピーター・クイルの関連情報」を検索すると、ベクトルリトリーバルエンジンなどの従来の検索技術では、彼の身元、プロット、俳優に関する単純な情報しか提供されません。しかし、Graph RAGによる検索結果の強化により、主人公のスキル、キャラクターの目標、身元の変化に関するより詳細な情報を得ることができます。

この例は、Graph RAGが埋め込みやベクトルリトリーバルなどの従来の手法の不足を効果的に補完し、クエリに関連するより深い知識と情報を提供することを強調しています。知識グラフと大規模な言語モデルを組み合わせることで、Graph RAGはエンティティ間の関係を理解し、知識グラフを大規模な語彙と同等と見なすことができ、複雑なクエリの意図をより正確に理解することができ、より正確かつ関連性のある検索結果につながります。

グラフRAG vs. Text2Cypher

知識グラフベースのLLMへのもう一つの興味深いアプローチであるText2Cypherは、自然言語生成グラフクエリです。この方法は、エンティティのサブグラフの取得に依存せず、タスクや質問を回答指向のグラフクエリに変換します。これは、一般にText2SQLと呼ばれるものと本質的に同じです。

Text2CypherとGraph RAGは、主にその回収メカニズムの点で異なります。Text2Cypherは、知識グラフのスキーマと与えられたタスクに基づいてグラフパターンクエリを生成しますが、(サブ)グラフRAGは関連するサブグラフを取得してコンテキストを提供します。両者にはそれぞれの利点があり、以下のデモを通じて特性をより直感的に理解することができます。

• 左側の結果：Text2Cypher
• 右側の結果：Graph RAG

上記のデモからは、2つのグラフクエリモードが視覚化において顕著な違いを示していることが明らかです。Graph RAGを使用した回収は、より包括的な結果を提供します。ユーザーは基本的な導入情報だけでなく、関連する検索や文脈の推論に基づくさまざまな結果にアクセスできます。例えば、「ピーター・クイルはギャラクシー・ガーディアンズのリーダーです」「この役割は続編で彼が戻ってくることを意味している」「キャラクターの性格についての洞察」などです。

ワンステップで企業固有の知識グラフアプリケーションを構築しましょう

グラフRAGの登場により、大規模な情報の処理と回収において画期的な進展が実現されました。知識グラフとグラフストレージをLLMスタック内に統合することで、Graph RAGは類まれなコンテキスト学習のレベルを提供します。Graph RAGの構築は非常に簡略化されており、たった3行のコードで実現できます。

より複雑なRAGロジック、例えばグラフを含むVector RAGも簡単に統合することができます。

グラフ技術と深層学習アルゴリズムが進化し続ける中、データ処理と回収においてGraph RAGの採用はますます広まることでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!