「RAGを忘れて、未来はRAG-Fusionです」

「RAGを忘れて、未来はRAG-Fusion」- 新たなスタイルへの融合

検索の次のフロンティア：リトリーバル オーグメント ジェネレーションと相互順位融合、生成されたクエリとの出会い

私は10年近くにわたり、検索製品を構築してきましたが、リトリーバル オーグメント ジェネレーション（RAG）の最近の台頭ほど破壊的なものはありませんでした。このシステムは、信頼できるデータに基づいて直接的な答えを生成するためにベクトル検索と生成型 AI を組み合わせた情報検索を革新しています。

ただし、最近RAG製品を本番環境に導入しているプロダクトマネージャーとして私は、RAGがまだユーザーのニーズに十分に対応していないと考え、アップグレードが必要だと思っています。

誤解しないでください、RAGは素晴らしく、情報検索技術における正しい方向への一歩です。私はGPT-2が登場した2021年からRAGを利用しており、独自のノートや業務文書の中から有用な情報を探す際に生産性を大幅に向上させてくれています。RAGには多くの利点があります：

• ベクトル検索の統合：RAGはベクトル検索の機能を生成モデルと統合することにより、大規模言語モデル（LLM）からより豊かで文脈に富んだ出力を生成します。
• 幻影の低減：RAGは、生成テキストをデータに根ざしたものにすることで、LLMの幻影の傾向を大幅に減少させます。
• 個人およびプロフェッショナルの有用性：個人的なアプリケーションからノートの整理まで、よりプロフェッショナルな統合に至るまで、RAGは信頼できるデータソースに基づいて生産性とコンテンツの品質を向上させる柔軟性を示しています。

ただし、私はRAGの制約がますます明らかになっています：

• 「プラネットデータとAmazon SageMakerの地理空間能力を活用して、クロップセグメンテーションの機械学習モデルを構築する」
• 「AWS AI サービスと Amazon Bedrock によるインテリジェント ドキュメント処理」
• SlackメッセージのLLM微調整

• 現行の検索技術の制約：RAGは、検索ベースのレキシカルおよびベクトル検索技術と同じ制約によって制限されています。
• 人間の検索の非効率性：タイプミス、曖昧なクエリ、限られた語彙など、人間は検索システムに求める内容をうまく記述することができません。これによって、膨大な情報源を見落とすことがよくあります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!