「LLMsとRAGを組み合わせることによる拡張」

「LLMsとRAGを組み合わせた拡張の効果」

LLMモデルがAmazon SageMakerに関連する質問にどれほどうまく答えるかを見る最後までの例

私はVoAGIに関するさまざまな技術的なトピックについてかなりの数のブログを書いています。特にAmazon SageMaker上での機械学習（ML）モデルホスティングについて、さらに最近は成長するGenerative AI / Large Language Modelのエコシステムに興味を持っています（業界の他の人と同じです笑）。

これらの2つの異なる分野が私に興味深い質問をもたらしました。 VoAGIの記事はAmazon SageMakerの教育にどれほど役立つのか？ これに答えるために、私はGenerative AIのソリューションを実装することにしました。これは私の記事にアクセスするためにRetrieval Augmented Generation（RAG）を利用して、SageMakerに関連するいくつかの質問にどれほどうまく答えられるかを見るものです。

この記事では、エンドツーエンドのGenerative AIソリューションの構築を見て、このワークフローを操作するためにいくつかの異なる人気のあるツールを活用します：

• LangChain：LangChainは、Prompt Engineering、RAGの実装、LLMのワークフロー統合などを支援する、Generative AIアプリケーションを簡易化する人気のあるPythonフレームワークです。
• OpenAI：LangChainはGenerative AIアプリの統合を担当しますが、モデル自体が唯一のブレーンです。この場合、OpenAIが提供するLLMを使用しますが、LangChainはSageMakerエンドポイント、Cohereなど、さまざまなモデルソースとも統合されています。

注意：この記事では、Pythonの中級レベルの理解と、特にLangChainの基本的な理解を前提としています。LangChainとGenerative AIアプリケーションの理解をより良くするために、この記事を参照することをお勧めします。

• 意味レイヤーの力：データエンジニアのガイド
• 「Apache SeaTunnel、Milvus、およびOpenAIが本のタイトルの類似検索の精度と効率を向上させる」
• グーグルとコーネル大学の研究者がDynIBaRを紹介しました：AIによるダイナミックシーン再構築の革命化

免責事項：私はAWSの機械学習アーキテクトですが、私の意見は私自身のものです。

課題の概要

Large Language Models（LLMs）はそれ自体で非常に強力であり、追加の調整や追加の知識/コンテキストの支援なしで多くの質問に答えることができます。

ただし、他の特定のデータソースや特に最新のデータにアクセスする必要がある場合、これはボトルネックになることがあります。たとえば、OpenAIは大量のデータコーパスでトレーニングされていますが、最近の私の知識には該当しません…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!