「検索強化生成の力：BaseとRAG LLMs with Llama2の比較」

「美とファッションの世界：ベースとRAG LLMs with Llama2の比較」

RAGアプローチを使用してカスタムユースケースに適した事前学習済みLLMを掘り下げる- LangChainとHugging Faceの統合を特集

この記事は Rafael Guedes と共同執筆です。

はじめに

ChatGPTが2022年11月にリリースされて以来、Large Language Models（LLM）は、人間のようなテキストの理解や生成能力によってAIコミュニティで話題となり、自然言語処理（NLP）の以前には不可能とされていた領域を拡張しています。

LLMは、特定のタスクに限定されないため、さまざまな業界で異なるユースケースに取り組むことができるという柔軟性が示されています。これにより、組織や研究コミュニティにとって魅力的な存在となっています。LLMを使用したコンテンツ生成、チャットボット、コード生成、創造的な文章作成、バーチャルアシスタントなど、さまざまなアプリケーションを探ることができます。

LLMの魅力のもう1つの特徴は、オープンソースのオプションが存在するということです。Metaのような企業は、Hugging Faceなどのリポジトリで事前学習済みLLM（Llama2 🦙）を利用できるようにしています。これらの事前学習済みLLMは、各企業の特定のユースケースに対して十分な性能を発揮するでしょうか？確かに、そうではありません。

• 最終フロンティアの記録：30日間の#30DayMapChallengeの旅を完遂する
• VoAGIニュース、11月29日：機械学習をマスターするための5つの無料コース• ChatGPTで魅力的なデータ可視化
• 「時空のホットスポット：洞察力の新たな次元を開放する方法」

組織は、自分たちのデータでLLMをゼロからトレーニングすることもできます。しかし、ほとんどの組織（ほぼ全ての組織）は、そのために必要なデータや計算能力を持っていません。そのためには、数兆トークンのデータセット、数千のGPU、そして数か月の時間が必要です。別のオプションとして、事前学習済みLLMを使用して特定のユースケースに合わせてカスタマイズすることが考えられます。そのためには、ファインチューニングとRAG（Retrieval Augmented Generation）の2つの主要なアプローチがあります。

本記事では、孤立した事前学習済みLlama2とRAGシステムに組み込まれた事前学習済みLLama2のパフォーマンスを比較し、OpenAIに関する最新ニュースについての質問に答えるための方法について説明します。まず、RAGの動作原理とそのサブモジュール（リトリーバとジェネレータ）のアーキテクチャを説明します。最後に、LangChain 🦜️とHugging Faceを使用して、どのようにして任意のユースケースに対応するRAGシステムを構築するかについて、ステップバイステップで説明します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!