「LlamaIndex：カスタムデータで簡単にLLMアプリケーションを強化する」

「LlamaIndex：簡単にLLMアプリケーションを強化するためのカスタムデータ」

大規模言語モデル（LLMs）として、OpenAIのGPTシリーズはさまざまな公開データで訓練されており、テキスト生成、要約、質問応答、プランニングなどで驚くべき能力を発揮しています。彼らの多機能性にもかかわらず、よくある質問の一つは、これらのモデルをカスタム、プライベート、または専有データとシームレスに統合する方法です。

ビジネスや個人は、一意のカスタムデータに悩まされています。これらのデータは、Notion、Slack、Salesforceなどのさまざまなアプリケーションに保存され、または個人ファイルに保存されることがあります。LLMsをこの特定のデータに活用するには、いくつかの手法が提案され、実験されています。

ファインチューニングはそのようなアプローチの一つで、モデルの重みを調整して特定のデータセットからの知識を組み込むものです。ただし、このプロセスにはいくつかの課題があります。データの準備に相当な労力が必要であり、困難な最適化手順が求められ、大規模なデータセットを扱う場合にはかなりの費用がかかる場合があります。

インコンテキスト学習は、正確な出力を生成するためにLLMに必要な文脈を提供するため、長期的なモデル再トレーニングの必要性を軽減する代替手法として登場しました。これにより、プライベートデータの統合をより効率的かつアクセスしやすくする手段が提供されます。

• 「不確実な未来を航行するための仮説指向シミュレーション」
• 「ダイナミックプライシングを活用して収益を最適化する方法は？」
• 「ウェブポータル開発を加速させる8つの戦略」

ただし、欠点としては、インコンテキスト学習の場合、ユーザーのプロンプトエンジニアリングのスキルと専門知識に依存する点です。また、インコンテキスト学習は、特に高度な専門的なデータを扱う場合には、ファインチューニングに比べて精度や信頼性が必ずしも高くない場合があります。モデルの事前トレーニングは、特定の専門用語や文脈の理解を保証するものではないため、不正確または関連性のない出力が生成される可能性があります。これは、プライベートデータがニッチなドメインや業界のものである場合に特に問題となります。

さらに、単一のプロンプトで提供できるコンテキストの量には限りがあり、タスクの複雑さが増すにつれてLLMのパフォーマンスが低下する可能性もあります。また、プロンプトに提供される情報が機密または機密情報である可能性もあるため、プライバシーやデータセキュリティの課題もあります。

コミュニティがこれらの技術を探求するにつれて、LlamaIndexなどのツールが注目されています。

Llama Index

これは、元Uberの研究科学者であるJerry Liuによって始められました。Liuは昨年の秋にGPT-3を実験している中で、個人ファイルなどのプライベートデータの取り扱いにおけるモデルの制約に気付きました。この観察から、オープンソースプロジェクトのLlamaIndexが始まりました。

このイニシアチブは、最近のシードファンディングラウンドで$8.5 millionを確保するなど、投資家の関心を集めています。

LlamaIndexは、事前トレーニングされたモデルとカスタムデータのユースケースとのギャップを埋めることで、LLMsをカスタムデータと組み合わせることを容易にします。LlamaIndexを通じて、ユーザーは自分自身のデータをLLMsと活用することで、知識生成と推論を行うことができます。

ユーザーは自分自身のデータをLLMsにシームレスに提供できるため、知識生成と推論が深くパーソナライズされ、洞察に富む環境が構築されます。LlamaIndexは、データの相互作用のためのよりユーザーフレンドリーで安全なプラットフォームを提供することで、インコンテキスト学習の制限に対処します。これにより、機械学習の専門知識が限定されている人でも、プライベートデータを使ってLLMsのフルポテンシャルを活用できるようになります。

高レベルのコンセプトと洞察

1. 情報検索を拡張した生成（RAG）:

LlamaIndex RAG

RAGは、LLMsとカスタムデータを組み合わせることで、モデルの能力を高め、より正確で情報豊かな応答を提供するための二段階のプロセスです。このプロセスは以下の手順からなります：

• インデックス作成ステージ：これは、知識ベースの作成のための準備段階です。

LlamaIndex インデックス作成

• クエリステージ：ここでは、クエリに答えるために知識ベースが探索されます。

LlamaIndex クエリステージ

LlamaIndexとのインデックス作成の旅：

• データコネクタ：データコネクタは、データをLlamaIndexにインポートするためのパスポートのようなものです。さまざまなソースとフォーマットからデータを取り込み、シンプルな「ドキュメント」形式にカプセル化するのに役立ちます。データコネクタは、データローダーが詰まったオープンソースのリポジトリであるLlamaHub内に見つけることができます。これらのローダーは簡単に統合できるように作成されており、どのLlamaIndexアプリケーションでも挿入して即座に使用できるようになっています。

LlamaIndex ハブ（https://llamahub.ai/）

• ドキュメント/ノード：ドキュメントは、PDF、APIの出力、データベースのエントリなど、さまざまなデータタイプを保持できる汎用のスーツケースのようなものです。一方、ノードは、メタデータと他のノードとの関係を持つスニペットまたは「チャンク」であり、後での正確なデータの検索に堅牢な基盤を提供します。
• データインデックス：データの取り込み後、LlamaIndexはこのデータを検索可能な形式にインデックス作成します。内部では、生のドキュメントを中間表現に分解し、ベクトル埋め込みを計算し、メタデータを推測します。これらのインデックスの中で、「VectorStoreIndex」がよく選ばれることがあります。

LlamaIndexのインデックスの種類：整理されたデータの鍵

LlamaIndexは、さまざまなニーズとユースケースに応じた異なる種類のインデックスを提供しています。これらのインデックスの核心には、上記で説明した「ノード」があります。メカニズムとアプリケーションについて理解してみましょう。

1. リストインデックス：

• メカニズム：リストインデックスは、ノードをリストのように順に配置します。入力データをノードに分割した後、リニアな形式で配置され、シーケンシャルにクエリされるか、キーワードや埋め込みを介してクエリされる準備ができます。
• 利点：このインデックスタイプは、シーケンシャルなクエリが必要な場合に活躍します。LlamaIndexは、リストを下にナビゲートして回答を洗練させながら、各ノードからテキストをスマートにクエリし、トークン制限を超えた場合でも、入力データ全体を利用します。

2. ベクトルストアインデックス：

• メカニズム：ここでは、ノードがベクトル埋め込みとなり、ローカルまたはMilvusなどの専門のベクトルデータベースに格納されます。クエリされると、類似度の高いノードのトップ_kを取得し、それらを応答合成装置に結びつけます。
• 利点：ベクトル検索を介した意味的な類似性のテキスト比較がワークフローに依存している場合に、このインデックスを使用できます。

3. ツリーインデックス：

• メカニズム：ツリーインデックスでは、入力データがツリー構造に変化し、葉ノード（元のデータのチャンク）から下から構築されます。親ノードは、葉ノードの要約として出現し、GPTを使用して作成されます。クエリ中、ツリーインデックスはルートノードから葉ノードまで移動したり、選択された葉ノードから直接応答を構築することができます。
• 利点：ツリーインデックスを使用すると、長いテキストチャンクのクエリが効率的に行えるようになり、さまざまなテキストセグメントから情報を抽出することが容易になります。

4. キーワードインデックス:

• メカニズム: キーワードとノードのマップがキーワードインデックスの中核を形成しています。クエリからキーワードが取り出され、マッピングされたノードのみが注目されます。
• 利点: 明確なユーザークエリがある場合、キーワードインデックスを使用できます。例えば、COVID-19に関連するドキュメントに絞り込むことで、医療ドキュメントの選別が効率的になります。

LlamaIndexのインストール

LlamaIndexのインストールは簡単なプロセスです。Pipから直接インストールするか、ソースからインストールすることができます。（システムにPythonがインストールされていることを確認してください。または、Google Colabを使用することもできます）

1. Pipからのインストール:

• 以下のコマンドを実行します:pip install llama-index
• 注意: インストール中、LlamaIndexはNLTKやHuggingFaceなどの特定のパッケージのためにローカルファイルをダウンロードおよび保存する場合があります。これらのファイルのためのディレクトリを指定するには、「LLAMA_INDEX_CACHE_DIR」という環境変数を使用します。

2. ソースからのインストール:

• まず、LlamaIndexのリポジトリをGitHubからクローンします:git clone https://github.com/jerryjliu/llama_index.git
• クローンしたら、プロジェクトディレクトリに移動します。
• パッケージの依存関係を管理するためにPoetryが必要です。
• 次に、Poetryを使用して仮想環境を作成します:poetry shell
• 最後に、以下のコマンドでコアパッケージの要件をインストールします:poetry install

LlamaIndexの環境設定

1. OpenAIのセットアップ:

• LlamaIndexはデフォルトでOpenAIのgpt-3.5-turboをテキスト生成に使用し、検索や埋め込みにはtext-embedding-ada-002を使用します。
• このセットアップを使用するには、OPENAI_API_KEYが必要です。OpenAIのウェブサイトで登録し、新しいAPIトークンを作成して取得してください。
• プロジェクトの要件に応じて基礎となるLarge Language Model（LLM）をカスタマイズすることができます。LLMプロバイダによっては、追加の環境キーとトークンが必要な場合があります。

2. ローカル環境のセットアップ:

• OpenAIを使用しない場合、LlamaIndexは自動的にローカルモデル（LlamaCPPとllama2-chat-13B）を使用します。テキスト生成にはLlamaCPPを使用し、検索と埋め込みにはBAAI/bge-small-enを使用します。
• LlamaCPPを使用するには、提供されたインストールガイドに従ってください。可能であれば、GPUをサポートするようにコンパイルされたllama-cpp-pythonパッケージをインストールしてください。このセットアップでは、CPUとGPUの合計で約11.5GBのメモリが使用されます。
• ローカルの埋め込みを使用するには、pip install sentence-transformersを実行してください。このローカルセットアップでは、約500MBのメモリが使用されます。

これらのセットアップにより、OpenAIのパワーを活用するか、プロジェクトの要件とリソースに合わせてモデルをローカルで実行するかをカスタマイズできます。

シンプルなユースケース：LlamaIndexとOpenAIを使用したウェブページのクエリ

以下は、特定の洞察を得るためにウェブページにクエリを投げるためのシンプルなPythonスクリプトです:

!pip install llama-index html2text

import osfrom llama_index import VectorStoreIndex, SimpleWebPageReader# 以下にOpenAIのキーを入力してください:os.environ["OPENAI_API_KEY"] = ""# 読み込むURLをここに入力してください:url = "http://www.paulgraham.com/fr.html"# ドキュメント（複数のドキュメントも可能）をURLにロードするdocuments = SimpleWebPageReader(html_to_text=True).load_data([url])# ドキュメントからベクトルストアを作成するindex = VectorStoreIndex.from_documents(documents)# クエリエンジンを作成して質問することができるようにする:query_engine = index.as_query_engine()# ロードされたデータに対して何度でも質問をすることができます:response = query_engine.query("パウルが資金調達をするための3つの最善のアドバイスは何ですか？")print(response)

ポールの３つの最高のアドバイスは、資金調達をするためのものです：
１．最初の資金調達では、低い数値から始めることが大切です。これにより柔軟性が生まれ、長期的により多くの資金を調達する可能性が高まります。
２．可能な限り収益を上げることを目指してください。追加の資金に頼らずに収益性を達成する計画を持つことで、スタートアップは投資家に魅力的に映ります。
３．評価額の最適化にはこだわらないでください。評価額は重要ですが、資金調達において最も重要な要素ではありません。必要な資金の調達と良い投資家の見つけに重点を置いてください。

Google Colabラマ指数ノートブック

このスクリプトによって、単に質問をするだけでウェブページから特定の情報を抽出する強力なツールが作成されました。これはLlamaIndexとOpenAIを使用してウェブデータをクエリする際に実現できるもののほんの一例に過ぎません。

LlamaIndexとLangchain：目標に基づいて選ぶ

LlamaIndexとLangchainとの選択は、プロジェクトの目的によって異なります。インテリジェントな検索ツールを開発したい場合は、データ検索のためのスマートなストレージメカニズムとして優れたLlamaIndexが適しています。一方で、ChatGPTのようなプラグイン機能を持つシステムを作成したい場合は、Langchainが最適です。LangchainはChatGPTとLlamaIndexの複数のインスタンスを容易にし、さらにマルチタスクエージェントの構築を可能にします。たとえば、Langchainを使用すると、Pythonコードを実行しながらGoogle検索も同時に行うことができるエージェントを作成できます。要するに、LlamaIndexはデータ処理に優れていますが、Langchainは複数のツールを組み合わせて包括的な解決策を提供します。

LlamaIndexロゴアートワーク（Midjourneyを使用して作成）

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!