「Langchainとは何ですか？そして、大規模言語モデルとは何ですか？」

「Langchainとは何ですか？大規模言語モデルとは？」

もし開発者であるか、単にテクノロジーに情熱を持っている人ならば、ChatGPTのようなAIツールに出会ったことがあるかもしれません。これらのユーティリティは、高度な大規模言語モデル（LLM）によって動作します。自分自身のLLMベースのアプリケーションを作成することに興味がありますか？もしそうなら、LangChainはあなたにとって最適なプラットフォームです。

まず、LLMについて理解し、その後、簡単なチュートリアルでLangChainを詳しく見ていきましょう。興味深いですね？では、始めましょう。

大規模言語モデル（LLM）とは何ですか？

OpenAIのGPT-3やGPT-4などの大規模言語モデル（LLM）は、彼らが訓練されたデータに基づいて、人間のようなテキストを理解し生成するために設計された機械学習アルゴリズムです。これらのモデルは、数百万または数十億のパラメータを持つニューラルネットワークを使用して構築されており、翻訳、要約、質問応答、創造的な文章作成などの複雑なタスクを実行することができます。

多様で広範なデータセットに基づいて訓練されたLLMは、しばしばインターネット、書籍、その他のテキストの一部を含んでおり、単語やフレーズのパターンや関係を分析して、一貫性のある文脈に即した出力を生成します。彼らは幅広い言語タスクを実行できますが、テキスト内でそのような特性を模倣する能力があるものの、彼らは意識を持っておらず、理解や感情を持っていません。

• 「Apache CassandraとApache Pulsarを使用した製品推薦エンジンの構築」
• 「CassIO OpenAIに触発されたジェネラティブAIのための最高のライブラリ」
• データの変形：データザウルス・ダズンを超えて進む

出典クレジット: NVIDIA

大規模言語モデルは、主にトランスフォーマーネットワークとして知られるディープラーニング構造のカテゴリーに属しています。トランスフォーマーモデルは、与えられた文の中の単語などの要素間の関連性を特定することによって、文脈や意義を理解する能力を獲得します。

LangChainとは何ですか？

LangChainは、Harrison Chaseによって開発され、2022年10月にデビューしたオープンソースのプラットフォームで、ChatGPTなどの大規模言語モデルを搭載した堅牢なアプリケーションを構築するために設計されています。

LangChainは、チャットボットや自動質問応答、テキスト要約など、さまざまなユースケースでLLMを活用するための包括的なツールキットをデータエンジニアに提供することを目指しています。

LangChainは以下の6つのモジュールで構成されています：

画像クレジット：ByteByteGo

• 大規模言語モデル（LLM）：LangChainは、さまざまな大規模言語モデル（LLM）との対話を可能にする標準的なインターフェースとして機能します。

• プロンプトの作成：LangChainは、プロンプトの作成と処理を簡素化するために設計されたさまざまなクラスと関数を提供しています。

• 対話メモリ：LangChainにはメモリモジュールが組み込まれており、過去のチャット会話の管理と変更が可能です。これは、以前のやり取りを思い出す必要があるチャットボットにとって重要な機能です。

• インテリジェントエージェント：LangChainはエージェントに包括的なツールキットを備えています。これらのエージェントは、ユーザーの入力に基づいてどのツールを利用するか選択することができます。

• インデックス：LangChainのインデックスは、LLMとの効果的な対話を容易にするためのドキュメントの組織化方法です。

• チェーン：単一のLLMを使用することは、より単純なタスクには十分かもしれませんが、LangChainは、より複雑なアプリケーションのためにLLMを相互にまたは他の特殊なモジュールと組み合わせるための標準的なインターフェースと一部の一般的な実装を提供します。

LangChainはどのように動作しますか？

LangChainは大量のデータから構成されており、そのデータをより小さなチャンクに分割し、容易にベクトルストアに埋め込むことができます。そして、LLMの助けを借りて、必要な情報のみを取得することができます。

ユーザーがプロンプトを挿入すると、LangChainは関連する情報をベクトルストアにクエリします。正確またはほぼ一致する情報が見つかった場合、その情報をLLMに供給して、ユーザーが求めている回答を完了または生成します。

LangChainで始める

このチュートリアルでは、開発環境としてSingleStoreのNotebooks機能（無料で使用できる）を使用しましょう。

SingleStoreノートブックは、データプロフェッショナルが簡単に作業や実験を行うためのJupyter Notebookの機能を拡張したものです。

シングルストアとは何ですか？

SingleStoreは、高性能で高速なアプリケーション向けに設計された分散型のインメモリSQLデータベース管理システムです。リアルタイムアナリティクスを提供し、トランザクションと分析を単一のシステムで実行できるように、従来のオペレーショナルデータベースと分析データベースの機能を組み合わせています。

SingleStoreにサインアップして、Notebooksを使用しましょう。

SingleStoreにサインアップすると、$600分の無料コンピューティングリソースも受け取れます。なぜこの機会を活用しないのでしょうか？

‘Notebooks’をクリックして、空のノートブックを開始しましょう。

‘LangChain-Tutorial’など、お好きな名前で名前を付けてください。

作成したノートブックで作業を始めましょう。このステップバイステップのガイドに従って、ノートブックに示されたコードを追加して実行してください。さあ、始めましょう！

Langchainを使用するためには、まずpipコマンドでインストールする必要があります。

LangChainを使用するには、OpenAIやHugging Faceなどの1つ以上のモデルプロバイダとの統合が必要です。この例では、OpenAIのAPIを利用しますので、インストールしましょう。

次に、プレイグラウンドの環境変数を設定する必要があります。それを行いましょう。

OpenAIのAPIキーを取得する方法をご存知かどうか、分かりますか？もし分からない場合は、このリンクにアクセスしてOpenAIのAPIキーを取得してください。

[注：APIキーを使用するためのクオータがまだあることを確認してください]

次に、OpenAIのようなLLMを取得し、このモデルで予測してみましょう。

世界で最も人口の多い都市の上位5つをモデルに尋ねてみましょう。

ご覧の通り、モデルが予測を行い、世界で最も人口の多い都市の5つを表示しました。

プロンプトテンプレート

まず、プロンプトテンプレートを定義しましょう。

プロンプトを作成しました。予測を取得するために、formatメソッドを呼び出して入力を渡しましょう。

チェーンの作成

これまでLLMモデルの初期化方法と、このモデルで予測する方法を見てきました。では、さらに進んで、LLMChainクラスを使用してこれらのステップをチェーン化してみましょう。

モデルの予測結果が表示されます。

LangChain LLMを使用したアプリケーションの開発

開発環境として、再びSingleStoreのNotebooksを使用します。

非常にシンプルなチャットアプリケーションを開発しましょう。

空のノートブックから始めて、お好きな名前を付けてください。

• まず、依存関係をインストールします。

• 次に、インストールした依存関係をインポートします。

• OpenAIのAPIキーを取得し、安全に保存してください。

• LLMテンプレートを追加してカスタマイズします

• 保存したAPIキーを使用してChatGPTチェーンをロードします。人間の入力として「SingleStoreとは何ですか？」と入力してください。入力をお好きなものに変更することもできます。

スクリプトは、OpenAIのAPIキーと事前設定のプロンプトを使用してLLMチェーンを初期化し、ユーザーの入力を受け取り、結果の出力を表示します。

期待される出力は以下の通りです。

人間の入力テキスト/コンテンツを変更して、これを試してみてください。

コード形式の完全な実行手順はGitHubで利用できます。

LangChainは、大規模な言語モデルを活用した先進的なアプリケーションを構築するために努力するデータエンジニアや開発者にとって不可欠なフレームワークとなります。従来のツールやプラットフォームとは異なり、LangChainは複雑なAIアプリケーションに適したより堅牢かつ柔軟なフレームワークを提供します。LangChainは、開発者の戦術ツールの一つではなく、AIパワードアプリケーションの領域で可能なことを再定義する変革的なフレームワークです。

GenAIアプリケーションやLLMの領域では、ベクトルデータベースについて知っておくことを強くお勧めします。最近、ベクトルデータベースの完全な概要を書きましたので、その記事をご覧いただけると嬉しいです。

ベクトルデータベース：初心者向けガイド！

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!