『ランチェーンでチェーンを使用するための包括的ガイド』

『美容とファッションのエキスパートによる、チェーンを使用するための包括的ガイド』

イントロダクション

言語処理の最前線に足を踏み入れてください！言語が人間とテクノロジーの間の重要なつながりである領域で、自然言語処理の進歩はいくつかの驚異的な高みを開拓しました。この進歩の中には、画期的な大規模言語モデルがあります。これはテキストベースの情報との相互作用を再構築する革命的な力です。本総合学習プログラムでは、テキストベースの情報との相互作用を再構築する革新的なツールであるLangChainの複雑さに深く入り込んでいきます。あなたは「Langchain」はどんなチェーンか、考えたことはありますか？

LangChainは、大規模言語モデルの最もダイナミックなフィールドへのゲートウェイとして独立して立っており、これらのモデルが生の入力を洗練された人間らしい反応に変換する方法について深い理解を提供しています。この探求を通じて、LangChainの基本的な構成要素を解き明かし、LLMチェーンやシーケンシャルチェーンからルーターチェーンの複雑な構造までを理解していきます。

学習目標

• LLMチェーンやシーケンシャルチェーンを含むLangChainのコアコンポーネントを理解し、入力がシステムを流れる様子を観察します。
• プロンプトテンプレートと言語モデルの接続を探求し、異なる要素を一貫して統合する方法を学びます。
• 現実のタスクに対して機能的なチェーンを作成する実践的な経験を積みます。
• 構造、テンプレート、パーシング技術を微調整することにより、チェーンの効率を向上させるスキルを開発します。

この記事はData Science Blogathonの一環として公開されました。

• 「勾配降下法：数学を用いた最適化への山岳トレッカーのガイド」
• M42がMed42を導入：医療知識へのアクセス拡大のためのオープンアクセスクリニカル大規模言語モデル（LLM）
• 「Amazon Rekognition Custom LabelsとAWS Step Functionsを使用して、PurinaのPetfinderアプリケーションのペットプロファイルを最適化する」

LLMとは何ですか？

大規模言語モデル（LLM）とは、人間らしいテキストを理解し生成するために設計された人工知能の一種を指します。OpenAIのGPT-3.5などのこれらのモデルは、人間の言語のパターンや構造を理解するために豊富なテキストデータでトレーニングされます。彼らは翻訳、コンテンツの作成、質問への回答など、さまざまな言語関連のタスクを実行することができます。

LLMは自然言語処理の貴重なツールであり、チャットボット、コンテンツ生成、言語翻訳サービスなどの分野で応用されています。

LangChainとは何ですか？

LangChain Chainsの複雑さを解き明かす前に、LangChain自体の本質を把握しましょう。LangChainは、OpenAI、Cohere、Bloom、Huggingfaceなどのさまざまな大規模言語モデル（LLM）プロバイダーとの対話を簡素化するために設計された堅牢なライブラリです。LangChainの特徴的な点は、1つまたは複数のLLMを結ぶチェーンと論理的な接続を作成できる能力です。

LangChainを使う理由

LangChainは、想像力によって限られた機会を提供します。

• 情報を提供するだけでなく、ウィットと魅力でユーザーと関わるチャットボットを想像してください。
• 購入を迫られるほど正確に製品を提案する電子商取引プラットフォームを思い浮かべてください。
• 個別の医療情報を提供し、個人が健康に関する情報に基づいた意思決定を行えるようにする医療アプリを想像してください。

LangChainを使えば、非凡な体験を生み出す力があります。これらのアイデアを現実に変える可能性は、あなたの指先にあります。

LangChainにおけるチェーンの理解

LangChainの中心には、LangChain Chainsという重要なコンポーネントがあり、1つまたは複数の大規模言語モデル（LLM）との間の核となる接続を形成しています。

特定の洗練されたアプリケーションでは、他の要素とチェーンを結合する必要がある場合があります。これらのチェーンは、多くのコンポーネントを統合し、一貫したアプリケーションに織り込む力を提供しています。さまざまなタイプのチェーンに詳しく探求してみましょう。

また、LLMにおけるChainsの構造化アプローチは、完璧かつ効果的な処理を保証し、幅広いユーザーの要件に合わせて開発された高度なアプリケーションの形成を可能にする。これは、自然言語処理の領域における重要な進歩を表しており、これらの複雑な接続はLangChainの基本的なフレームワークとして機能し、複数の大規模言語モデル（LLM）間のシームレスな相互作用を容易にする。

しかし、なぜChainsが必要なのか？

Chainsは、異なるコンポーネントを簡単に組み合わせてシングルで統一的なアプリケーションを形成する能力によって、非常に貴重な存在となっている。Chainsの作成により、複数の要素がシームレスに結びつきます。次のシナリオを想像してみてください：ユーザーの入力を受け取り、PromptTemplateを使用して整え、その洗練された応答を大規模言語モデル（LLM）に渡すためのチェーンが作成されます。このシンプルなプロセスは、システム全体の機能性を単純化するだけでなく、豊かにする効果も獲得します。要するに、Chainsはアプリケーションの異なる部分をシームレスに接続し、その能力を向上させるための要素として機能します。以下にまとめましょう。

• PromptテンプレートをLLMと統合することで、強力なシナジーが生まれます。
• 1つのLLMの出力を次の入力として使用することで、複数のLLMを連続的に接続することが可能になります。
• LLMを外部データと統合することで、効果的な問い合わせに対応することができます。
• チャット履歴などの長期記憶とLLMを統合することで、相互作用の全体的な文脈と深さを向上させることができます。

さらに、Chainsは複数のチェーンを接続することや、他の重要な要素と組み合わせることによって、複雑なアプリケーションを構築する能力を提供してくれます。このアプローチにより、複雑で高度な機能を持つアプリケーションの洗練された方法を実現することができます。

チェーンの種類

Langchainには、使用できるさまざまなChainsがあります。ここでは、LLM Chain、Sequential Chain、Router Chainの3つの基本的なチェーンについて説明します。

LLM Chain – 最もシンプルなチェーン

このシステム内でのチェーンの最も基本的な形態は、広く認識されているLLMChainです。LLMChainは、PromptTemplate、OpenAIモデル（LLMまたはChatModelのいずれか）、オプションの出力パーサーを含む構造化された状態で動作します。この設定では、LLMChainはさまざまな入力パラメーターを受け入れます。PromptTemplateを使用してこれらの入力を統一されたプロンプトに変換します。洗練されたプロンプトは次にモデルに入力されます。出力を受け取った後、LLMChainは提供された場合のOutputParserを使用して、結果をさらに洗練された使いやすい形式に改良およびフォーマットします。LLMチェーンの機能を説明するために、以下に具体的な例を示します。

• これは、ユーザーの入力を受け取り、チェーン内の最初の要素であるPromptTemplateに渡して特定のプロンプトに整形します。
• フォーマットされたプロンプトは、次の（および最後の）要素であるLLMに渡されます。

チェーンの作成 – LLMチェーン

特にLLMチェーンを含むChainsの作成は、LangChain内のLarge Language Modelsの活用を必要とする細心の注意が必要です。これらのチェーンは、情報とエンゲージメントの円滑な交換を可能にする複雑なチャネルとして機能します。開発者は慎重に構造化することにより、ユーザーの入力を理解し、LLMを利用してインテリジェントな応答を生成し、出力を特定のニーズに合わせてカスタマイズすることができる活気あるアプリケーションを設計することができます。

では、LangchainでLLM Chainsをどのように使用するかについて詳しく見ていきましょう。

必要なライブラリのインポート

import langchainimport openaifrom langchain.llms import OpenAIfrom langchain.prompts import PromptTemplatefrom getpass import getpassOPENAI_API_KEY = getpass()

LLMとPromptテンプレートの初期化

OpenAI Large Language Modelを特定のパラメーターで初期化します。これには、生成されるレスポンスの多様性に影響を与える0.9の温度が含まれます。さらに、ユーザーは「PromptTemplate」を定義する必要があります。この場合は、変数「product」を入力し、標準化されたプロンプトの構造を作成します。実行時には、プレースホルダーの「{product}」に異なる製品名を動的に入力することができます。

llm = OpenAI(temperature=0.9,          openai_api_key=OPENAI_API_KEY       )prompt = PromptTemplate(    input_variables=["product"],    template="何を作る会社のいい名前ですか？商品: {product}",)

チェーンの作成

OpenAIのLarge Language Modelと指定したプロンプトテンプレートを使用して、’LLMChain’クラスのインスタンスを作成します。これにより、chain.runコマンドを使用して「ゲーミングラップトップ」といった製品に対してチェーンを適用することができます。つまり、このチェーンは特定の製品に合わせて動的に処理を行い、応答を生成する能力を持っています。

from langchain.chains import LLMChainchain = LLMChain(llm=llm, prompt=prompt, verbose=True)print(chain.run("ゲーミングラップトップ"))

出力：

これにより、「ゲーマーテックラップトップ」という会社の名前が取得されます。

シーケンシャルチェーン

シーケンシャルチェーンは、個々のチェーンを組み合わせたチェーンであり、1つのチェーンの出力が連続したシーケンスで次の入力となります。これにより、連続して複数のチェーンを実行することができます。

シーケンシャルチェーンには2つのタイプがあります：

単純なシーケンシャルチェーン：単一の入力と出力を扱う

シーケンシャルチェーン：複数の入力と出力を同時に扱う

• シーケンシャルチェーンは、1つのチェーンの出力を次のチェーンの入力として使用します。
• これにより、連続して複数のチェーンを実行することができます。
• 1つの操作の結果を次の操作の始点として利用する必要がある場合に便利であり、プロセスのシームレスなフローを作成します。

単純なシーケンシャルチェーン

シンプルなシーケンシャルチェーンは、各ステップが1つの入力を受け取り、1つの出力を生成するステップで構成されます。1つのステップの出力が次のステップの入力となります。

このシンプルなアプローチは、単一の入出力を持つサブチェーンを扱う際に効果的であり、各ステップが出力を次のステップにシームレスに渡すことで、情報のスムーズかつ連続した流れを確保します。

チェーンの作成 – 単純なシーケンシャルチェーン

単純なシーケンシャルチェーンでは、1つの入力を経て一連の一貫した変換を行い、洗練された出力を生成することができます。このシーケンシャルなアプローチにより、データの体系的かつ効率的な処理が実現され、情報処理の線形なフローが必要なシナリオに理想的です。

必要なライブラリのインポート

from langchain.llms import OpenAIfrom langchain.chains import LLMChainfrom langchain.prompts import PromptTemplatefrom langchain.prompts import ChatPromptTemplatefrom langchain.chains import SimpleSequentialChain

初期化とチェーンの作成

温度設定が0.7のOpenAIのLarge Language ModelとAPIキーを使用して初期化を行います。次に、製品名のプレースホルダーを持つ特定のチャットプロンプトテンプレートを作成します。その後、提供されたプロンプトに基づいて応答を生成するLLMChainを作成します。このプロセスを2つの異なるチェーンに対して繰り返します。

# 1つ目のチェーンの初期化と作成llm = OpenAI(temperature=0.7, openai_api_key=OPENAI_API_KEY)first_prompt = ChatPromptTemplate.from_template(    "{product}を作る会社の名前を教えてください。")chain_one = LLMChain(llm=llm, prompt=first_prompt)

# 2つ目のチェーンの初期化と作成llm = OpenAI(temperature=0.7, openai_api_key=OPENAI_API_KEY)second_prompt = ChatPromptTemplate.from_template(    "以下の会社について20語で説明してください：{company_name}")chain_two = LLMChain(llm=llm, prompt=second_prompt)

連鎖二つのチェーン

二つの異なる個々のチェーン、chain_oneとchain_twoからなる総合的な単純シーケンシャルチェーンを作成します。入力として「ゲーミングノートパソコン」を使用して、定義されたチェーンを順次処理し、チェーンのステップバイステップな逐次的な実行を示す出力を提供します。

overall_simple_chain = SimpleSequentialChain(chains=[chain_one, chain_two],                                             verbose=True                                            )overall_simple_chain.run("ゲーミングノートパソコン")

出力:

シーケンシャルチェーン

すべてのシーケンシャルチェーンが単一の文字列の入力と出力で動作するわけではありません。より複雑な設定では、これらのチェーンは複数の入力を扱い、複数の最終的な出力を生成します。入力と出力変数の名前付けは、これらの複雑なチェーンで重要な意味を持ちます。

より一般的な形式のシーケンシャルチェーンでは、複数の入力/出力が可能です。チェーン内の任意のステップで複数の入力を受け付けることができます。

チェーンの作成 – シーケンシャルチェーン

必要なライブラリのインポート

from langchain.llms import OpenAIfrom langchain.chains import LLMChainfrom langchain.prompts import PromptTemplatefrom langchain.prompts import ChatPromptTemplatefrom langchain.chains import SequentialChainllm = OpenAI(temperature=0.7, openai_api_key=OPENAI_API_KEY)

初期化とチェーンの連結

特定のタスクを実行するようシステムに指示するプロンプトテンプレートを定義します。次に、指定された大規模言語モデル（LLM）と定義されたプロンプトテンプレートを使用して、対応するLLMChainを作成します。チェーンは入力を受け取り、LLMを通じて出力を生成するように設定されます。このプロセスを繰り返して、4つの異なるチェーンを確立します。

Review = "Les ordinateurs portables GamersTech impressionne par ses performances exceptionnelles et son design élégant. De sa configuration  matérielle robuste à un clavier RVB personnalisable et un système de  refroidissement efficace, il établit un équilibre parfait entre prouesses  de jeu et portabilité."# prompt template 1: translate to Englishfirst_prompt = ChatPromptTemplate.from_template(    "以下のレビューを英語に翻訳してください："    "\n\n{Review}")# chain 1: input= Review and output= English_Reviewchain_one = LLMChain(llm=llm, prompt=first_prompt,                     output_key="English_Review"                                         )                                       

# prompt template 2: Summarize the English reviewsecond_prompt = ChatPromptTemplate.from_template(    "以下のレビューを1文で要約してください："    "\n\n{English_Review}")# chain 2: input= English_Review and output= summarychain_two = LLMChain(llm=llm, prompt=second_prompt,                     output_key="summary"                    )

# prompt template 3: translate to Englishthird_prompt = ChatPromptTemplate.from_template(    "以下のレビューの言語は何ですか：\n\n{Review}")# chain 3: input= Review and output= languagechain_three = LLMChain(llm=llm, prompt=third_prompt,                       output_key="language"                      )

# prompt template 4: follow up messagefourth_prompt = ChatPromptTemplate.from_template(    "以下の要約に対する追加のメッセージを指定された言語で書いてください："    "\n\n要約: {summary}\n\n言語: {language}")# chain 4: input= summary, language and output= followup_messagechain_four = LLMChain(llm=llm, prompt=fourth_prompt,                      output_key="followup_message"                     )

連鎖二つのチェーン

‘chain_one’、’chain_two’、’chain_three’、および’chain_four’と呼ばれる個々のチェーンを組み合わせた総合的なシーケンシャルチェーン「overall_chain」が作成されます。入力変数「Review」はこれらのチェーンを通じて処理され、3つの異なる出力変数「English_Review」、「summary」、「followup_message」が生成されます。’overall_chain’は指定されたチェーンを介して入力レビューを実行し、これらの出力を生成し、詳細な出力を提供する構造化されたシーケンシャルな処理フローを実現します。

overall_chain = SequentialChain(    chains=[chain_one, chain_two, chain_three, chain_four],    input_variables=["Review"],    output_variables=["English_Review", "summary","followup_message"],    verbose=True)overall_chain(Review)

出力

ルーターチェーン

ルーターチェーンは複雑なタスクに使用されます。複数のサブチェーンがあり、それぞれ特定のタイプの入力に特化している場合、入力を渡すサブチェーンを決定するためのルーターチェーンを持つことができます。

構成要素：

• ルーターチェーン：次に呼び出すチェーンを選択する責任を持つ。
• 目的のチェーン：ルーターチェーンがルーティングできるチェーン。
• デフォルトチェーン：ルーターがどのサブチェーンを使用するか決定できない場合に使用される。

これは、入力を具体的なチェーンに基づいて特定のチェーンに誘導することを意味します。複数のサブチェーンがあり、それぞれ固有の入力タイプに合わせたものである場合、ルーターチェーンが活用されます。このルーターチェーンは意思決定者となり、入力をどの専門化されたサブチェーンに送るかを決定します。基本的には、入力の特定の特性に基づいて、適切なサブチェーンへの入力のシームレスなルーティングを可能にし、入力に基づいた効率的かつ正確な処理を保証します。

チェーンの作成 – ルーターチェーン

必要なライブラリのインポート

from langchain.chains.router import MultiPromptChainfrom langchain.chains.router.llm_router import LLMRouterChain,RouterOutputParserfrom langchain.prompts import PromptTemplatellm = OpenAI(temperature=0.7, openai_api_key=OPENAI_API_KEY)

プロンプトテンプレートの定義

数学、物理学、歴史、コンピュータサイエンスなどの科目に基づいて入力を専門チェーンに誘導する必要があるシナリオを考えてみましょう。これを達成するために、物理学の質問用、数学のクエリ用、歴史の問い合わせ用、コンピュータサイエンス関連の事項用にそれぞれ異なるプロンプトを作成します。これらのプロンプトは、それぞれの科目領域の固有のニーズに対応するように綿密に設計されます。

physics_template = """あなたは非常に賢い物理学の教授です。\物理学の質問に対する回答が得意で、簡潔かつわかりやすい方法で答えることができます。\質問の答えがわからない場合は、わからないと正直に認めます。\質問は以下の通りです:{input}"""math_template = """あなたは非常に優れた数学者です。\数学の質問に優れて答えることができます。\難しい問題を構成要素に分解し、その構成要素に答え、\それらをまとめてより広範な問題に答えることができます。\質問は以下の通りです:{input}"""history_template = """あなたは非常に優れた歴史家です。\様々な歴史的時代の人々、イベント、コンテキストに対する優れた知識と理解を持っています。\過去を思考し、反省し、議論し、討論し、\過去を評価する能力があります。\歴史的な証拠に対する尊重とそれを利用して説明と判断を支持する能力を持っています。\質問は以下の通りです:{input}"""

さらに、名前や説明などの詳細な情報をこれらのプロンプトテンプレートに添付することができます。この追加のコンテキストは、各テンプレートの目的を包括的に理解するのに役立ちます。この情報は、ルーターチェーンに供給されます。ルーターチェーンは、特定の科目に基づいてどのサブチェーンにルーティングするかを決定し、適切なプロンプトテンプレートが正確かつ効果的な応答に使用されるようにします。

# プロンプトテンプレートの定義prompt_infos = [    {        "name": "physics",        "description": "物理学の質問に対する回答に適しています",        "prompt_template": physics_template    },    {        "name": "math",        "description": "数学の質問に対する回答に適しています",        "prompt_template": math_template    },    {        "name": "History",        "description": "歴史の質問に対する回答に適しています",        "prompt_template": history_template    }]

デスティネーションチェーンの作成

次に、注目点はデスティネーションチェーンの作成に移ります。これらのチェーンは、ルーターチェーンによってアクティベートされ、個別の言語モデルチェーンであるLLMチェーンとして機能します。さらに、ルーターが曖昧さに遭遇し、適切なサブチェーンを決定できない状況を扱うために、デフォルトチェーンが概説されています。このデフォルトチェーンは、迷いが生じた場合でも応答が行われるように、フォールバックオプションとして機能します。

destination_chains = {}for p_info in prompt_infos:    name = p_info["name"]    prompt_template = p_info["prompt_template"]    prompt = ChatPromptTemplate.from_template(template=prompt_template)    chain = LLMChain(llm=llm, prompt=prompt)    destination_chains[name] = chaindestinations = [f"{p['name']}: {p['description']}" for p in prompt_infos]destinations_str = "\n".join(destinations)

マルチプロンプトルーターテンプレートの作成

さまざまなチェーン間の対話を指示するLLMを導くテンプレートを確立します。このテンプレートは、具体的なタスクの指示だけでなく、出力が従うべき厳密な形式も定義し、標準化された一貫した応答メカニズムを確保します。

MULTI_PROMPT_ROUTER_TEMPLATE = """デスティネーションチェーン{{{{    "destination": string \使用するプロンプトの名前または "DEFAULT"    "next_inputs": string \元の入力のポテンシャルモディファイドバージョン}}}}」を示すマークダウンコードスニペットを返します。フォーマットは次のようになります：```json{{{{    "destination": string \使用するプロンプトの名前または "DEFAULT"    "next_inputs": string \元の入力のポテンシャルモディファイドバージョン}}}}```次に、次の点を忘れずに：「destination」は、以下で指定される候補のプロンプトの1つでなければならず、適切に指定された入力の場合は「DEFAULT」になります。「next_inputs」は、修正が必要でない場合、元の入力だけでも構いません。候補プロンプトの候補は次のようになります：{destinations}<<input>>{{input}}<<output（```jsonを含めるのを忘れずに)>>"""</input>>{{input}}<<output（```jsonを含めるのを忘れずに)>>"""

default_prompt = ChatPromptTemplate.from_template("{input}")default_chain = LLMChain(llm=llm, prompt=default_prompt)

router_template = MULTI_PROMPT_ROUTER_TEMPLATE.format(    destinations=destinations_str)router_prompt = PromptTemplate(    template=router_template,    input_variables=["input"],    output_parser=RouterOutputParser(),)router_chain = LLMRouterChain.from_llm(llm, router_prompt)

chain = MultiPromptChain(router_chain=router_chain,                         destination_chains=destination_chains,                         default_chain=default_chain, verbose=True                        )