「ユーザーの入力、プロンプト、および応答のシーケンスを理解する大型言語モデルを活用した対話型アプリケーション」

「ユーザーとの対話に活用する大規模言語モデル：入力、プロンプト、応答について理解する対話型アプリケーション」

会話型アプリケーションは、仮想アシスタントからチャットボットや音声ベースのインターフェースまで、私たちの日常生活の中で欠かせない存在となっています。これらのシステムと対話する際に、裏側で何が起こっているのか気になったことはありますか？この記事では、ユーザーの入力がどのように処理され、プロンプトに変換され、大規模言語モデル（LLMs）に送信され、応答が生成されてユーザーに表示されるのか、その技術的な側面について詳しく取り上げます。私たちは、技術的な方だけでなく、非技術的な読者も理解しやすくするために、イベントの順序を簡略化して説明します。

ユーザーの入力

すべてはユーザーの入力から始まります。それは音声コマンド、テキストメッセージ、ボタンクリックなど、さまざまな形式で行われることがあります。例えば、ユーザーが「こんにちは、今日の天気はどうですか？」と言ったとしましょう。

前処理

ユーザーの入力が受け取られると、一連の前処理のステップを経ます。これらのステップには、次のようなものがあります：

• トークナイゼーション： 入力を個々の単語またはトークンに分解することです。例えば、”こんにちは” が1つのトークン、「何ですか」が別のトークンなどです。
• 固有表現抽出（NER）：入力内の特定のエンティティ（名前、場所、組織など）を識別します。たとえば、ユーザーが「ニューヨーク市の天気はどうですか？」と言った場合、名前のエンティティは「ニューヨーク市」となります。
• 品詞タグ付け（POS tagging）：各単語の文法的なカテゴリ（名詞、動詞、形容詞など）を識別します。
• 依存構文解析：トークン間の関係（主語-動詞-目的語のような関係）を分析します。

これらの前処理ステップは、次の段階であるユーザーの入力をプロンプトに変換するために入力データを準備するのに役立ちます。

• 新興の脅威：言語モデルの時代におけるアプリケーションのセキュリティ確保
• LMSYS-Chat-1Mとは、25の最新のLLM（Large Language Models）を使用して作成された、100万件の実世界の会話を含む大規模データセットです
• 「グラフアルゴリズムの探索：連結データ構造のナビゲーションと解析」

プロンプト生成

前処理が完了した入力データは、プロンプトに変換されます。プロンプトは、ユーザーのクエリや要求を簡潔に表現したものです。プロンプトは、LLMに適切な応答を生成するために十分な情報を提供するように設計されています。

上記の例では、プロンプトは次のようになるかもしれません：

{“intent”: “check_weather”,”location”: “ニューヨーク市” }

プロンプトには、2つの主要な情報が含まれていることに注意してください：意図（check_weather）と場所（ニューヨーク市）。この情報は、LLMがユーザーの要求を理解し、応答を適切にカスタマイズするのに役立ちます。

大規模言語モデル（LLM）の処理

プロンプトは、処理のためにLLMに送信されます。LLMは自然言語理解（NLU）アルゴリズムを使用して、プロンプトの意味を理解し、応答を生成します。

LLMが次のような応答を生成したと仮定してみましょう：

“ニューヨーク市の今日の天気予報は、晴れで最高気温は華氏75度、最低気温は華氏50度です。”

ポスト処理

LLMから応答を受け取った後、出力を改善するために追加のポスト処理のステップがある場合があります。これらのステップには、次のようなものがあります：

• 感情分析：応答のトーンがポジティブかネガティブか、中立的か混合かを判断します。
• 意図分類：応答がユーザーの元の意図と一致しているかどうかを確認します。
• 流暢性の評価：応答のつながりと読みやすさを評価します。

必要に応じて、応答は機械学習アルゴリズムやルールベースのエンジンを介してさらに改善され、ある品質基準を満たすようになるでしょう。

応答の提示

最後に、応答はユーザーが選んだインターフェース（音声アシスタント、メッセージングプラットフォーム、ウェブアプリケーションなど）を通じてユーザーに提示されます。この例では、応答は音声で読み上げられるか、画面上にテキストとして表示されます。

特定の業界シナリオにおいて、フローがどのように機能するかを見てみましょう。ここでは、データ管理空間で重要な「エンティティ解決」という概念を取り上げ、LLMに基づいて構築された対話型アプリケーションがどのように機能するかを探求します。

以下のダイアグラムは、シーケンス、データ、およびイベントの流れを示しています。

さらに、ここでは銀行および小売業の2つの業界シナリオを取り上げ、そのフローを紹介します。

例1：銀行業界における顧客確認（KYC）プロセスの文脈における「ユーザーエンティティ」の解決

ユーザー入力

「こんにちは、新規の顧客ですが、普通預金口座を開設したいです。」

前処理

対話型AIシステムは、ユーザーの入力を分析し、言及された主要なエンティティを特定します。この場合、ユーザーは「銀行」と「普通預金口座」という金融機関と金融製品を言及しています。システムはエンティティ認識を実行し、ユーザーの説明に一致する具体的な銀行と口座タイプを特定します。例えば、システムは銀行を「ABC銀行」、口座タイプを「個人普通預金口座」と特定するとしましょう。

プロンプト生成

システムは、特定されたエンティティとユーザーの要求の文脈をエンコードしたプロンプトを作成します。プロンプトは次のようなものになるでしょう。

{“entity1”: “ABC銀行”,”entity2″: “個人普通預金口座”,”context”: “口座開設” }

大規模言語モデル（LLM）の処理

プロンプトは、銀行業界のKYCプロセスに特化した大規模言語モデル（LLM）に渡されます。LLMは、プロンプトを処理し、提供された文脈とエンティティに基づいて応答を生成します。応答には、ユーザーの氏名、住所、生年月日などの個人情報に関する質問や、身元確認のための文書提出要求などが含まれるかもしれません。

ポスト処理

LLMからの応答を受け取った後、対話型AIシステムは出力を微調整するために追加の処理を行います。これには以下のようなことが含まれるかもしれません：

• エンティティリンキング：応答の中のエンティティ間の関係を特定し、外部データベースやシステムにリンクします。たとえば、システムはユーザーの氏名をクレジットレポートや政府のIDレコードにリンクするかもしれません。
• リスク検知：ユーザーの回答や文書を分析して潜在的なリスクやコンプライアンスの問題を検出します。例えば、システムは一貫性のない身分証明書を提供するユーザーを特定したり、個人情報が既知の詐欺師に一致するユーザーをフラグ付けするかもしれません。
• 規制コンプライアンス：KYCのためのユーザーの情報と文書が規制要件に合致しているかを確認します。システムは、米国PATRIOT法やWolfsberg原則などの連邦規制または国際基準に対して確認を行うかもしれません。

応答の表示

最後に、システムはユーザーに応答を自然言語形式で提供します。この際には、ユーザーのコミュニケーションチャネルとスタイルの好みを考慮します。例えば、システムは要求された文書の一覧や、安全にアップロードするための手順を表示し、同時にライブ担当者との対話や支店での予約のオプションも提供するかもしれません。

この例では、対話型AIシステムは、ユーザーが言及した銀行と口座タイプを正確に特定し、適切な質問や身元確認、リスク評価の要求を生成しました。大規模言語モデルと高度な自然言語処理技術を活用することで、システムは口座開設プロセスを効率化し、規制コンプライアンスを確保し、リスクを軽減することができました。

例2：小売業におけるサプライチェーンプロセスの文脈での「製品エンティティ」の解決

ユーザー入力

「異なるサプライヤーから同じ製品の重複出荷を受け取りました。製品を一致させ、問題を解決するのをお手伝いいただけますか？」

前処理

会話型AIシステムは、ユーザーの入力を分析して言及された主要なエンティティを特定します。この場合、ユーザーは製品と複数のサプライヤーを言及しています。システムはエンティティ認識を実行して、ユーザーの説明に一致する特定の製品とサプライヤーを特定します。例えば、システムは製品を「Widget X」とサプライヤーを「サプライヤーA」と「サプライヤーB」と特定するとしましょう。

プロンプトの生成

その後、システムは特定されたエンティティとユーザーのリクエストの文脈をエンコードしたプロンプトを作成します。プロンプトは以下のようになるでしょう。

{“entity1”: “Widget X”,”entity2″: [“サプライヤーA,” “サプライヤーB”],”context”: “製品の一致” }

大規模言語モデル（LLM）の処理

プロンプトは、小売供給チェーンの製品の一致に特化してトレーニングされた大規模言語モデル（LLM）に渡されます。LLMはプロンプトを処理し、提供された文脈とエンティティに基づいて応答を生成します。応答には、製品の特徴に関する質問、サイズ、色、素材などを含む場合もあります。また、製品の真正性を確認するための文書や画像の要求も含まれるかもしれません。

後処理

LLMからの応答を受け取った後、会話型AIシステムは出力をさらに洗練するための追加の処理を実行します。これには以下のような作業が含まれる場合があります。

• 製品特徴分析：ユーザーとサプライヤーが言及した製品の特徴を比較し、相違点や不一致を特定します。例えば、サプライヤーAがWidget Xを青色のプラスチック製と説明し、一方サプライヤーBが赤色の金属製と説明する場合、システムはこれを潜在的な問題として示唆するかもしれません。
• 文書の確認：サプライヤーから文書の提出と確認を求めます。これには真正性の証明書、シリアル番号、またはその他の識別情報が含まれるかもしれません。
• 画像認識：サプライヤーが提供する製品の画像をコンピュータビジョンアルゴリズムを使用して分析し、他の画像や既知の製品データベースと比較します。これにより、製品間の違いや類似点を特定するのに役立ちます。

応答表示

最後に、システムはユーザーに対して自然な言語形式で応答を表示します。これはユーザーのコミュニケーションチャネルとスタイルの好みを考慮に入れたものです。たとえば、システムは、各サプライヤーが提供した製品特徴と文書を比較し、相違点や一致点を強調した表を表示するかもしれません。または、価格、品質、入手可能性などの要素に基づいて、どのサプライヤーの製品を使用するかの推奨も提供するかもしれません。

この例では、会話型AIシステムは製品の一致技術を使用して、ユーザーが言及した製品とサプライヤーを正確に特定し、適切な質問や確認の要求を生成しました。大規模な言語モデルと高度な自然言語処理技術を活用することで、小売供給チェーンプロセスの精度と効率を向上させることができました。

結論

これで、ユーザーの入力がどのようにプロンプトに変換され、LLMによって処理され、LLMを使用した会話型アプリケーションにユーザーに戻されるかが明確になったはずです。プロセスを小さなコンポーネントに分解することで、LLMを活用した知的な会話体験の複雑さに深く理解を深めることができます。LLMプラットフォーム上で次世代の会話型アプリケーションを設計するソリューションアーキテクトであるか、これらの技術を活用するためにビジネスリーダーであるかにかかわらず、基本原則を理解することはその全体像を把握するために重要です。本記事が技術的またはビジネスの視点を提供できたことを願っています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!