「Amazon PharmacyはAmazon SageMakerを使用して、LLMベースのチャットボットを作成する方法を学びましょう」

『Amazon Pharmacyで使われるAmazon SageMakerを活用して、LLMベースのチャットボットを作成する方法を学びましょう』

Amazon Pharmacyは、透明な価格設定、臨床と顧客サポート、そして自宅への無料配達を提供するAmazon.com上のフルサービスの薬局です。顧客ケア担当者は、処方箋の説明や転送状況、注文と調剤の詳細、および患者のプロファイル情報など、薬局情報に関連する情報をリアルタイムで迅速かつ正確に取得する役割を果たします。Amazon Pharmacyでは、顧客（患者や医師）が顧客ケア担当者（エージェント）とオンラインでチャットできるインターフェースを提供しています。エージェントが直面する課題の1つは、顧客の質問に答える際に正確な情報を見つけることであり、医療プロセスの多様性、ボリューム、複雑さ（事前承認の説明など）のために困難です。適切な情報を見つけ、要約し、説明するには時間がかかり、患者への対応の速度が遅くなります。

この課題に取り組むために、Amazon Pharmacyは生成型AIの質問応答（Q&A）チャットボットアシスタントを開発しました。これにより、顧客との人間の相互作用を保持しながら、エージェントが自然言語検索でリアルタイムに情報を取得できるようになりました。このソリューションは、顧客のプライバシーを保護するHIPAAに準拠しています。さらに、エージェントは機械生成された回答に関するフィードバックをAmazon Pharmacyの開発チームに提出し、将来のモデル改善に活用されます。

この記事では、Amazon PharmacyがAWS AI製品を使用して顧客ケアエージェントアシスタントチャットボットソリューションを実装した方法を説明します。具体的には、大規模言語モデル（LLM）ベースのチャットボットの導入による顧客ケアエージェントの全体的な経験を強調し、その実装においてRetrieval Augmented Generation（RAG）パターンがどのように使用されるかを説明します。最後に、製品のアーキテクチャについて説明します。この記事は、生成型AIが既存の複雑で高度に規制されたビジネスのアプリケーションに統合され、薬局患者の顧客ケア体験を改善する方法を示しています。

LLMベースのQ&Aチャットボット

以下の図は、患者がチャットを通じてAmazon Pharmacyの顧客ケアに連絡するプロセスフロー（ステップ1）を示しています。エージェントは、別の内部の顧客ケアUIを使用してLLMベースのQ&Aチャットボットに質問をする（ステップ2）。顧客ケアUIは、リクエストをAWS Fargate上でホストされたサービスバックエンドに送信する（ステップ3）。ここでは、モデルとデータの検索プロセスを組み合わせたRAGプロセスがオーケストレーションされます。このプロセスはLLMベースのチャットボットソリューションの核心であり、その詳細は次のセクションで説明されます。このプロセスの最後に、機械生成された回答がエージェントに返され、エンドカスタマーに提供される前に回答を確認することができます（ステップ4）。エージェントは判断を行い、LLMベースのチャットボットソリューションを彼らの業務を補完するツールとして使用し、顧客との個別の対話に時間を捧げることができるように訓練されています。エージェントはまた、機械生成された回答にフィードバック（例：肯定的または否定的）を付けます。このフィードバックは、Amazon Pharmacyの開発チームによってソリューションの改善（微調整またはデータの改善）に使用され、ユーザーとの製品開発の連続サイクルを形成します（ステップ5）。

• 印象的なパフォーマンス：TensorRT-LLMを使用したRTXで最大4倍高速化された大規模言語モデル（LLM） for Windows
• 「このAIニュースレターはあなたが必要とするもの全てです #69」
• このAI論文では、「MotionDirector」という人工知能アプローチを提案しています：ビデオの動きと外観をカスタマイズするための手法

以下の図は、Q&Aチャットボットとエージェントのインタラクションの例を示しています。ここでは、エージェントがクレーム拒否コードについて質問しています。Q&Aチャットボット（エージェントAIアシスタント）は、拒否コードの明確な説明と、必要に応じてエージェントが追跡するための元のドキュメンテーションへのリンクを提供しています。

MLモデルの開発の加速化

チャットボットのワークフローを描いた前図では、Q&Aチャットボットモデルの初期バージョンをトレーニングする方法の詳細を省略しました。これにより、Amazon Pharmacyの開発チームはSageMaker JumpStartの利用で利点を得ました。 SageMaker JumpStartを使用することで、チームは異なるモデルで簡単に実験し、さまざまなベンチマークやテストを実行し、必要に応じて迅速に失敗できました。失敗を早くするとは、科学者や開発者が可能な限り現実的な解決策を迅速に構築し、その努力から学び、次のイテレーションでさらに改善するという概念です。 チームがモデルを決定し、必要な微調整やカスタマイズを行った後、彼らは< a href = “https://www.voagi.com/code-llama-code-generation-models-from-meta-now-available-on-amazon-sagemaker-jumpstart.html”> SageMakerホスティング を使用してソリューションを展開しました。 SageMaker JumpStartでの基盤モデルの再利用により、開発チームはゼロからモデルをトレーニングするために必要だった数ヶ月の作業を削減することができました。

RAGデザインパターン

ソリューションの中核となる部分の1つは、Q&Aソリューションを実装するためのRetrieval Augmented Generation（RAG）デザインパターンの使用です。このパターンの最初のステップは、既知の質問と回答のセットを識別することであり、これはソリューションの初期の真実の土台となります。次のステップは、類似性と検索の目的で質問をより適切な表現に変換することです。これは埋め込みと呼ばれます（より低次元のハイパープレーンにより高次元のオブジェクトを埋め込みます）。これは、埋め込み固有の基盤モデルを介して行われます。これらの埋め込みは、データベースのインデックスが主キーを行にマッピングするのと同様に、回答にインデックスとして使用されます。これで、顧客からの新しいクエリをサポートする準備が整いました。以前に説明したように、顧客はクエリをエージェントに送信し、その後エージェントがLLMベースのチャットボットと対話します。 Q&Aチャットボット内部では、クエリが埋め込みに変換され、前のステップからのマッチングインデックスとして使用されます。マッチングの基準は、FAISSやAmazon OpenSearch Serviceなどの類似性モデルに基づいています（詳細については、Amazon OpenSearch Serviceのベクトルデータベースの機能の説明を参照）。一致がある場合、トップの回答が取得され、それらが生成モデルのプロンプトコンテキストとして使用されます。これはRAGパターンの2番目のステップに対応します。このステップでは、プロンプトはLLM（生成基盤モデル）に送信され、元の質問に対する最終的な機械生成応答が作成されます。この応答は、顧客ケアのUIを介してエージェントに返され、エージェントは回答を検証し、必要に応じて編集して患者に送り返します。次の図は、このプロセスを示しています。

ナレッジベースの管理

RAGパターンで学んだように、Q&Aを実行する最初のステップは、LLMプロンプトの文脈として使用するデータ（質問と回答のペア）を取得することです。このデータは、チャットボットのナレッジベースと呼ばれます。このデータには、Amazon Pharmacy内の標準的な業務手順（SOP）やAmazon Pharmacyヘルプセンターで利用可能な情報などが含まれます。 （前述のように）インデックス作成と検索プロセスを容易にするために、この情報を、ウィキ、ファイル、データベースなど、さまざまなソリューションに分散してホストされている場合でも、単一のリポジトリに収集することがしばしば有用です。 Amazon Pharmacyチャットボットの特定の場合では、そのためのAmazon Simple Storage Service（Amazon S3）を使用しています。シンプルさと柔軟性のために。

ソリューションの概要

以下の図は、ソリューションアーキテクチャを示しています。カスタマーケアアプリケーションとLLMベースのQ&Aチャットボットは、ネットワークの分離を目的として、それぞれ独自のVPCに展開されています。VPCエンドポイント間の接続は、VPCエンドポイントを介したAWS PrivateLinkによって実現され、プライバシーが保証されています。同様に、Q&Aチャットボットは、セキュリティ、コスト、コンプライアンスの監視のために、役割の分離、分離、および監視の容易さのために、独自のAWSアカウントを持っています。Q&Aチャットボットのオーケストレーションロジックは、Amazon Elastic Container Service (Amazon ECS)を使用したFargateでホストされています。PrivateLinkの設定では、ネットワークロードバランサーがリクエストをアプリケーションロードバランサーにプロキシし、エンドクライアントのTLS接続を停止してリクエストをFargateに引き渡します。主要なストレージサービスはAmazon S3です。先述のように、関連する入力データはQ&Aチャットボットアカウント内に必要な形式でインポートされ、S3バケットに永続化されます。

機械学習（ML）インフラストラクチャに関しては、Amazon SageMakerがアーキテクチャの中心にあります。前のセクションで説明したように、埋め込みモデルとLLMモデルの2つのモデルが使用され、これらは2つの別々のSageMakerエンドポイントにホストされています。SageMakerのデータキャプチャ機能を使用することで、必要なプライバシーやセキュリティの制約のもとですべての推論リクエストとレスポンスをログとして記録することができます。次に、エージェントからのフィードバックは別のS3バケットに保存されます。

Q&Aチャットボットは、マルテナントのソリューションとして設計されており、Amazon Health Servicesのその他のヘルス製品（Amazon Clinicなど）をサポートしています。たとえば、さまざまなナレッジベースを使用するために、AWS CloudFormationテンプレートを使用して展開されます。

結論

この投稿では、Amazon Pharmacyの生成型AIカスタマーケアの技術的なソリューションを紹介しました。このソリューションは、SageMakerでRAG設計パターンを実装した質問応答チャットボットと、SageMaker JumpStartでの基礎モデルから構成されています。このソリューションにより、カスタマーケアエージェントはより迅速に患者を支援し、正確で有益かつ簡潔な回答を提供することができます。

このアーキテクチャでは、ナレッジベースの準備とロード、チャットボット（命令）のロジック、埋め込みインデックスと検索、LLMコンテンツ生成、フィードバック指導など、異なるコンポーネントによるモジュラーなマイクロサービスが使用されています。後者は特にモデルの改善のために重要です。SageMaker JumpStartの基礎モデルは、モデルのサービングにSageMakerエンドポイントを使用して、迅速な実験に使用されます。最後に、HIPAA準拠のチャットボットサーバーはFargate上でホストされます。

まとめると、Amazon Pharmacyは生成型AIとAWSを活用してカスタマーケアを改善し、責任あるAIの原則と実践を優先しています。

今日からSageMaker JumpStartの基礎モデルでの実験を始めて、ユースケースに適した基礎モデルを見つけ、SageMaker上で生成型AIアプリケーションの構築を開始してください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!