「カスタムレンズを使用して、よく設計されたIDPソリューションを構築する-パート4パフォーマンス効率性」

「カスタムレンズを使用し、効率的なIDPソリューションを構築する方法-パート4 パフォーマンスの向上」

お客様が本番用のインテリジェントドキュメント処理（IDP）ワークロードを持っている場合、よくWell-Architectedレビューの依頼があります。エンタープライズソリューションを構築するには、開発リソース、コスト、時間、およびユーザーエクスペリエンスをバランスさせる必要があります。 AWS Well-Architectedフレームワークは、組織がクラウド内で信頼性の高い、安全な、効率的でコスト効果の高い、持続可能なワークロードを設計および運用するための操作的およびアーキテクチャのベストプラクティスを学ぶための体系的な方法を提供します。

IDP Well-Architectedカスタムレンズは、AWS Well-Architectedフレームワークに従い、特定のAIまたは機械学習（ML）のユースケースの細分化でソリューションをレビューし、一般的な課題に取り組むためのガイダンスを提供します。 Well-ArchitectedツールのIDP Well-Architectedカスタムレンズには、各柱に関する質問が含まれています。これらの質問に答えることで、潜在的なリスクを特定し、改善計画に従って解決することができます。

この記事では、IDPワークロードのパフォーマンス効率柱に焦点を当てています。スループット、レイテンシ、および全体的なパフォーマンスを最適化するためのソリューションの設計と実装について詳しく説明します。まず、Well-Architectedレビューを実施するべき一般的な指標について説明し、設計原則を紹介します。その後、各フォーカスエリアを技術的な観点から詳しく説明します。

この記事を読み進めるためには、このシリーズの以前の記事（Part 1およびPart 2）とAWS上でのインテリジェントドキュメント処理のガイダンスについてのガイドラインに精通している必要があります。これらのリソースでは、IDPワークロードに適した一般的なAWSサービスと推奨されるワークフローについて紹介されています。この知識を持っていると、ワークロードの本番化についてさらに学ぶ準備が整いました。

• 「カスタムレンズを使用して、信頼性のあるよく設計されたIDPソリューションを構築する」シリーズの第3部：信頼性
• カスタムレンズを使用してウェルアーキテクチュアIDPソリューションを構築する – パート2：セキュリティ
• 「Amazon SageMaker JumpStart、Llama 2、およびAmazon OpenSearch Serverless with Vector Engineを使用して、金融サービス向けのコンテキスト重視のチャットボットを構築する」

一般的な指標

以下は、パフォーマンス効率柱のWell-Architectedフレームワークレビューを実施するべき一般的な指標です：

• レイテンシが高い – 光学文字認識（OCR）、エンティティ認識、またはエンドツーエンドのワークフローのレイテンシが以前のベンチマークよりも長くかかる場合、アーキテクチャの設計が負荷テストやエラーハンドリングをカバーしていない可能性があることを示しています。
• 頻繁なスロットリング – Amazon TextractなどのAWSサービスによるスロットリングが生じる場合、アーキテクチャのワークフロー、同期および非同期の実装、秒間トランザクション数（TPS）の計算などが見直される必要があります。
• デバッグの難しさ – ドキュメント処理の失敗が発生した場合、エラーの発生場所、関連するサービス、および失敗の原因を特定する効果的な方法がない場合、システムにはログと失敗への可視性が不足している可能性があります。テレメトリデータのログ設計を見直したり、ドキュメント処理パイプラインなどのインフラストラクチャコード（IaC）をソリューションに追加するなどして、ログと失敗への可視性を改善することを検討してください。

指標	説明	アーキテクチャのギャップ
レイテンシが高い	OCR、エンティティ認識、またはエンドツーエンドのワークフローレイテンシが以前のベンチマークを超える	負荷テスト エラーハンドリング
頻繁なスロットリング	Amazon TextractなどのAWSサービスによるスロットリング	同期 vs 非同期 TPSの計算
デバッグが難しい	ドキュメント処理の失敗の場所、原因、理由が特定できない	ログ設計 ドキュメント処理パイプライン

デザイン原則

この記事では、3つのデザイン原則について説明します。複雑なAIタスクの委任、IaCアーキテクチャ、およびサーバーレスアーキテクチャです。2つの実装のトレードオフに遭遇した場合、ビジネスの優先事項とデザイン原則を見直し、効果的な意思決定を行うことができます。

• 複雑なAIタスクの委任 – AWSが提供するモデル開発とインフラストラクチャを活用することで、組織内でのAIの採用を促進することができます。データサイエンスチームやITチームがAIモデルの構築とメンテナンスを行う必要がなくなり、あなた自身のためにタスクを自動化できる事前学習済みのAIサービスを使用することができます。これにより、クラウドプロバイダがAIモデルのトレーニング、展開、スケーリングの複雑さを処理する一方で、チームはビジネスを差別化するためのより高価値な作業に集中することができます。
• IaCアーキテクチャ – IDPソリューションを実行する際は、エンドツーエンドのワークフローを実行するために複数のAIサービスが含まれています。AWS Step Functionsを使用してワークフローパイプラインを設計することで、耐障害性、並列処理、可視性、スケーラビリティを向上させることができます。これにより、基礎となるAIサービスの使用量とコストを最適化することができます。
• サーバーレスアーキテクチャ – IDPは通常、ユーザーのアップロードやスケジュールされたジョブによってイベント駆動型のソリューションです。AIサービス、AWS Lambda、および関連する他のサービスの呼び出し速度を増やすことによって、ソリューションを水平方向にスケーリングすることができます。サーバーレスアプローチにより、リソースを過剰に供給することなく拡張性を提供し、不必要な費用を抑えることができます。サーバーレスデザインの背後にあるモニタリングは、パフォーマンスの問題を検出するのに役立ちます。

図1。デザイン原則の適用時の利点。

これらの3つのデザイン原則を念頭に置くことで、組織はクラウドプラットフォーム上でのAI/MLの採用のための効果的な基盤を築くことができます。複雑さの委任、強靱なインフラストラクチャの実装、スケーラビリティに対応した設計により、組織はAI/MLソリューションを最適化することができます。

次のセクションでは、技術的な焦点領域に関連する一般的な課題の対処方法について説明します。

焦点領域

パフォーマンス効率を見直す際に、私たちはアーキテクチャ設計、データ管理、エラーハンドリング、システムモニタリング、モデルモニタリングの5つの焦点領域からソリューションを確認します。これらの焦点領域を使って、データ、モデル、またはビジネスの目標の3つのコンポーネントの効果性、可観測性、およびスケーラビリティを向上させるために、アーキテクチャのレビューを実施することができます。

アーキテクチャ設計

この焦点領域の質問に沿って、既存のワークフローがベストプラクティスに従っているかどうかを確認します。提案されたワークフローは、データのキャプチャ、分類、抽出、エンリッチメント、レビューと検証、および消費の6つのステージに従います。前述した一般的な指標のうち、3つのうち2つはアーキテクチャ設計の問題に由来しています。これは、試行錯誤のコストが発生することなくインフラストラクチャをソリューションに合わせようとする際に、プロジェクトの制約に直面する場合があるためです。アーキテクチャ設計のレビューにより、即興的な設計をステージごとに分離し、各ステージを再評価および再順序付けすることができます。

ワークフローに分類を実装することで、時間、費用、労力を節約することができます。これにより、ドキュメントがドキュメントタイプに基づいて下流のアプリケーションやAPIに移動することができ、ドキュメントプロセスの可観測性が向上し、新しいドキュメントタイプを追加する際のメンテナンスが容易になります。

データ管理

IDPソリューションのパフォーマンスには、レイテンシ、スループット、エンドユーザーエクスペリエンスが含まれます。ソリューションでドキュメントとその抽出情報をどのように管理するかは、データの一貫性、セキュリティ、プライバシーのキーとなります。また、ソリューションは低レイテンシと高スループットで高容量のデータを処理する必要があります。

このフォーカスエリアの質問を通じて、文書のワークフローを確認します。これにはデータの取り込み、データの前処理、文書をAmazon Textractで受け入れ可能なドキュメントタイプに変換する、着信文書ストリームの処理、タイプ別に文書をルーティングする、アクセス制御と保持ポリシーの実装が含まれます。

たとえば、文書を異なる処理フェーズに保存することで、必要に応じて前のステップに戻すことができます。データライフサイクルにより、ワークロードの信頼性と準拠性が保たれます。 Amazon Textractサービスクオータ計算機（以下のスクリーンショットを参照）や、Amazon Textract、Lambda、Step Functions、Amazon Simple Queue Service（Amazon SQS）、Amazon Simple Notification Service（Amazon SNS）の非同期機能を使用することで、組織は特定のワークロードのニーズに合わせて文書処理タスクを自動化してスケーリングすることができます。

図2. Amazon Textractサービスクオータ計算機。

エラー処理

頑強なエラー処理は、文書のプロセス状態を追跡し、予期しないドキュメントのボリューム、新しいドキュメントタイプ、またはサードパーティのサービスからのその他の予期しない問題などの異常な動作に対して、オペレーションチームが対応する時間を提供します。組織の観点から見ると、適切なエラー処理はシステムの稼働時間とパフォーマンスを向上させることができます。

エラー処理を2つの主要な側面に分けることができます：

• AWSサービスの設定 – スロットリングなどの一時的なエラーを処理するために、指数バックオフを伴う再試行ロジックを実装することができます。 StartDocumentTextDetectionのような非同期のStart*操作を呼び出して処理を開始する際に、NotificationChannelの構成でリクエストの完了ステータスをSNSトピックに公開することができます。これにより、Get* APIのポーリングによるAPI呼び出しのスロットリング制限を回避することができます。 Amazon CloudWatchでアラームを実装し、異常なエラースパイクが発生した場合にアラートをトリガーすることもできます。
• エラーレポートの強化 – これには、エラータイプごとの適切な詳細レベルの詳細メッセージやエラーハンドリング応答の説明が含まれます。適切なエラーハンドリングの設定を行うことで、システムは間欠的なエラーの自動リトライ、カスケード障害を処理するためのサーキットブレーカの使用、エラーに対する洞察を得るためのモニタリングサービスの実装など、一般的なパターンを実装してより強力になります。これにより、ソリューションはリトライ回数のバランスを取り、終わりのないサーキットループを防止します。

モデルの監視

MLモデルのパフォーマンスは時間とともに劣化の監視が行われます。データやシステムの状況が変化するにつれて、モデルのパフォーマンスと効率の指標は追跡され、必要に応じて再トレーニングが行われます。

IDPワークフローのMLモデルはOCRモデル、エンティティ認識モデル、または分類モデルである場合があります。モデルはAWS AIサービス、Amazon SageMakerのオープンソースモデル、Amazon Bedrock、または他のサードパーティのサービスから提供される場合があります。各サービスの制限とユースケースを理解し、人間のフィードバックを使用してモデルを改善し、時間の経過とともにサービスのパフォーマンスを向上させる方法を特定する必要があります。

一般的なアプローチは、異なる精度レベルを理解するためにサービスログを使用することです。これらのログは、データサイエンスチームがモデルの再トレーニングの必要性を特定し理解するのに役立ちます。組織は、再トレーニングのメカニズムを選択することができます。四半期ごと、月ごと、または精度が特定の閾値を下回った場合など、科学的な指標に基づいて行うことができます。

モニタリングの目的は、問題を検出するだけでなく、モデルを継続的に改良し、外部環境の変化に応じてIDPソリューションをパフォーマンス維持することです。

システムの監視

IDPソリューションを本番環境に展開した後は、重要なメトリクスと自動化のパフォーマンスを監視し、改善の余地を特定することが重要です。メトリクスにはビジネスメトリクスとテクニカルメトリクスが含まれるべきです。これにより、会社はシステムのパフォーマンスを評価し、問題を特定し、モデル、ルール、ワークフローを時間をかけて改善することで、自動化率を向上させ、オペレーションの影響を把握することができます。

ビジネス側では、重要なフィールドの抽出精度、人の介入なしに処理された文書のパーセンテージを示す総合自動化率、文書ごとの平均処理時間などのメトリクスが重要です。これらのビジネスメトリクスは、エンドユーザーの体験とオペレーションの効率向上を定量化するのに役立ちます。

テクニカルメトリクスには、ワークフロー全体で発生するエラーや例外の発生率などがエンジニアリングの観点から追跡するために不可欠です。テクニカルメトリクスはエンドからエンドまでの各レベルでモニタリングすることもでき、複雑なワークロードの包括的なビューを提供します。これらのメトリクスをソリューションレベル、エンドツーエンドのワークフローレベル、ドキュメントタイプレベル、ドキュメントレベル、エンティティ認識レベル、OCRレベルなどの異なるレベルに分解することができます。

この柱のすべての質問を確認したので、他の柱を評価し、IDPワークロードの改善計画を立てることができます。

結論

この投稿では、IDPワークロードのパフォーマンス効率の柱についてWell-Architected Frameworkのレビューを実施する必要がある場合の一般的な指標について説明しました。次に、高レベルの概要とソリューションの目標についてデザイン原則を説明しました。IDP Well-Architectedカスタムレンズを参照しながら、焦点エリアごとの質問を見直すことで、プロジェクトの改善計画ができるはずです。

IDP Well-Architectedカスタムレンズの詳細については、このシリーズの次の投稿をご覧ください： カスタムレンズを使用した効果的なIDPソリューションの作成-パート1：オペレーショナルエクセレンス カスタムレンズを使用した安全なIDPソリューションの作成-パート2：セキュリティ [カスタムレンズを使用したよく設計されたIDPソリューションの作成-パート3: 信頼性](https://aws.amazon.com/blogs/machine-learning/build-w ell-architected-idp-solutions-with-a-custom-lens-part-3-reliability/) – カスタムレンズを使用したよく設計されたIDPソリューションの作成-パート4：パフォーマンス効率 – カスタムレンズを使用したよく設計されたIDPソリューションの作成-パート5：コスト最適化 – カスタムレンズを使用したよく設計されたIDPソリューションの作成-パート6：サステイナビリティ

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!