カスタムレンズを使用して、優れたアーキテクチャのIDPソリューションを構築する – パート5：コスト最適化

「カスタムレンズを使って、優れたアーキテクチャのIDPソリューションを構築する方法 - パート5：コスト最適化」

クラウドでプロダクションレディなソリューションを構築するには、リソース、時間、顧客の期待、ビジネスの結果との間でトレードオフを行う必要があります。 AWS Well-Architected Frameworkは、AWS上でのワークロード構築時に行う意思決定の利点とリスクを理解するのに役立ちます。

インテリジェントドキュメント処理（IDP）プロジェクトでは、通常、光学文字認識（OCR）と自然言語処理（NLP）を組み合わせてドキュメントを読み取り、特定の用語や単語を抽出します。 IDP Well-Architectedカスタムレンズでは、AWS Well-Architectedレビューの実施手順を概説し、IDPワークロードのリスクを評価および特定するのに役立ちます。また、一般的な課題に取り組むためのガイダンスも提供し、最適なプラクティスに基づいてIDPワークロードを設計することができます。

この記事では、IDPソリューションのコスト最適化の柱に焦点を当てています。コスト最適化されたワークロードは、全てのリソースを最大限に活用し、最も低い価格で結果を達成し、機能要件を満たします。まず、コスト最適化の柱と設計原則について紹介し、次に財務管理、リソース提供、データ管理、コストモニタリングの4つの重点領域に詳しく取り組みます。この記事を読むことで、IDPケーススタディを通じてWell-Architected Frameworkのコスト最適化の柱について学ぶことができます。

設計原則

コスト最適化は、ワークロードのライフサイクル全体での継続的な改善と洗練のプロセスです。この記事のプラクティスは、コスト意識のあるIDPワークロードを構築および運用し、コストを最小限に抑えながら経済効果を最大化するために役立ちます。

• 自分自身のレンズでウェルアーキテクチャなIDPソリューションを構築する – パート6：持続可能性
• 「カスタムレンズを使用して、よく設計されたIDPソリューションを構築する-パート4パフォーマンス効率性」
• 「カスタムレンズを使用して、信頼性のあるよく設計されたIDPソリューションを構築する」シリーズの第3部：信頼性

以下の原則を心に留めて、ベストプラクティスを考慮しましょう：

• クラウドの財務管理を実施する – IDPソリューションでの財務的な成功とビジネス価値の実現を達成するためには、クラウドの財務管理に投資する必要があります。新しい技術と使用管理の領域での能力構築のため、組織は必要な時間とリソースを割かなければなりません。
• テクノロジーと財務のパートナーシップを育成する – IDPソリューションの構築およびクラウドの旅路の各段階で、財務と技術のチームをコストと使用に関する議論に関与させましょう。チームは定期的に会議を開き、IDPソリューションの組織の目標と目標、コストと使用の現状、財務および会計のプラクティスなどのトピックを議論します。
• 消費モデルを採用し、動的に調整する – コスト意識を持ってリソースを提供し、データを管理し、プロジェクトの段階と環境を時間の経過とともにコスト最適化します。消費したリソースのみを支払い、ビジネス要件に応じて使用量を増減させます。たとえば、IDPソリューションの開発およびテスト環境は通常、週の労働日の8時間のみ使用されます。週に40時間の労働時間以外の時間では、開発およびテスト環境リソースを使用しないことにより、連続して168時間実行する場合と比較して、コストを75%削減することができます。
• 支出をモニター、割り当て、分析する – ワークロードのビジネスアウトプットと納品に関連するコストを測定します。このデータを使用して、IDPワークフローによる出力、機能の向上、コストの削減からの利益を理解します。AWSは、Amazon CloudWatch、タグ、AWS CloudTrailなどのツールを提供しており、ワークロードのコストと使用量を正確に特定するために利用し、投資収益率（ROI）を測定するためにリソースを活用し、ワークロードオーナーがリソースを最適化してコストを削減できるようにします。

重点領域

コスト最適化の柱の設計原則とベストプラクティスは、当社の顧客とIDP技術スペシャリストのコミュニティから得た洞察に基づいています。これらを設計の意思決定のためのガイダンスとサポートとして活用し、IDPソリューションのビジネス要件との整合性を図りましょう。IDP Well-Architectedカスタムレンズを適用することで、IDPソリューションの耐障害性と効率性を検証し、特定の問題点に対応するための推奨事項を取得できます。

クラウドの使用時に、財務チームがクラウドの使用料金のために独自に財務計画を実施して、技術的な複雑さにより中断されたケースに出くわすことがあるかもしれません。また、サービスのプロビジョニング時にリソースとデータ管理を無視する可能性もあり、それにより請求に予期しないコストが発生することもあります。この投稿では、IDPソリューションのコスト最適化のためのガイドラインを提供し、高額な費用をかけずにこれらの教訓を学ぶ必要がないようにサポートします。以下に、クラウド上のIDPソリューションのコスト最適化のための4つのベストプラクティスエリアを示します：財務管理、リソースのプロビジョニング、データ管理、コストの監視。

財務管理

コスト最適化の責任を担うチームを設置することは、クラウドテクノロジーの成功にとって重要です。IDPソリューションの構築においても同様です。組織内の技術と財務の関連チームは、IDPソリューションの構築とクラウドの旅に沿って、コストと使用料の議論に参加する必要があります。以下に、専門のクラウド財務管理チームを設立するためのいくつかの主要な実施手順を示します：

• キーメンバーを定義する – 組織の関連部門がコスト管理に寄与し、利益を得るようにする必要があります。最も重要なのは、財務と技術の間のコラボレーションを確立することです。以下の一般的なグループを考慮し、財務およびビジネス領域の専門知識を持つメンバーおよびテクノロジー領域の知識を統合できるメンバーを含めることで、より良い財務管理のための知識を総合させるようにしてください：
  • 財務リーダー – CFO、財務コントローラ、財務プランナー、ビジネスアナリスト、調達、調達、および支払勘定は、クラウドモデルの消費、購入オプション、および月次請求プロセスを理解する必要があります。財務部門はビジネスチームが技術支出とビジネス成果の関連性を理解するのを支援するためにテクノロジーチームと協力する必要があります。
  • テクノロジーリーダー – テクノロジーリーダー（製品およびアプリケーション所有者を含む）は、予算制約などの財務要件、およびサービスレベル契約などのビジネス要件に精通している必要があります。これにより、組織の目標を達成するためにワークロードを実装することができます。
• 目標とメトリクスを定義する – この機能は、さまざまな方法で組織に価値を提供する必要があります。これらの目標は定義され、組織が進化するにつれて絶えず進化します。この機能は組織のコスト最適化能力について定期的に報告する必要もあります。
• 定期的なカデンスを確立する – グループは定期的に集まり、目標とメトリクスを見直すべきです。一般的なカデンスでは、組織の状態、現在実行中のプログラムやサービス、および全体的な財務および最適化メトリクスを見直します。

リソースのプロビジョニング

IDPソリューションの一部としてのAWSサービスのさまざまな構成と価格モデルを考慮して、必要なリソースをプロビジョニングし、ビジネス要件や開発段階に合わせてプロビジョニングを調整する必要があります。さらに、AWSが提供する無料サービスを活用して全体的なコストを削減するようにしてください。IDPソリューションのリソースをプロビジョニングする際には、以下のベストプラクティスを考慮してください：

• 非同期推論または同期推論の選択 – 単一のドキュメントのリアルタイム処理には同期推論を採用する必要があります。大規模なドキュメントや複数のドキュメントを一括で分析する場合は、非同期ジョブを選択する必要があります。非同期ジョブは大規模なバッチをより費用効果良く処理します。
• Amazon Comprehendエンドポイントの推論ユニットの管理 – 必要に応じて、エンドポイントのスループットを調整できます。これはエンドポイントの推論ユニット（IU）を更新することによって実現できます。エンドポイントを長期間アクティブに使用しない場合は、コストを削減するために自動スケーリングポリシーを設定する必要があります。エンドポイントを使用しなくなった場合は、追加のコストを発生させないためにエンドポイントを削除できます。
• Amazon SageMakerエンドポイントの管理 – 推論タイプの選択とエンドポイントの実行時間管理を目指す組織についても同様です。オープンソースモデルをAmazon SageMakerに展開できます。SageMakerはさまざまなモデル推論オプションを提供しており、使用されていないエンドポイントを削除したり、モデルエンドポイントのコストを削減するために自動スケーリングポリシーを設定したりすることができます。

データ管理

データは、IDPソリューション全体で重要な役割を果たします。初期の取り込みから始まり、データは異なる処理段階を経て、最終的にエンドユーザーに出力されます。データ管理の選択がIDPソリューション全体のコストにどのような影響を与えるかを理解することは重要です。以下のベストプラクティスを考慮してください：

• Amazon S3 Intelligent-Tieringの採用 – Amazon S3 Intelligent-Tieringストレージクラスは、アクセスパターンが変更されると最も費用効果の高いアクセス層にデータを自動的に移動し、運用オーバーヘッドやパフォーマンスへの影響なしに、Amazon Simple Storage Service（Amazon S3）でストレージコストを最適化するために設計されています。S3 Intelligent-Tieringへのデータの移動方法には、以下の2つの方法があります：
  • x-amz-storage-classヘッダーでINTELLIGENT_TIERINGを指定して、直接S3 Intelligent-TieringにデータをPUTします。
  • S3 Lifecycle設定を定義して、S3 StandardまたはS3 Standard-Infrequent AccessからS3 Intelligent-Tieringにオブジェクトを移行します。
• IDPワークフロー全体でデータ保持ポリシーを強制する – S3バケットでS3 Lifecycle設定を使用して、オブジェクトのライフサイクル中にAmazon S3が実行するアクションおよびオブジェクトのライフサイクルの終了時の削除を、ビジネス要件に基づいて定義および実装します。
• 特定のFeatureType処理のためにドキュメントを単一のページに分割する – FeatureTypeは、Amazon TextractのDocument Analysis API呼び出し（両方の同期および非同期）のパラメータです。現時点では、次の値が含まれます：TABLES、FORMS、QUERIES、SIGNATURES、LAYOUT。Amazon Textractは、ページと画像の処理数に基づいて料金を請求します。すべてのページには必要な情報が含まれているわけではありません。ドキュメントを単一のページに分割し、必要なFeatureTypeを持つページに焦点を当てることで、不要な処理を回避し、全体的なコストを削減することができます。

ここまで、IDPソリューションの実装と展開に関するベストプラクティスについて説明しました。IDPソリューションが展開され、本番で使用できる状態になったら、コストモニタリングは直接コストを観察し制御する重要な領域となります。次のセクションでは、IDPソリューションでのコストモニタリングを最適に実行する方法について説明します。

コストモニタリング

コストの最適化は、コストと使用状況の詳細な理解、将来の支出、使用状況、機能のモデリングおよび予測の能力、およびコストと使用状況を組織の目標に合わせるための十分なメカニズムの実装から始まります。IDPソリューションのコストの最適化を向上させるためには、以下のベストプラクティスに従ってください。

IDPワークフローのライフサイクルのためのコストモニタリングの設計

リソースとそのIDPシステムとの関連をライフサイクル全体で追跡する方法を定義および実装します。リソースのワークロードまたは機能を識別するために、タグ付けを使用できます：

• タグ付けスキームの実装 – ワークロードに属するリソースを識別するタグ付けスキームを実装し、ワークロード内のすべてのリソースが適切にタグ付けされていることを検証します。タグ付けは、目的、チーム、環境、またはビジネスに関連する他の基準によってリソースを分類するのに役立ちます。タグ付けの使用事例、戦略、およびテクニックの詳細については、AWSリソースのタグ付けのベストプラクティスを参照してください。
  • サービスレベルでのタグ付けにより、コストのより詳細なモニタリングと制御が可能になります。たとえば、IDPワークフローの中でAmazon Comprehendを使用する場合、Amazon Comprehendの解析ジョブ、カスタム分類モデル、カスタムエンティティ認識モデル、エンドポイントにタグを使用して、Amazon Comprehendのリソースを組織化し、タグベースのコストモニタリングと制御を提供できます。
  • サービスレベルでのタグ付けが適用できない場合、コスト配分レポートのために他のリソースに移動することができます。たとえば、Amazon Textractは1ページごとに料金が発生するため、コスト計算のためにAmazon Textractへの同期API呼び出しの数を追跡できます（各同期API呼び出しはドキュメントの1ページにマップされます）。大きなドキュメントを持ち、非同期APIを利用したい場合は、オープンソースのライブラリを使用してページ数を数えるか、またはAmazon Athenaを使用してCloudTrailログから情報を抽出するためにクエリを記述し、コストトラッキングにページ情報を抽出することができます。
• ワークロードのスループットまたは出力のモニタリングの実装 – 入力リクエストまたは出力完了時に開始するワークロードのスループットモニタリングまたはアラームの実装。ワークロードのリクエストや出力がゼロになると通知を提供するように構成します。ワークロードが通常の条件下で定期的にゼロになる場合は、時間要素を組み込んでください。
• AWSリソースをグループ化する – AWSリソースのグループを作成します。同じリージョンにあるAWSリソースを整理管理するためにAWSリソースグループを使用できます。リソースにタグを追加して、組織内でリソースを特定してソートするために使用できます。サポートされているリソースにタグを一括で
  

  モニタリングツールを使用する

  AWSは、IDPソリューションのコストと使用状況を監視するためのさまざまなツールとリソースを提供しています。以下は、コストの監視と制御に役立つAWSのツールのリストです：

  • AWS Budgets – ワークロードのすべてのアカウントでAWS Budgetsを設定します。全体のアカウント支出の予算とタグを使用してワークロードのための予算を設定します。 AWS Budgetsで通知を設定して、予算超過や予算を超える見積もりコストのアラートを受け取ることができます。
  • AWS Cost Explorer – ワークロードとアカウントのためにAWS Cost Explorerを設定します。コストデータを視覚的に分析するためのダッシュボードを作成します。ワークロードの全体の支出、ワークロードの主要な使用メトリック、および過去のコストデータに基づく将来のコストの予測を追跡するダッシュボードを作成します。
  • AWS Cost Anomaly Detection – アカウント、コアサービス、または作成したコストカテゴリのAWS Cost Anomaly Detectionを利用して、コストと使用状況を監視し、異常な支出を検出します。集計レポートまたはメール、Amazon Simple Notification Service（Amazon SNS）トピック単位でアラートを受け取ることができるため、異常の原因を分析し、コスト増加の要因を特定することができます。
  • 高度なツール – オプションで、組織のためにカスタムツールを作成し、詳細と細かさを提供することもできます。Athenaを使用して高度な分析機能を実装し、Amazon QuickSightを使用してダッシュボードを作成することができます。あらかじめ設定された高度なダッシュボードにはCloud Intelligence Dashboardsを使用することも検討してください。また、AWSパートナーと連携し、クラウドビルのモニタリングと最適化を1つの便利な場所で活性化するために彼らのクラウド管理ソリューションを採用することもできます。

  コストの割り当てと分析

  コストの分類は、予算編成、会計、財務報告、意思決定、ベンチマーキング、プロジェクト管理において重要なプロセスです。経費を分類してカテゴリ別に分類することで、チームはクラウドの進化に伴う予測可能なコストの理解を得ることができ、情報をもとに意思決定を行い、予算を効果的に管理することができます。IDPソリューションのコストの割り当てと分析を向上させるために、次のベストプラクティスに従ってください：

  • 組織のカテゴリの定義 – 関係者と会合を持ち、組織の構造と要件を反映したカテゴリを定義します。これらは、ビジネスユニット、予算、コストセンター、または部門などの既存の財務カテゴリの構造に直接マッピングされます。
  • 機能カテゴリの定義 – 関係者と会合を持ち、ビジネス内の機能を反映したカテゴリを定義します。これはIDPのワークロードやアプリケーション名、およびプロダクション、テスト、開発などの環境のタイプを指す場合があります。
  • AWSコストカテゴリの定義 – コストと使用状況情報を整理するために、コストカテゴリを作成することができます。意味のあるカテゴリにAWSのコストと使用状況をマッピングするためにAWSコストカテゴリを使用します。コストカテゴリを使用することで、ルールベースのエンジンを使用してコストを整理することができます。

  結論

  この記事では、IDPワークフローのコスト最適化に関する設計原則、焦点の領域、およびベストプラクティスを共有しました。

  IDP Well-Architectedカスタムレンズについて詳しくは、次のシリーズの投稿をご覧ください： Build well-architected IDP solutions with a custom lens – Part 1: オペレーションの優れた品質 Build well-architected IDP solutions with a custom lens – Part 2: セキュリティ [Build well-architected IDP solutions with a custom lens – Part 3: 信頼性](https://aws.amazon.com/blogs/machine-learning/build-w ell-architected-idp-solutions-with-a-custom-lens-part-3-reliability/) – Build well-architected IDP solutions with a custom lens – Part 4: パフォーマンス効率 – Build well-architected IDP solutions with a custom lens – Part 5: コスト最適化 – Build well-architected IDP solutions with a custom lens – Part 6: 持続可能性

  AWSはIDP Well-Architected Lensを生きたツールとして確約しています。IDPソリューションと関連するAWS AIサービスが進化し、新しいAWSサービスが利用可能になるにつれて、IDP Well-Architected Lensも更新されます。

  AWSでIDPを始めるには、AWS上のIntelligent Document Processingのガイダンスを参照して、自身のIDPアプリケーションの設計と構築を行ってください。データの取り込み、分類、抽出、充実、検証と確認、利用にわたるエンドツーエンドのソリューションについては、AWS AIサービスによるIntelligent Document Processing：パート1とパート2を参照してください。さらに、Amazon Textract、Amazon Bedrock、およびLangChainを使用したIntelligent Document Processingでは、大規模言語モデル（LLMs）を使用して新しいまたは既存のIDPアーキテクチャを拡張する方法について説明しています。そこでは、Amazon TextractをLangChainとドキュメントローダーとして統合し、ドキュメントからデータを抽出するためにAmazon Bedrockを使用し、さまざまなIDPフェーズ内で生成的AI機能を使用する方法が説明されています。

  追加の専門ガイダンスが必要な場合は、AWSアカウントチームに連絡してIDPの専門ソリューションアーキテクトを交えて相談してください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!