「AIシステムのリスク評価方法を学びましょう」

「AIシステムのリスク評価方法を理解しましょう」

人工知能（AI）は急速に進化している分野であり、社会の多くの側面を改善し変革する潜在能力を持っています。2023年になり、AI技術の採用スピードは、強力な基礎モデル（FMs）の開発と生成型AI能力の向上によりさらに加速しました。

当社のAmazonでは、Amazon BedrockやAmazon CodeWhispererなどの生成型AIサービスを展開し、Amazon SageMaker JumpStartを通じて高性能な生成型モデルを幅広く提供しています。これらのサービスは、クリエイティビティの向上、個別化とダイナミックなコンテンツ作成、革新的なデザインなど、生成型AIの新たな能力を引き出すために設計されています。また、これらは言語の壁、気候変動、科学的な発見の加速などの対応を通じて、AIの実践者がこれまでにない形で世界を理解することも可能にします。

しかし、生成型AIの可能性を十分に実現するためには、潜在的なリスクについて慎重に考えることが重要です。まず最も重要なのは、AIシステムの利害関係者に対して責任ある安全な開発と展開を促進し、潜在的な影響に対応するための予防策の採用を推進することによって利益をもたらすことです。そのため、リスクの評価と管理の仕組みを確立することは、AIの実践者にとって考慮すべき重要なプロセスとなり、多くの新興AI業界基準（例：ISO 42001、ISO 23894、およびNIST RMF）や法制度（例：EU AI Act）の中核を成しています。

この記事では、AIシステムの潜在的なリスクをどのように評価するかについて説明します。

• 「このAI論文は、超人的な数学システムの追求において、認知科学と機械学習の融合を探る」という記事です
• 「NVIDIAは、最大級のAmazon Titan Foundationモデルのトレーニングを支援しています」
• NVIDIAのGPUはAWS上でOmniverse Isaac Simにおいて2倍のシミュレーションの進化を提供し、スマートなロボットの加速を実現します

異なるリスクレベルとは何ですか？

個別の機械学習（ML）モデルとそれに関連するリスクを分離して考えることが容易かもしれませんが、完全なAIシステムの一部としての該当モデルの具体的な適用とそれに対応するユースケースの詳細を考慮することが重要です。実際、典型的なAIシステムは複数の異なるMLモデルが連携して構築されており、組織は複数の異なるAIシステムを構築しようとしているかもしれません。そのため、リスクは各ユースケースおよび異なるレベルで評価することができます。モデルリスク、AIシステムリスク、および企業リスクがそれに該当します。

企業リスクには、財務、業務、戦略的なリスクを含む組織が直面するリスクの広範なスペクトルが含まれます。AIシステムリスクは、AIシステムの実装と運用に関連する影響に焦点を当てていますが、MLモデルリスクは、MLモデルに固有の脆弱性と不確定性に関連しています。

この記事では主にAIシステムリスクに焦点を当てますが、組織内のすべてのリスク管理の異なるレベルを考慮し、調整することが重要であることを念頭に置いてください。

AIシステムリスクはどのように定義されますか？

AIシステムの文脈におけるリスク管理は、不確実性や潜在的な負の影響を最小限に抑え、同時にポジティブな影響を最大化する機会を提供するための手段です。リスク自体は潜在的な損害ではなく、不確実性が目標に与える影響の効果です。NISTリスク管理フレームワーク（NIST RMF）によれば、リスクは、イベントが発生する確率とそれに対応する結果の重要度の乗算された尺度として推定することができます。

リスクには2つの側面があります。固有リスクと残存リスクです。固有リスクは、緩和策や制御を考慮しないAIシステムのリスクの度合いを表します。残存リスクは、緩和策を考慮した後の残るリスクを捉えます。

常にリスク評価は組織全体の取り組みを必要とする人間中心の活動であり、製品、エンジニアリング、科学、営業、セキュリティチームなどの関係者全員が評価プロセスに参加することや、社会的な観点や規範が特定のイベントの発生の可能性や結果に与える影響をどのように作用させるかの評価など、広範な取り組みが必要です。

なぜ組織はリスク評価に関心を払う必要があるのか？

AIシステムのリスク管理フレームワークを確立することは、AIシステムの安全で責任ある設計、開発、運用を促進することにより、社会全体に利益をもたらすことがあります。リスク管理フレームワークは、以下の点で組織にも利益をもたらすことができます：

• 意思決定の改善 – AIシステムのリスクを理解することで、組織はそれらのリスクを軽減する方法やAIシステムを安全かつ責任ある方法で使用する方法について、より良い意思決定をすることができます。
• コンプライアンス計画の強化 – リスク評価フレームワークは、関連する法律や規制におけるリスク評価の要件に備えるために組織を支援することができます。
• 信頼の構築 – AIシステムのリスクを軽減するための対策を講じていることを示すことで、組織は顧客や関係者に対して、AIを安全かつ責任ある方法で使用することにコミットしていることを示すことができます。

リスクの評価方法

まず最初のステップとして、組織は評価する必要のあるAIユースケースを記述し、関係者を特定する必要があります。ユースケースとは、ユーザーが特定の目標を達成するためにAIシステムとのやり取りを行う具体的なシナリオや状況のことです。ユースケースの記述時には、解決されるビジネスの課題を明確にすること、関与する関係者をリストアップすること、ワークフローを特定すること、およびシステムの主要な入力と出力に関する詳細を提供することが役立つ場合があります。

関係者については、見落とすことがあります。次の図は、AIステークホルダーの役割をマッピングするための出発点となります。

出典：「情報技術 – 人工知能 – 人工知能の概念と用語」。

AIシステムのリスク評価の重要な次のステップは、ユースケースに関連する潜在的に有害なイベントを特定することです。これらのイベントを考慮する際には、公平性や堅牢性などの責任あるAIの異なる側面について考えると役に立つ場合があります。異なる関係者は、異なる側面において異なる程度で影響を受ける可能性があります。たとえば、エンドユーザーにとっての低い堅牢性リスクは、AIシステムがわずかな障害を引き起こすことによって生じるかもしれません。一方、低い公平性リスクは、AIシステムが異なる人口集団に対して無視できるほど異なる出力を生成することによって引き起こされる可能性があります。

イベントのリスクを推定するために、発生確率を測定するための確率尺度と結果の程度を測るための深刻度尺度を組み合わせて使用することができます。これらの尺度を開発する際の有益な出発点はNIST RMFです。NIST RMFは、非定量的な定性的なカテゴリ（非常に低いリスクから非常に高いリスクまで）やスケール（1から10などのスケール）、ビン、その他の代表的な数を使用することを提案しています。すべての関連する側面に対して確率尺度と深刻度尺度を定義した後は、リスクマトリックススキームを使用して、各関係者ごとに関連する各側面の全体的なリスクを定量化することができます。次の図は、例としてリスクマトリックスを示しています。

このリスクマトリックスを使用すると、低い深刻度とまれな発生確率を持つイベントを非常に低いリスクと考えることができます。なお、初期評価は固有リスクの推定であり、リスク軽減戦略はリスクレベルをさらに下げるのに役立ちます。プロセスはそれから残された残存リスクごとに評価を生成するために繰り返すことができます。同じ次元に沿って複数のイベントが特定される場合、最も高いリスクレベルを選ぶことで最終評価の要約を作成するのに役立ちます。

最終評価の要約を使用して、組織はAIシステムに対して受け入れ可能なリスクレベルを定義し、関連する規制とポリシーを考慮する必要があります。

AWSの取り組み

私たちは、ホワイトハウスや国連などとの取り組みを通じて、AIの責任ある安全な利用を進めるための知識と専門知識を共有することに取り組んでいます。このような取り組みの一環として、AmazonのAdam Selipskyは最近AIセーフティサミットに出席し、国家元首や業界リーダーと共にAWSを代表し、人工知能の責任ある進歩に対する私たちの貢献をさらに示しています。

結論

AIの進化に伴い、組織が責任を持ってAIを構築・展開するためにリスク評価がますます重要で役立つものとなっています。リスク評価のフレームワークとリスク軽減計画を確立することで、組織は潜在的なAI関連のインシデントのリスクを減らし、顧客との信頼関係を築くことができます。また、信頼性の向上や様々な人口集団に対する公正性の向上などの恩恵を受けることもできます。

自分の組織においてリスク評価フレームワークの開発の旅に着手し、コメントで意見を共有してみましょう。

また、Amazon Scienceに掲載された生成型AIリスクの概要：生成型時代の責任あるAIや、リスク評価と軽減の旅をサポートするAWSのサービスの範囲をご覧ください：Amazon SageMaker Clarify、Amazon SageMaker Model Monitor、AWS CloudTrail、さらにモデルガバナンスフレームワークなどもご確認ください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!