「生成AIからの社会的および倫理的リスクの評価」

「生成AIにおける社会的および倫理的リスクの評価」

AIシステムの社会的および倫理的リスクを包括的に評価するためのコンテキストベースのフレームワークの紹介

生成型AIシステムは既に本を執筆したり、グラフィックデザインを作成したり、医療従事者を支援したりするために使用されており、ますます能力を高めています。これらのシステムを責任を持って開発・展開するためには、潜在的な倫理的および社会的リスクを注意深く評価する必要があります。

私たちの新しい論文では、AIシステムの社会的および倫理的リスクを評価するための3層構造のフレームワークを提案しています。このフレームワークには、AIシステムの能力、人間との相互作用、およびシステム全体への影響の評価が含まれます。

また、現在の安全性評価の状況をマッピングし、コンテキスト、具体的なリスク、および多様性の3つの主なギャップを見つけました。これらのギャップを埋めるために、既存の評価手法を生成型AIに再利用したり、私たちのミスインフォメーションのケーススタディのように総合的な評価手法を導入するよう呼びかけます。このアプローチでは、AIシステムが事実に基づかない情報を提供する可能性がどれほどあるかという発見と、人々がそのシステムをどのように使用し、どのような文脈で使用するかという洞察を統合します。マルチレイヤーの評価により、モデルの能力を超えて結論を導き出し、この場合は虚偽情報が実際に発生し広がっているかどうかを示すことができます。

どんな技術も意図どおりに機能するためには、社会的な課題と技術的な課題の両方が解決される必要があります。したがって、AIシステムの安全性をより良く評価するためには、これらの異なるコンテキストのレイヤーが考慮される必要があります。ここでは、大規模な言語モデルの潜在的なリスク（プライバシー漏洩、仕事の自動化、誤情報など）を特定し、これらのリスクを包括的に評価する方法を提案しています。

• 研究者がCODES＋ISSS最優秀論文賞を受賞しました
• スタンフォード、NVIDIA、およびUT Austinの研究者は、クロスエピソードカリキュラム（CEC）と呼ばれる新しい人工知能アルゴリズムを提案しましたこれにより、トランスフォーマーエージェントの学習効率と汎化能力が向上します
• シンガポール国立大学の研究者たちは、ピクセルベースと潜在ベースのVDMを結びつけたハイブリッド人工知能モデルであるShow-1を提案しますこれはテキストからビデオを生成するものです

AIリスク評価におけるコンテキストの重要性

AIシステムの能力は、発生する可能性のある広範なリスクの種類についての重要な示唆です。例えば、事実に基づかない情報や誤解をもたらしやすいAIシステムは、誤情報のリスクを作り出し、公衆の信頼不足などの問題を引き起こす可能性がより高いです。

これらの能力を測定することは、AIの安全性評価の一環ですが、これだけではAIシステムが安全であることを保証することはできません。 downstreamの被害が発生するかどうか（例えば、不正確なモデルの出力に基づいて人々が誤った信念を持つかどうか）は、コンテキストに依存します。より具体的には、AIシステムを使用する人々は誰であり、どのような目標を持って使用するのか？ AIシステムは意図した通りに機能していますか？予期しない外部影響は生じていますか？これらのすべての質問は、AIシステムの安全性の総合的評価に寄与します。

能力の評価を超えて、私たちは下流のリスクが明示される2つの追加ポイントを評価することを提案しています：使用時の人間との相互作用、AIシステムがより広範なシステムに組み込まれ、広範に展開される際のシステム全体への影響。これらのレイヤーを横断して害のリスクを評価することで、AIシステムの安全性の包括的評価が可能になります。

安全性評価は共同の責任です

AI開発者は、自社の技術が責任を持って開発・リリースされることを確保する必要があります。政府などの公的な立場の者は、公共の安全性を維持する責任があります。生成型AIシステムがますます幅広く使用され、展開されていく中で、その安全性は複数の当事者間で共有される責任です：‍

• AI開発者は、彼らが生み出すシステムの能力を研究するのに最適な位置にいます。
• アプリケーション開発者と指定された公共機関は、異なる機能やアプリケーションの機能性、および異なるユーザーグループへの可能な外部性を評価するために最適な位置にいます。
• 広範な公共の利害関係者は、創発的AIなどの新しいテクノロジーの社会的、経済的、環境的な影響を予測・評価するために特別な位置にいます。

提案されたフレームワークにおける3つの評価レイヤーは、完全に分かれているのではなく、程度の問題です。これらのいずれも単一のアクターの完全な責任ではありませんが、主な責任は各レイヤーで評価を実施する最適な位置にある人に依存します。

Generative Multimodal AIの現在の安全評価の欠点

AIシステムの安全性を評価するためのこの追加の文脈の重要性を考慮すると、そのようなテストの利用可能性を理解することが重要です。より広範な景色を把握するために、私たちは可能な限り広範な評価を総合し、創発的AIシステムに適用された評価を集約するための努力を行いました。

創発的AIの安全性評価の現状をマッピングすることで、以下の3つの主な安全性評価の欠点が明らかになりました：

1. 文脈：ほとんどの安全性評価は、創発的AIシステムの能力を単体で考慮しています。人間の相互作用やシステムへの潜在的なリスクを評価するための研究は比較的少ないです。
2. リスク特定の評価：創発的AIシステムの能力評価は、カバーするリスク領域が限られています。多くのリスク領域については、ほとんど評価が存在しません。評価が存在する場合でも、しばしばハームを狭義に定義しています。例えば、表現のハームは通常、職業と異なる性別へのステレオタイプ的な関連付けと定義されており、他のハームのインスタンスやリスク領域は検出されていません。
3. マルチモダリティ：既存の創発的AIシステムの安全評価のほとんどはテキスト出力に焦点を当てていますが、画像、音声、またはビデオのモダリティでのハームリスクの評価には依然として大きなギャップがあります。AIシステムが入力として画像を取り、音声、テキスト、ビデオを組み合わせた出力を生成できるシステムなど、単一のモデルで複数のモダリティが導入されるにつれて、このギャップはますます広がっています。一部のテキストベースの評価は他のモダリティにも適用できますが、新しいモダリティはリスクが顕在化する新しい方法を導入します。例えば、動物の説明自体は有害ではありませんが、それを人の画像に適用すると有害になります。

私たちは、創発的AIシステムの安全評価に関する出版物へのリンクのリストを、このリポジトリを通じて公開アクセス可能にしています。貢献をご希望の場合は、このフォームを記入して評価を追加してください。

より包括的な評価を実践する

創発的AIシステムは、新しいアプリケーションやイノベーションを支えています。これらのシステムからの潜在的なリスクが理解され、緩和されるためには、これらのシステムがどのように使用され、社会に組み込まれるかを考慮した、厳格かつ包括的なAIシステムの安全性評価が急務です。

実践的な最初のステップは、既存の評価を再利用し、大規模モデル自体を評価に活用することですが、これには重要な制約があります。より包括的な評価を行うためには、人間の相互作用の点やシステムへの影響の点でAIシステムを評価するアプローチを開発する必要もあります。たとえば、創発的AIを通じてのデマの拡散は最近の問題ですが、信頼性や公信力を評価するための既存の方法は多くあります。

幅広く使用されている生成型AIシステムの安全性は、共有の責任であり、優先事項です。AI開発者、公的な関係者、および他の関係者は、安全なAIシステムのための繁栄し、堅牢な評価エコシステムを共同で構築する必要があります。

arXivでの私たちの論文を読む：https://arxiv.org/abs/2310.11986

Sociotechnical Evaluations Repositoryにアクセスする：https://dpmd.ai/46CPd58

Sociotechnical Evaluations Repositoryへの貢献：https://docs.google.com/forms/d/e/1FAIpQLSddpgbOQusru0Kvhq7eAXR0yWnBVioE0SUPX-C_RMwclldOrw/viewform?resourcekey=0-aLrlwk9nVVurJPmtncsC2g

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!