「AIの責任ある適用を促進するための社会的なコンテキスト知識の活用」

Utilizing social contextual knowledge to promote responsible application of AI.

Google Researchの社会的な文脈理解ツールとソリューション（SCOUTS）の責任者であるテクニカルプログラムマネージャーのDonald Martin、Jr.による投稿

AI関連の製品や技術は、社会的な文脈の中で構築および展開されます。つまり、社会的、文化的、歴史的、政治的、経済的な状況の集合体です。社会的な文脈は、動的で複雑で非線形で論争の余地があり、主観的で非常に質的な要素を含むため、標準的な機械学習（ML）アプローチや責任あるAI製品開発の手法やプラクティスにおいて、量的な表現に変換することは困難です。

AI製品開発の最初のフェーズは、問題理解です。このフェーズは、問題（例：がんスクリーニングの可用性と精度の向上）がMLシステムが解決するためにどのように定式化されるか、またデータセットやMLアーキテクチャの選択など他の多くの下流の意思決定にも強力な影響を与えます。製品が動作する社会的な文脈が十分に明確にされず、堅牢な問題理解に結びつかない場合、結果として得られるMLソリューションは脆弱であり、不公平なバイアスをさらに広げる可能性があります。

AI製品開発者が開発中に社会的な文脈を効果的に理解し、考慮するための知識とツールにアクセスできない場合、彼らはそれを抽象化してしまう傾向があります。この抽象化によって、彼らは解決しようとする問題の浅い量的な理解を得る一方で、製品の利用者や社会の利害関係者は、それと同じ問題の深い質的な理解を持っています。製品利用者と社会が開発者から分かれるこの質的-量的の相違を、私たちは問題理解の隔たりと呼んでいます。

• フェイブルスタジオは、TV番組の完全に新しいエピソードを書き、制作し、監督し、アニメーション化し、さらには声を担当できるAIプラットフォームであるSHOW-1をリリースしました
• 「Appleの次の動き：『Apple GPT』の開発と最先端の生成型AIツールの開発によるOpenAIへの挑戦」
• 生産性のパラノイアを打破する：Microsoft 365コパイロットには賛成ですか？

この隔たりは現実世界に影響を及ぼします。例えば、最も複雑な医療ニーズを持つ患者を特別プログラムに選択する問題を解決するために設計された広く使用されている医療アルゴリズムで発見された人種的バイアスの根本原因でした。アルゴリズムが動作する社会的な文脈の理解が不十分だったため、システム設計者は主要な問題要因について正確で過度に単純化された因果理論を形成しました。医療へのアクセスの不足、医療システムへの信頼の欠如、人間のバイアスによる診断の欠落などの重要な社会構造的要因は無視され、医療費の費用負担が複雑な健康ニーズの予測因子として強調されました。

問題理解の隔たりを責任を持って埋めるために、AI製品開発者は、複雑な社会問題に関する社会的な文脈の信頼性のある構造化された知識を指先で利用できるツールが必要です。これは問題理解から始まり、製品開発のライフサイクル全体で継続的に活用されます。この目的のために、Google Researchの責任あるAIと人間中心のテクノロジー（RAI-HCT）チームの一環として、社会的な文脈理解ツールとソリューション（SCOUTS）は「責任を持って、堅牢なAIを実現し、世界で最も複雑な社会問題を解決するために必要なスケーラブルかつ信頼性のある社会的な文脈の知識を人々に提供する」という使命に注力する研究チームです。SCOUTSは、社会的な文脈を明確にするという重要な課題に取り組み、革新的な基礎研究と応用研究を行い、構造化された社会的な文脈の知識を生み出し、AI関連の製品開発ライフサイクルのすべてのフェーズに統合しています。昨年、Googleのオープンな社会への脅威に対する解決策を開拓する技術を構築するためのインキュベータであるJigsawが、広く使用されているPerspective APIの毒性分類器のバイアス緩和を規模化するために、私たちの構造化された社会的な文脈の知識アプローチをデータの準備および評価フェーズで活用したことを発表しました。今後、SCOUTSの研究の焦点は、AI関連の製品開発の問題理解のフェーズに置かれ、問題理解の隔たりを埋めることを目指しています。

AIの問題理解の隔たりを埋める

AIの問題理解の隔たりを埋めるには、2つの重要な要素が必要です。1つは、構造化された社会的な文脈の知識を整理するための参照フレーム、もう1つは、複雑な問題に関するコミュニティの専門知識を引き出し、構造化知識として表現するための参加型で抽出的でない方法です。SCOUTSは、両方の領域で革新的な研究を発表しています。

問題理解の隔たりのイラスト。

社会的な文脈の参照フレーム

構造化知識を生成するための重要な要素は、それを整理するための分類法です。SCOUTSは、他のRAI-HCTチーム（TasC、Impact Lab）、Google DeepMind、および外部のシステムダイナミクスの専門家と協力して、社会的な文脈のための分類的な参照フレームを開発しました。複雑で動的で適応的な社会的な文脈に対処するために、私たちは複雑な適応システム（CAS）理論を活用し、社会的な文脈の知識を整理するための高レベルの分類モデルを提案しています。このモデルでは、社会的な文脈の3つのキーエレメントとそれらを結びつけるダイナミックなフィードバックループを特定しています:エージェント、プリセプト、およびアーティファクトです。

• エージェント：個人または機関のことです。
• プリセプト：エージェントの行動を制約し、推進する先入観（信念、価値観、ステレオタイプ、バイアスなど）です。基本的なプリセプトの例は、「すべてのバスケットボール選手は身長が6フィート以上ある」というものです。この制限的な仮定は、小柄なバスケットボール選手を特定する際の失敗につながる可能性があります。
• アーティファクト：エージェントの行動によって言語、データ、テクノロジー、社会的な問題や製品などさまざまな種類のアーティファクトが生成されます。

これらのエンティティ間の関係は動的で複雑です。私たちの仕事は、前提が社会的文脈の最も重要な要素であり、人々が認識する問題とそれらの問題が存在する理由についての因果関係の理論が特に影響力のある前提であり、社会的文脈を理解するための核心であることを示唆しています。たとえば、先に説明した医療アルゴリズムにおける人種的偏見の場合、デザイナーが持っていた因果関係の理論的前提は、複雑な健康問題がすべての人口において医療費を増加させるというものでした。この誤った前提は、モデルが複雑な医療ニーズを予測するためのプロキシ変数として医療費を選択することに直接的につながりました。そして、それはさらに、社会的な要因（例えば医療へのアクセスの不足やバイアスによる診断の不足など）により、ブラックの患者は複雑な医療ニーズがある場合に常により多くの医療費を費やすわけではないため、モデルがブラックの患者に対して偏見を持つことにつながりました。重要なオープンな問題は、不平等の問題に最も近い人々やコミュニティから因果関係の理論を倫理的かつ公平にどのように引き出し、有用な構造化された知識に変換することができるかということです。

社会的文脈の参照フレームのイラスト版。

社会的文脈の参照フレームの分類版。

コミュニティと協力してAIを医療に責任ある形で活用する

SCOUTSは設立以来、歴史的に弱者とされてきたコミュニティに能力を構築するために、コミュニティベースのシステムダイナミクス（CBSD）というプラクティスを用いて、彼らにとって重要な複雑な問題の社会的文脈を明らかにする取り組みを行ってきました。システムダイナミクス（SD）は、因果関係の理論を、因果関係のループとストック・フローダイアグラム（CLDとSFD）として質的に、およびシミュレーションモデルとして定量的に表現するための方法論です。視覚的な質的ツール、定量的な手法、協力的なモデル構築のサポートが組み合わさった特性により、問題の理解の溝を埋める理想的な要素となっています。CBSDは、直接的な中間者なしで、コミュニティ内で容易に問題を説明し、モデル化するための、コミュニティベースの参加型SDの一種です。CBSDでは、コミュニティグループが基本を学び、2時間以内にCLDを描き始める様子を目撃しています。

Data 4 Black Livesのコミュニティメンバーがシステムダイナミクスを学んでいます。

AIは医療診断の向上に巨大な潜在能力を持っています。しかし、AI関連の健康診断アルゴリズムの安全性、公平性、信頼性は、多様でバランスの取れたトレーニングデータセットに依存しています。健康診断の分野におけるオープンな課題は、歴史的に軽視されてきたグループからのトレーニングサンプルデータが不足していることです。SCOUTSは、Data 4 Black LivesコミュニティとCBSDの専門家と協力して、データギャップの問題に対する定性的および定量的な因果関係の理論を作成しました。これらの理論には、健康診断を取り巻く広範な社会的文脈を構成する重要な要素が含まれており、それには死の文化的記憶や医療ケアへの信頼も含まれています。

下の図は、上記の協力によって生成された因果関係理論をCLDとして示しています。この図では、医療ケアへの信頼がこの複雑なシステムのすべての部分に影響を与え、データの多様性のギャップを埋めるためのスクリーニングを増加させるための主要なレバーであると仮説を立てています。

健康診断データギャップの因果ループダイアグラム

これらのコミュニティによる因果関係理論は、信頼性のある社会的文脈知識で問題理解のギャップを埋めるための第一歩です。

結論

このブログで議論されたように、問題理解のギャップは、責任あるAIにおける重要なオープンな課題です。SCOUTSは、Google Research内の他のチーム、外部コミュニティ、および学術パートナーとの協力により、探索的および応用研究を行い、その解決に向けて意義のある進展を遂げています。今後の取り組みは、AIの原則に基づいて、次の3つの要素に焦点を当てます：

1. トーク、出版物、トレーニングを通じて、問題理解のギャップとその影響についての認識と理解を高める。
2. AI製品開発のツールやワークフローに社会的文脈知識を表現および統合するための基礎的および応用研究を実施し、概念からモニタリング、評価、適応までをカバーする。
3. コミュニティベースの因果モデリング手法をAI健康格差の領域に適用し、責任あるAIを実現するための影響力を発揮し、グローバルスケールの社会的文脈知識を生み出し、利用するための社会とGoogleの能力を構築する。

問題理解のギャップを埋めるためのSCOUTSのフライホイール。

謝辞

グラフィックス開発のジョン・ギリヤードさん、SCOUTSの皆さん、そして協力者やスポンサーの皆さんに感謝いたします。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!