Google Researchにおける責任あるAI：パーセプションの公平性

Google Researchの責任あるAI：公平なパーセプション

Google ResearchのPerception Fairnessチームの共同リーダーであるSusanna RiccoとUtsav Prabhuが投稿しました。

Googleの責任あるAI研究は、異なるバックグラウンドと専門知識を持つチーム間、研究者と製品開発者間、そして最終的には広範なコミュニティとの協力の基盤の上に築かれています。パーセプションフェアネスチームは、コンピュータビジョンと機械学習（ML）のフェアネスに関する深い専門知識と、Googleをはじめとする製品にパワーを与える知覚システムを構築する研究者との直接的なつながりを組み合わせることで進歩を推進しています。私たちはGoogleのAI原則に基づいて、システムを包括的に設計するために協力して取り組んでいます。

パーセプションフェアネス研究は、Googleの製品をパワーにする最新の基盤と生成モデルを含む高度なマルチモーダルモデルの設計、開発、展開にわたります。

私たちのチームのミッションは、特に基盤モデルと生成AIに関連するマルチモーダルMLシステムにおける公平性と包括性のフロンティアを推進することです。これには、分類、ローカリゼーション、キャプション付け、検索、ビジュアルな質問応答、テキストから画像またはビデオの生成、生成画像とビデオの編集などの中核技術コンポーネントが含まれます。私たちは、これらのアプリケーションにおいて公平性と包括性を最優先のパフォーマンス目標とすることができると信じています。私たちの研究は、開発サイクル全体でこれらの目標を積極的に設計するための新しい分析と緩和策を開放することに焦点を当てています。私たちは、次のような核心の問いに答えます：MLをどのように使用して、人種、文化、社会的アイデンティティの人々の知覚を責任を持ってモデル化し、公平性と包括性を促進することができるのか？どのようなシステムのバイアス（例：特定の肌の色の人物の画像でのパフォーマンスの低下）を計測することができ、これらの指標を使用してより良いアルゴリズムを設計することができるのか？より包括的なアルゴリズムとシステムを構築し、障害が発生した場合に迅速に対応するにはどうすればよいのか？

メディアにおける人々の表現の測定

画像やビデオを編集、キュレーション、または作成することができるMLシステムは、世界中の視聴者の信念を形成または強化することができます。これには、ステレオタイプの強化、人々のグループの傷つけや消去などの表現上の害を減らすための研究は、コンテンツと社会的な文脈の両方を深く理解することにかかっています。これは、異なる観察者が自分自身や自分のコミュニティをどのように捉え、他者がどのように表現されているかにかかっています。責任を持って行われるべき社会的カテゴリの研究とその方法については、この分野で大いに議論があります。私たちの研究は、社会学と社会心理学に基づき、人間の知覚に合致し、問題の主観性を受け入れ、微妙な測定と緩和を可能にするスケーラブルなソリューションに向けて取り組んでいます。例として、私たちはMonk Skin Toneスケールを使用した画像の肌のトーンの人間の知覚と注釈の違いに関する研究を行っています。

• Googleの研究者たちは、RO-ViTを紹介しますこれは、オープンボキャブラリー検出の改善のため、リージョンに意識を向けた方法でビジョントランスフォーマーを事前トレーニングするためのシンプルなAI手法です
• 「Google DeepMindの研究者が、チェスの課題に取り組むためのAIの多様性の力を明らかにする：計算問題解決における次の飛躍、AZ_dbの紹介」
• ウィスコンシン大学マディソン校の研究者たちは、「エベントフルトランスフォーマー：最小限の精度損失でコスト効果のあるビデオ認識手法」というタイトルで、イベントフルトランスフォーマーに基づくビデオ認識の費用対効果の高い手法を提案しています

私たちのツールは、大規模なコンテンツコレクションにおける表現を研究するためにも使用されています。Media Understanding for Social Exploration（MUSE）プロジェクトを通じて、私たちは学術研究者、非営利団体、主要な消費者ブランドと提携して、主流メディアや広告コンテンツのパターンを理解しています。この研究は、2017年に最初に発表され、ハリウッド映画のジェンダー平等を分析した共著研究で始まりました。それ以来、私たちは分析のスケールと深さを増してきました。2019年には、270万本以上のYouTube広告に基づく調査結果を公開しました。最新の研究では、12年以上にわたる人気のある米国のテレビ番組における知覚される性別プレゼンテーション、知覚される年齢、肌のトーンの交差点での表現を調査しています。これらの研究は、コンテンツクリエーターや広告主に洞察を提供し、私たち自身の研究をさらに進めています。

メディアコレクションにおける表現パターンを明らかにするためにスケールで分析できるコンピュータシグナルのイラスト（実際のデータではありません）。[ビデオコレクション/ゲッティイメージズ]

進んでいくにつれて、私たちはMLの公平性に焦点を当てる概念と、それが責任を持って適用される領域を拡大しています。人々の写真の写実的なイメージを超えて、私たちはイラストや抽象的な人型のキャラクターの表現をモデル化するツールの開発に取り組んでいます。さらに、人間の姿が全くない画像さえも含めて、コミュニティや文化の表現をモデル化するツールを開発しています。最後に、描かれているのは誰だけでなく、それらがどのように描かれているかについても考える必要があります。周囲の画像コンテンツ、関連するテキスト、そして広範な文化的文脈を通じて伝えられる物語は何かを推論する必要があります。

知覚システムのバイアス特性の分析

高度なMLシステムの構築は複雑であり、製品の動作を決定するさまざまな利害関係者が情報を提供しています。全体的な品質は、ユーザーエクスペリエンスのプロキシとしてテストデータセット上の要約統計（全体的な正確度など）を使用してこれまでに定義され、測定されてきました。しかし、すべてのユーザーが同じ方法で製品を経験するわけではありません。

知覚の公平性は、要約統計を超えた微妙なシステムの振る舞いの実測を可能にし、これらの指標をシステムの品質に直接関連付けて製品の動作とローンチの意思決定に重要な役割を果たします。これは思っているよりもはるかに難しいことです。複雑なバイアスの問題（例：交差するサブグループ間のパフォーマンスの不均衡やステレオタイプの強化のインスタンス）を重要なニュアンスを失うことなく、わずかな数の指標に凝縮することは非常に困難です。また、公平性の指標と他の製品の指標（ユーザー満足度、正確性、レイテンシなど）の相互作用のバランスを取ることも課題です。これらはしばしば相反するとされながらも互換性があるとされるものです。広範なユーザーの満足度は、公平性と包含の目標を達成することに一致しているにもかかわらず、研究者が自分の仕事を「正確性と公平性のトレードオフの最適化」と表現するのは一般的です。

私たちは、Open Imagesの一部としてMIAPデータセットを構築し、複雑なシステムの社会的に関連する概念の知覚とバイアスの検出の研究を活用して、コンピュータビジョンにおけるMLの公平性研究を推進するリソースを作成しました。オリジナルの写真クレジット – 左：ボストン公共図書館；中央：ジェン・ロビンソン；右：ガリン・フォンス；すべてCC- BY 2.0ライセンスの許可のもとで使用されています。

このため、私たちのチームは2つの幅広い研究方向に焦点を当てています。まず第一に、理解されていて広く適用可能な公平性分析ツールへのアクセスの民主化、パートナー組織の製品ワークフローへの採用、および結果の解釈に関する会社全体のリーダーシップへの情報提供を行っています。この取り組みには、広範なベンチマークの開発、広く有用な高品質のテストデータセットと、スライス解析や因果推論テストなどの手法を中心としたツールの整備が含まれます。これらは、以前に説明されたコアの表現信号の作業に基づいて構築されることが多いです。第二に、公平性分析に向けた新しいアプローチの推進 – 製品の取り組みと連携して画期的な発見やローンチ戦略の情報提供が生じることがあります。

責任を持ってAIを進化させる

私たちの仕事はモデルの振る舞いを分析することで終わりません。むしろ、これを基盤として、他の研究者やエンジニアと協力してアルゴリズムの改善を特定します。過去1年間で、Google PhotosのSearchやMemoriesの機能を強化するアップグレードコンポーネントをローンチしました。これにより、より一貫したパフォーマンスが実現され、ミスがシステム全体に連鎖的に広がることが防がれました。Google Imagesのランキングアルゴリズムを改善するために取り組んでいます。私たちは、歴史的なステレオタイプを強化する可能性のあるアルゴリズムを、追加の信号を責任を持って使用することで、検索結果で誰もが自分自身を反映させ、求めているものを見つけやすくするように更新しました。

この取り組みは、生成AIの世界にも自然に応用されます。モデルは、画像やテキストのプロンプトからシードされた画像やビデオのコレクションを作成し、画像やビデオに関する質問に答えることができます。これらの技術の可能性には興奮しており、ユーザーに新しい体験を提供するためのツールとして、また私たち自身の研究を推進するためのツールとしての可能性にも期待しています。これを実現するために、研究と責任あるAIコミュニティを横断して協力し、失敗モードを軽減するためのガードレールを開発しています。私たちは、表現の理解のためのツールを活用して、人間のフィードバックと組み合わせることができるスケーラブルなベンチマークを開発し、事前学習から展開までの研究に投資し、モデルがより高品質で包括的で制御可能な出力を生成するように誘導していきます。私たちは、これらのモデルが人々にインスピレーションを与え、多様な出力を生み出し、トロープやステレオタイプに頼らずに概念を翻訳し、プロンプトの相反するバリエーション全体で一貫した振る舞いと応答を提供することを望んでいます。

機会と進行中の仕事

知覚公平性技術の領域は、10年以上の集中的な取り組みにも関わらず、まだ未熟で急成長している空間のように思われます。この領域には、突破的な技術の機会があります。私たちは、学際的な学問に裏打ちされた技術的な進歩への貢献の機会を引き続き見つけています。画像で測定できる情報と人間のアイデンティティや表現の基本的な側面との間には大きなギャップがあります。このギャップを埋めるには、ますます複雑なメディア分析ソリューションが必要です。真の表現を示すデータメトリクスは、適切な文脈において多様な視点を考慮し、私たちにとっては未解決の課題です。微妙なステレオタイプの描写を確実に識別し、絶えず変化する社会を反映するためにそれらを更新し、攻撃的となりうる状況を識別できるようになることができるでしょうか？人間のフィードバックによって推進されたアルゴリズムの進歩は、有望な進むべき道を指し示しています。

近年、現代の大規模モデル開発の文脈でのAIの安全性と倫理への関心が高まり、システムバイアスの測定についての新たな考え方が生まれました。私たちは、これらのモデルを使用するための複数の手段を探求しており、最新の概念ベースの説明可能性手法、因果推論手法、最先端のUX研究といった新しい開発を活用して、望ましくないバイアス行動を定量化し、最小化することを目指しています。私たちは、これからの課題に取り組み、すべての人に対応した技術の開発に取り組むことを楽しみにしています。

謝辞

知覚公平性チームのすべてのメンバーと、すべての協力者に感謝します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!