公正を実現する：生成モデルにおけるバイアスの認識と解消

Promoting Fairness Recognizing and Resolving Bias in Generative Models.

AIの日常生活への統合により、バイアスのあるモデルはユーザーに対して重大な影響を及ぼす可能性があります

2021年、プリンストン大学の情報技術ポリシーセンターは、機械学習アルゴリズムが人間と同様のバイアスを訓練データから取り込むことがあるという報告書を公表しました。この効果の顕著な例として、AmazonのAI採用ツールに関する研究があります[1]。このツールは、前年にAmazonに提出された履歴書を訓練データとして使用し、異なる候補者のランク付けを行っていました。過去10年間のテックポジションにおける性別の不均衡のため、アルゴリズムは女性に関連する言語（女性のスポーツチームなど）を学習し、そのような履歴書のランクを下げるようになりました。この例は、公正かつ正確なモデルだけでなく、訓練中のバイアスを排除するためのデータセットの必要性を強調しています。ChatGPTなどの生成モデルの急速な開発とAIの日常生活への統合の現在の状況では、バイアスのあるモデルが重大な影響を及ぼし、ユーザーの信頼と世界的な受け入れを損なう可能性があります。したがって、これらのバイアスに対処することは、ビジネスの観点から必要であり、データサイエンティスト（広義の定義で）はそれらを緩和し、自分たちの原則と一致させるためにそれらに注意を払う必要があります。

生成モデルにおけるバイアスの例

広く使用されている生成モデルの最初のタスクの1つは翻訳です。ユーザーは言語Aでテキストを入力し、言語Bでの翻訳を期待します。異なる言語は同じタイプの性別に基づく代名詞を必ずしも使用しません。たとえば、英語では「The senator」は女性または男性のいずれかであり、フランス語では「La senatrice」または「Le senateur」となります。文中で性別が指定されている場合でも、生成モデルは翻訳中に性別の役割に関するステレオタイプを強化することがよくあります。

翻訳タスクと同様に、キャプション生成タスクでは、モデルが画像からテキストへの翻訳を生成する必要があります。最近の研究[2]は、Common Objects in Contextデータセット上のキャプション生成タスク（以下の図）で生成トランスフォーマーモデルのパフォーマンスを分析しました。

この生成モデルは、一部の画像には当てはまらないにもかかわらず、キャプションにさまざまな人種と文化の説明を割り当てました。これらの記述は新しい生成モデルだけが学習したものであり、これらのモデルではバイアスが増加しています。なお、このデータセットではトランスフォーマーモデルはジェンダーバイアスも示しており、たとえば、家や部屋の背景に応じて人物を女性として識別することで男性/女性の不均衡比を悪化させています。

• データモデリングの成功を解き放つ：3つの必須のコンテキストテーブル
• AWSとPower BIを使用して、米国のフライトを調査する
• 日本の介護施設はビッグデータを活用して介護士の支援を強化し、業務負担を軽減しています

なぜバイアスが発生するのか？

生成モデルの概念段階では、モデル内でバイアスが発生する余地がたくさんあります。それらはデータ自体、ラベルや注釈、内部表現、さらにはモデル自体から生じる可能性があります（テキストから画像へのモデルに焦点を当てた詳細なリストについては、https://huggingface.co/blog/ethics-soc-4を参照してください）。

生成モデルの訓練に必要なデータは、通常オンラインの多くのソースから取得されます。AI企業は、訓練データの信頼性を確保するために、よく知られたニュースウェブサイトや類似のものを使用してデータベースを構築することがよくあります。このデータセットで訓練されたモデルは、考慮される制限的な人口統計（通常は白人の中年の上層中流階級）によってバイアスのある関連性を持ち続けるでしょう。

ラベルバイアス（https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3994857/）は、通常は無意識にラベルデータに導入されるため、バイアスが導入される結果として、より明示的かもしれません。生成モデルは、トレーニングデータセットを再生/近似するようにトレーニングされるため、ラベルのバイアスはモデルの出力表現に劇的な影響を与えます。幸いなことに、複数のバージョンのラベルを使用し、それらを相互チェックすることで、バイアスを軽減することができます。

内部表現バイアスとモデルバイアスという最後の2つのバイアスのタイプは、モデリングの特定のステップから生じます。最初のものは、前処理ステージで導入され、手動またはアルゴリズムによるものです。このステージはバイアスを取り込みやすく、元のデータセットが多様性に欠ける場合には文化的なニュアンスの喪失も起こります。モデルのバイアスは、差別的な特徴に基づいた目的関数と、モデルの精度を向上させるためのバイアスの増幅に単純に由来します。

生成モデルにおけるバイアスの検出

この記事では、生成モデルのバイアスはさまざまな形式と状況で観察されます。それを検出するための方法は、検出しようとしているバイアスと同様に多様でなければなりません。

言語モデルにおけるバイアスの主な指標の1つは、単語埋め込み関連性テストです。このスコアは、2つの単語の集合間の埋め込み空間（内部表現）内での類似性を測定します。高いスコアは強い関連性を示します。具体的には、ターゲットとして[home、family]、入力として[he、man] / [she、woman]などの2つの入力セットとの類似性の差を計算します。スコアが0の場合、完全にバランスの取れたモデルを示します。このメトリックは、RoBERTaが最もバイアスのある生成モデルの1つであることを示すために使用されました（https://arxiv.org/pdf/2106.13219.pdf）。

生成モデルにおけるバイアス、特にジェンダーバイアスを測定する革新的な方法は、単語のジェンダーを交換し、予測の正確性の変化を観察することです。修正後の正確性と元の正確性が異なる場合、入力のジェンダーに関係なく正確性が維持されるバイアスのない生成モデルの存在を示します。この測定の主な欠点は、ジェンダーバイアスのみを捉え、バイアスの源を完全に評価するために他の測定と補完する必要があることです。同様の考え方で、バイリンガル評価アンダースタディ（古典的な翻訳測定）を使用して、ジェンダーを交換した入力からの出力と元の出力の間の類似性を比較することができます。

現在の生成モデルは、出力を予測するために「アテンション」と呼ばれる特徴を使用したトランスフォーマーモデルに基づいています。研究では、モデルから直接注意スコアを使用してジェンダーと役割の関係を調査しました（https://arxiv.org/abs/2110.15733）。これにより、モデルの異なる部分を相互に比較して、どのモジュールがバイアスに最も貢献しているかを検出することができます。この測定によって、生成モデルがWikipediaのデータセットにジェンダーバイアスを導入することが示されましたが、この測定の欠点は、注意値が直接的な効果や概念間の類似性を表しておらず、結論を導くために徹底した分析が必要であることです。

生成モデルにおけるバイアスを克服する方法

研究者によって開発されたさまざまな技術が、バイアスの少ない生成システムを提供するために開発されています。これらの技術のほとんどは、モデリングに追加のステップ（前の情報に基づいてジェンダーを固定する制御変数の設定や、文脈情報を提供する別のモデルの追加など）で構成されています。ただし、これらのステップのすべてが、本質的にバイアスのあるデータセットの使用に対処しているわけではありません。さらに、ほとんどの生成モデルは英語のトレーニングデータに基づいているため、これらのモデルの多様性を制約する要因となっています。

生成モデルにおけるバイアスを完全に克服するには、複数の言語でモデルをテストおよび評価するための形式的なフレームワークとベンチマークの確立が必要です。これにより、多様なAIモデルに微妙な方法で存在するバイアスを検出することができます。

参考文献

• Amazon scraps secret AI recruiting tool that showed bias against women, Jeffrey Dastin , https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G
• Understanding and Evaluating Racial Biases in Image Captioning, Dora Zhao, Angelina Wang, Olga Russakovsky, https://arxiv.org/pdf/2106.08503.pdf

データサイエンスに関するコンテンツをもっと読むために、VoAGIでフォローしてください！

このようなストーリーを楽しんで読んで、私をサポートしてくれるライターとしてサポートしたい場合は、VoAGIメンバーになるためにサインアップを検討してください。月額$5で、VoAGIのストーリーに無制限アクセスできます。私のリンクを使用してサインアップすると、私に少額の手数料が支払われます。

私の紹介リンクでVoAGIに参加する – Kevin Berlemont、博士

VoAGIメンバーとして、あなたの会費の一部はあなたが読む作家に支払われ、すべてのストーリーに完全なアクセスが得られます…

VoAGI.com

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!