「女性はどこにいるのか？」

女性の位置は？

大規模言語モデルの歴史的知識におけるバイアスの探索

ChatGPTなどの大規模言語モデル(LLMs)は、教育やプロフェッショナルな環境でますます使用されています。これらのモデルを既存のアプリケーションや私たちの日常生活に統合する前に、そのようなモデルに存在する多くのバイアスを理解し、研究することが重要です。

私が前回の記事で研究したバイアスの1つは、歴史的な出来事に関するものでした。私はLLMsを調査し、主要な歴史的な出来事の形でどのような歴史的な知識をエンコードしているかを理解しようとしました。その結果、彼らは主要な歴史的な出来事を理解するために深刻な西洋のバイアスをエンコードしていることがわかりました。

同様のテーマで、この記事では、言語モデルが重要な歴史的人物をどのように理解しているかについて調査します。私は2つのLLMsに対して、歴史上最も重要な人物は誰かと尋ねました。私はこれを10回繰り返し、10種類の異なる言語で行いました。ガンジーとイエスなどの名前は非常に頻繁に現れました。マリー・キュリーやクレオパトラなどの名前はあまり頻繁に現れませんでした。モデルが生成した男性の名前の数に比べて、女性の名前は非常に少なかったです。

私が持っていた最も大きな疑問は、「女性はどこにいるのか？」ということでした。

• フルスタック7ステップMLOpsフレームワーク
• スタビリティAIがStable Diffusion XL 1.0を発表しました
• AI ポリシー @🤗 EU AI Act におけるオープンな機械学習の考慮事項

言語モデルによってエンコードされた歴史的バイアスを評価するテーマを続けながら、OpenAIのGPT-4とAnthropicのClaudeに対して主要な歴史的人物について調査しました。この記事では、両モデルが次のようなものを含んでいることを示します：

• 性別のバイアス：両モデルは男性の歴史的人物を過度に予測しています。GPT-4は女性の歴史的人物の名前を生成する確率が5.4％、Claudeは1.8％でした。この傾向は10種類の言語全体で見られました。
• 地理的なバイアス：モデルが促された言語に関係なく、西洋の歴史的人物を予測する傾向がありました。GPT-4は60％の割合でヨーロッパの歴史的人物を生成し、Claudeは52％の割合で生成しました。
• 言語のバイアス：特定の言語では性別や地理的なバイアスがより顕著でした。例えば、ロシア語で促された場合、GPT-4とClaudeの両方が実験全体で女性を生成しませんでした。また、一部の言語では言語の品質が低かったです。例えば、アラビア語で促された場合、モデルは不正な回答を生成する可能性が高かったです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!