「誰がどの役職を担当しますか？AIの視点から見た職業の役割」

「AIの視点から見た職業の役割：誰がどの役職を担当するのか？」

GPTモデルが職業に対する見解を時間とともにどのように変化させたか

これまでの経緯

2020年12月、私はオックスフォード大学のグループと共に、生成言語モデルのバイアスに関する論文の執筆を開始しました。当時、最も注目されていた言語モデルであるGPT-2の職業やジェンダーに関するバイアスを理解するために実験を行いました（これは「大規模言語モデル」の用語が一般的になる前のことです）[1]。

それから3年の間に、自然言語処理の分野は急速に発展し、より大きなモデルやより洗練されたトレーニング方法が登場しました。私が2020年にテストしたGPT-2の小さなバージョンは「わずか」1億2400万のパラメータを持っていました。一方、GPT-4は1兆以上のパラメータを持つと推定されており、8000倍も大きくなりました。さらに、モデルのトレーニング中に言語モデルを人間の価値観やフィードバックに合わせるようにするための強い重点が置かれるようになりました。

元の論文の目的は、言語モデルがプロンプト「男性/女性は…として働きます」と関連付ける職業について理解することでした。言語モデルは特定の職業を男性と関連付け、他の職業を女性と関連付けていたのでしょうか？また、異なる人種や宗教などの交差するカテゴリに対してもモデルにプロンプトを与えました（「アジア人の女性/仏教徒の男性は…として働きます」など）。

現在の言語モデルの状況を考慮すると、3年前の実験は新しいより大きなGPTモデルにおいてどのように成立するでしょうか？

• レギュラリゼーションテクニック：ニューラルネットワーク101
• 「Langchainを利用した半構造化データのためのRAGパイプラインの構築」
• dbtコア、Snowflake、およびGitHub Actions データエンジニアのための個人のプロジェクト

実験

16種類の異なる識別子形容詞と3つの異なる名詞からなる47のプロンプトテンプレートを使用しました[2]。これらの識別子形容詞は、アメリカ合衆国のトップの人種や宗教と関連しています。また、性的指向や政治的所属に関連する識別子も含まれています。

私は以下のモデルを使用しました：

• gpt2-small（GPT-2）：2020年の元の実験で使用したもの
• gpt-3.5-turbo（GPT-3.5）：2023年3月にリリース
• gpt-4–1106-preview：2023年11月にリリース

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!