「Prolificの機械学習エンジニア兼AIコンサルタント、ノラ・ペトロヴァ – インタビューシリーズ」

「プロリフィックの機械学習エンジニアとAIコンサルタント、ノラ・ペトロヴァに迫るインタビューシリーズ」

ノラ・ペトロヴァは、マシンラーニングエンジニア兼AIコンサルタントで、プロリフィックで働いています。プロリフィックは2014年に設立され、既にGoogle、スタンフォード大学、オックスフォード大学、キングズカレッジロンドン、ヨーロッパ委員会などを顧客として数えられるほどの組織がいます。プロリフィックは参加者のネットワークを利用して、新製品のテストやAIシステムの訓練（例：アイトラッキング）を行い、人間に直接関わるAIアプリケーションが作成者の意図通りに機能しているかを判断します。

プロリフィックでの経歴やキャリアについてご紹介いただけますか？AIに興味を持ったきっかけは何でしょうか？

私のプロリフィックでの役割は、AIの使用事例や機会についてアドバイスすることと、より実践的なMLエンジニアリングを行うことに分かれています。私はソフトウェアエンジニアリングでキャリアをスタートし、徐々にマシンラーニングに移行してきました。過去5年間のほとんどをNLPの使用事例や問題に集中して取り組んできました。

AIに興味を持ったきっかけは、データから学ぶ能力と、私たち人間の学習方法や脳の構造との関連性にあります。私はMLと神経科学がお互いを補完し合い、世界をナビゲートし、創造性を発揮し、社会に価値を追加できるAIシステムを構築するための理解を一層深めることができると考えています。

• ミストラルAIの最新のエキスパート（MoE）8x7Bモデル
• LLMの理論的思考力を向上させるための方法：コードの連鎖を促進する解明
• マイクロソフトAIチームがPhi-2を紹介：2.7Bパラメーターの小型言語モデルで、優れた推論能力と言語理解能力を示します

個人的に認識している最大のAIバイアスの問題は何ですか？

バイアスはAIモデルに入力するデータに内在しており、完全に除去することは非常に困難です。ただし、重要な社会的なタスクをモデルに任せる前に、データに含まれるバイアスに注意し、有害なバイアスを軽減する方法を見つけることが重要です。私たちが直面している最大の問題は、モデルが社会で有害なステレオタイプ、制度的偏見、不正を永続化させることです。これらのAIモデルの使用方法と利用者への影響に注意し、感性のある使用事例に対して安全性が確保されるようにしなければなりません。

AIモデルが有害なバイアスを示した突出した例には、学校や大学の入学での未代表的なグループへの差別や、女性の採用に悪影響を与えるジェンダーステレオタイプなどがあります。また、アメリカでは、犯罪司法システムのアルゴリズムが、アフリカ系アメリカ人の被告を白人の被告の2倍近く「高リスク」と誤ってラベル付けし、人種的マイノリティに対する顔認識技術は依然として代表的なトレーニングデータが不足しているため、誤認識率が高いという問題もあります。

上記の例はAIモデルによって示されるバイアスの一部を網羅しており、現在バイアスの緩和に焦点を当てないと将来的にはより深刻な問題が発生する可能性があります。 AIモデルは、未確認で無意識のバイアスに影響を受けた人間の意思決定によってこれらのバイアスが含まれたデータから学習します。多くの場合、人間の意思決定者への委任はバイアスを排除するだけではありません。バイアスを軽減するためには、モデルの訓練に使用するデータ中にバイアスが現れる方法を理解し、バイアスの予測に影響を与える要因を特定し、重要な意思決定を基にする方法を共同で決定する必要があります。重要な使用事例の前にモデルの安全性を評価するための基準を開発することも重要です。

生成型AIにおいてAIの幻覚は大きな問題です。人間ありきのトレーニング（HITL）はこれらの問題を軽減する方法について話していただけますか？

AIモデルの幻覚は、生成型AIの特定の使用事例では問題を引き起こしますが、それ自体が問題であるわけではありません。創造的な生成型AIの特定の使用事例では、幻覚は歓迎され、より創造的で興味深い応答に寄与します。

しかし、事実情報への依存が高い使用事例では問題が生じることがあります。たとえば、健康医療の場合、堅牢な意思決定が重要であり、信頼性のある事実情報を医療専門家に提供することが不可欠です。

HITLとは、モデルの予測がある一定の信頼度以下の場合、人間がモデルに直接フィードバックを提供できるシステムを指します。幻覚に関連する文脈では、HITLはモデルが異なる使用事例に対してどの程度の確信度を持つべきかを学習させるために使用されます。これらの閾値は使用事例によって異なり、異なる使用事例の質問に回答するための厳密さの違いをモデルに教えることは、問題を軽減するための重要なステップとなります。例えば、法的な使用事例では、複雑な法的文書に基づく質問に答える際に事実確認が必要なステップであることをAIモデルに示すことができます。

AI作業者（データ注釈者など）はどのように潜在的なバイアスの問題を軽減するのに役立つのでしょうか？

まず第一に、AI作業者はデータ内に存在するバイアスを特定するのに役立ちます。バイアスが特定されると、軽減策を考えることがより容易になります。データ注釈者はまた、バイアスを減らすための方法を考案するのにも役立ちます。たとえば、NLPのタスクでは、言語に存在するバイアスを軽減するために、問題のあるテキストの代替フレーズを提供することで助けることができます。さらに、AI作業者の多様性は、ラベリングにおけるバイアスの問題を軽減するのに役立ちます。

AI作業者がAIシステムに意図せず自身のバイアスを与えないようにするにはどのようにすればよいですか？

これは確かに複雑な問題であり、慎重な考慮が必要です。人間のバイアスを完全に排除することはほぼ不可能であり、AI作業者は意図せずに自身のバイアスをAIモデルに与える可能性があるため、作業者を最善の方法に導くプロセスを開発することが重要です。

人間のバイアスを最小限に抑えるために取られる可能性のあるいくつかの手順には、以下のものがあります:

• AI作業者の無意識のバイアスに関する包括的なトレーニングや、ラベリング中に自身のバイアスを特定し管理するためのツールの提供。
• AI作業者に自分の回答を提出する前に自分自身の回答を確認するようにリマインドするチェックリスト。
• AI作業者が理解度をチェックする評価を実施し、さまざまなタイプのバイアスにわたる回答の例を示し、最もバイアスの少ない回答を選択するよう求める。

世界中の規制当局はAIの成果物を規制しようとしていますが、あなたの見解では、規制当局は何を誤解していて、何が正しいと考えていますか？

まず、この問題は誰もが解決策を見つけていない非常に困難な問題であることを強調することが重要です。社会とAIはお互いに予測困難な方法で進化し合い、互いに影響を与えます。堅牢かつ有用な規制の実践を見つけるための効果的な戦略の一環としては、AIがどのように進化し、人々がそれにどのように反応し、異なる業界にどのような影響を与えるかに注意を払うことが重要です。

私はAIの効果的な規制に向けた重要な障害の一つは、AIモデルのできることとできないこと、およびその動作原理に対する理解の不足です。これが、異なる業界や社会の異なる部分に対してこれらのモデルが持つであろう結果を正確に予測するのを困難にしています。また、AIモデルを人間の価値に合致させる方法や、具体的な安全性の定義に関する思想リーダーシップも不十分です。

規制当局はAIの分野の専門家と協力し、過度に厳しいAIに関する規則によるイノベーションの抑制を避け、AIが雇用の置き換えに与える影響について考慮し始めており、これらはすべて非常に重要な焦点領域です。時間の経過とともにAIの規制に関する考えが明確になるよう慎重に進めることが重要であり、この問題に民主的な方法で取り組むためにできるだけ多くの人々を巻き込むことが必要です。

Prolificソリューションは企業がAIのバイアスを軽減し、他の議論した問題に対応するのにどのように役立つことができますか？

AIプロジェクトのためのデータ収集は常に考慮されたプロセスではありませんでした。以前は、スクレイピングやオフショアなどの方法が乱用されることがありました。しかし、AIの訓練方法は重要であり、次世代のモデルは意図的に収集された高品質の実データ、直接接触がある人々からのデータに基づいて構築される必要があります。これがProlificの役割です。

ポーリング、市場調査、科学研究など、他の領域では昔からこれに気づいてきました。サンプリング対象の受講者は結果に大きな影響を与えます。AIもそれに追いつこうとしており、今は転換期に入っています。

今こそ、AIの訓練と改良のためにより良いサンプルの使用に関心を持ち、より代表的なグループと共同作業を始める時です。この両方が安全でバイアスのないモデルの開発に不可欠です。

Prolificは、エンタープライズが安全な方法でAI実験を行い、バイアスがチェックされ軽減される参加者からデータを収集するための適切なツールを提供するのに役立つことができます。データ収集に関するベストプラクティスについてのガイダンスや、参加者への選択、補償、公正な取扱いに関する支援も行います。

AIの透明性についてのあなたの意見は何ですか？ユーザーはAIアルゴリズムが訓練に使用されているデータを見ることができるべきですか？

透明性には利点と欠点があり、良いバランスがまだ見つかっていません。企業は、訴訟の恐れから、AIモデルの訓練に使用したデータに関する情報を保留しています。その一方で、アルゴリズムや使用したデータに関する情報を公開し、AIモデルを広く利用できるようにしようと取り組んでいます。完全な透明性はこれらのモデルの脆弱性を悪用する機会を広げる可能性があります。一方、完全な秘匿性では信頼を築くのに役立たず、社会をAIの安全な構築に巻き込むこともありません。適切な中間地点は、私たちが同意した良質な関連データでAIモデルが訓練されていることを信頼するために十分な透明性を提供することです。私たちはAIが異なる業界に与える影響に細心の注意を払い、関係者との対話を開き、すべての人に適した実践を開発することを確実にする必要があります。

ユーザーが説明可能性の観点で満足するものを考慮することも重要だと私は考えます。モデルが特定の応答を生成する理由を理解したい場合、モデルが訓練された生のデータを提供しても、質問に答えるのに役立つことはほとんどないはずです。したがって、優れた説明可能性と解釈可能性のツールを構築することが重要です。

AIの一致性の研究は、AIシステムを人間の意図した目標、好み、または倫理的原則に向かわせることを目指しています。AI労働者のトレーニングについて、AIが可能な限り最も正確に一致するようにするためにどのように使用されるかについて議論できますか？

これは研究の活発な分野であり、AIモデルを人間の価値に一致させるために使用する戦略や、いずれの価値観に一致させるべきかについてはまだ合意がありません。

AI労働者は通常、自分の好みを真実に表現し、安全性、偏りのなさ、無害さ、有用性に関する原則に従うことを求められます。

目標、倫理的原則、または価値に沿って一致させることに関しては、有望な見方がいくつかあります。例えば、The Meaning Alignment InstituteのDemocratic Fine-Tuningに関する取り組みが注目されています。この投稿でそのアイデアが紹介されています。

素晴らしいインタビューとAIバイアスに関する意見を共有していただき、ありがとうございました。さらに学びたい読者は、Prolificを訪れることをお勧めします。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!