データエンリッチメントのためのベストプラクティス

ベストプラクティス：データエンリッチメント

パートナーシップAIとのデータ収集における責任あるアプローチの構築

DeepMindでは、私たちが行うすべてのことが、私たちの運営原則に沿って、最高水準の安全性と倫理性を満たすようにすることを目標としています。これは、私たちがデータを収集する方法から始まる最も重要なポイントの1つです。過去12か月間、私たちはパートナーシップAI（PAI）と協力して、これらの課題について慎重に考慮し、責任ある人間データ収集のための標準化されたベストプラクティスとプロセスを共同開発しました。

人間データの収集

3年以上前に、私たちはヒューマン・ビヘイビアル・リサーチ・エシックス・コミティ（HuBREC）を設立しました。これは、病院や大学などに存在する学術機関の倫理審査委員会（IRB）にモデルを取ったガバナンスグループで、私たちの研究に関与する人間の尊厳、権利、福祉を保護することを目的としています。この委員会は、人間が研究の対象となる実験など、人間と人工知能（AI）システムが相互作用する過程を調査するなど、人間を対象とした行動研究を監視しています。

行動研究に関連するプロジェクトと並行して、AIコミュニティは「データエンリッチメント」という取り組みにますます関与しています。これは、データラベリングやモデル評価など、人間によるタスクを通じて機械学習モデルをトレーニングおよび検証するものです。行動研究は通常、研究の対象となる自発的な参加者に依存していますが、データエンリッチメントでは、AIモデルの向上を目的としたタスクを完了するために人々が報酬を受け取ることがあります。

このようなタスクは通常、クラウドソーシングプラットフォームで実施されますが、労働者の給与、福祉、公平性に関連する倫理的な考慮事項が生じることがあります。これには、適切なガイダンスやガバナンスシステムが欠けている場合があります。研究室がますます洗練されたモデルの開発を加速するにつれて、データエンリッチメントの実践への依存はさらに増加し、それに伴いより強力なガイダンスが必要とされるでしょう。

• 広告費用の収益率におけるデータ品質の問題の隠れたコスト
• DataHour ChatGPTの幻視を80％減らす
• データサイエンスにおける正規分布の適用と使用

私たちの運営原則の一環として、私たちはAIの安全性と倫理、公平性、プライバシーなどの分野でのベストプラクティスを守り、貢献することを約束しています。これにより、リスクを軽減するための意図しない結果を回避することができます。

ベストプラクティス

PAIの最近の「データエンリッチメントサービスの責任ある調達」に関するホワイトペーパーに続いて、私たちはデータエンリッチメントのためのプラクティスとプロセスを共同開発しました。これには、AIの実践者が従うことができる5つのステップが含まれています（詳細については、PAIの「データエンリッチメント調達ガイドライン」をご覧ください）：

1. 適切な支払いモデルを選択し、すべての労働者が地元の生活賃金以上を受け取るようにする。
2. データエンリッチメントプロジェクトを立ち上げる前にパイロットテストを実施する。
3. 望ましいタスクに適した労働者を特定する。
4. 労働者が従うための確認された指示および/またはトレーニング資料を提供する。
5. 労働者との明確かつ定期的なコミュニケーションメカニズムを確立する。

私たちは、これらの必要なポリシーやリソースを作成しました。このプロセスでは、内部の法務、データ、セキュリティ、倫理、研究チームからの複数のフィードバックを収集し、データ収集プロジェクトの一部においてパイロットテストを行い、後に組織全体に展開しました。

これらの文書により、DeepMindにおけるデータエンリッチメントタスクの設定方法についてより明確になり、研究者の研究デザインと実施の信頼性が向上しました。これにより、承認および立ち上げプロセスの効率が向上するだけでなく、データエンリッチメントタスクに関与する人々の体験も向上しました。

責任あるデータエンリッチメントの実践方法や、それらを既存のプロセスに組み込んだ方法についての詳細は、PAIの最近のケーススタディ「AI開発者における責任あるデータエンリッチメントの実践：DeepMindの例」で説明されています。PAIは、同様のプロセスを開発しようとするAI実践者や組織に対して、有益なリソースとサポート材料も提供しています。

展望

これらのベストプラクティスは、研究における参加者や労働者の福祉と安全の最高基準を満たすために単独で頼るべきではありません。DeepMindでは、各プロジェクトが異なるため、研究チームと継続的に連携し、リスクを個別に特定し軽減するための専門の人間データレビュープロセスを設けています。

この作業は、データエンリッチメントの調達方法を改善したい他の組織のリソースとして役立つことを目指しており、これによって異業種間の対話が生まれ、チームやパートナーのためのガイドラインやリソースのさらなる開発につながることを期待しています。また、この協力を通じて、AIコミュニティが責任あるデータ収集の基準を継続的に発展させ、より良い業界基準を共同で構築するための広範な議論を喚起することも期待しています。

‍

詳細は、私たちのオペレーティング原則についてもっと読む。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!