モデルカード

'Model Card'

イントロダクション

モデルカードは、機械学習モデルの理解、共有、改善のための重要なドキュメンテーションフレームワークです。適切に行われた場合、モデルカードは境界オブジェクトとして機能し、異なるバックグラウンドや目標を持つ人々（開発者、学生、政策立案者、倫理学者、機械学習モデルに影響を受ける人々など）がモデルを理解するためにアクセスできる単一のアーティファクトとなります。

今日、私たちはモデルカードの作成ツールとモデルカードガイドブックを発表しました。モデルカードの記入方法、ユーザースタディ、MLドキュメンテーションの最先端について詳しく説明しています。この作業は、他の多くの人々や組織によるものを基にしており、異なるバックグラウンドや役割を持つ人々の包括的な参加を重視しています。私たちは、これが改善されたMLドキュメンテーションの道筋となることを願っています。

要約すると、今日は以下のリリースを発表します：

1. プログラムを必要とせずにカード作成を容易にするモデルカードクリエーターツール。さらに、異なるセクションの作業をチームで共有するための支援をします。

   • CLIPSegによるゼロショット画像セグメンテーション
   • インテルのサファイアラピッズを使用してPyTorch Transformersを高速化する – パート1
   • ゲーム開発のためのAI：5日間で農業ゲームを作成するパート1

2. huggingface_hubライブラリでリリースされた更新されたモデルカードテンプレート。学界や業界全体でのモデルカードの作業をまとめています。

3. カードの記入方法を詳しく説明した注釈付きモデルカードテンプレート。

4. Hugging Faceでのモデルカードの使用に関するユーザースタディ。

5. モデルドキュメンテーションの最先端に関するランドスケープ分析と文献レビュー。

現在までのモデルカード

モデルカードは、Mitchellらによって提案され、自然言語処理のデータステートメント（Bender＆Friedman、2018）やデータセットのデータシート（Gebruら、2018）といった主要なドキュメンテーションフレームワークの努力に触発されています。機械学習ドキュメンテーションの領域は拡大し進化しており、データ、モデル、およびMLシステムのためのさまざまなドキュメンテーションツールやテンプレートが提案され、開発されてきました。これには、何百もの研究者、関係者、提唱者などの信じられないほどの研究成果が反映されています。また、MLドキュメンテーションと責任あるAIの変革理論との関係について重要な議論も、MLドキュメンテーションエコシステムの発展に影響を与えています。

ML内のドキュメンテーションにおけるこれまでの取り組みは、さまざまな対象に対応しています。私たちは、今日共有する作業でこれらのアイデアの多くを取り入れています。

私たちの取り組み

私たちの作業は、モデルカードの現在の状況と将来の展望を示しています。私たちは、成長するMLドキュメンテーションツールのランドスケープを広範に分析し、Hugging Face内でユーザーインタビューを行い、モデルカードに関する多様な意見を補完しました。また、Hugging Face HubのMLモデルに対してモデルカードを作成または更新し、これらの経験を基に新しいモデルカードのテンプレートを提案しています。

モデルカードの標準化

ガイドブックでさらに詳しく説明されている背景調査やユーザースタディを通じて、一般の人々が理解する「モデルカード」の新しい標準を確立することを目指しました。

これらの調査結果に基づいて、HFモデルカードの構造と内容を標準化するだけでなく、デフォルトのプロンプトテキストも提供する新しいモデルカードテンプレートを作成しました。このテキストは、モデルカードのセクションの執筆を支援するためのものであり、特にバイアス、リスク、制限のセクションに焦点を当てています。

アクセシビリティと包括性

モデルカードの作成における参加のハードルを下げるために、モデルカード作成ツールを設計しました。これは、グラフィカルユーザーインターフェース（GUI）を備えたツールであり、コーディングやマークダウンの使用を必要とせずに、さまざまなスキルセットや役割を持つ人々やチームが簡単に協力してモデルカードを作成できるようにします。

この作成ツールは、モデルカードをまだ作成していない人々に簡単に作成するように促し、以前にモデルカードを作成したことがある人々にはプロンプトされた情報を追加するように促します。同時に、倫理的な要素を重視します。

異なるドメインとより密接に結びついていく機械学習において、アクセシビリティ、倫理、包括性を重視した共同作業とオープンソースのMLプロセスは、機械学習ライフサイクルの重要な部分であり、MLドキュメンテーションのための道筋となります。

今日のリリースは、データとモデルのドキュメンテーションがHugging Faceを含む多くのテック企業によって取り組まれてきたMLドキュメンテーションの大きなエコシステムの一部です。私たちは、データセットカードとモデルカードの「リポジトリカード」に重点を置き、多様な分野に焦点を当てました。この作業の一環として、モデルカード作成UIツールは包括性に焦点を当て、異なるバックグラウンドを持つ人々のモデルカード作成を支援するためのフォーマットとプロンプトにガイダンスを提供します。

コール・トゥ・アクション

前を見据えましょう

この作業は、MLドキュメンテーションのさまざまな方法が具現化された現在のモデルカードの状態に基づいたランドスケープ分析による「スナップショット」です。モデルブックとこれらの調査結果は、現在の状態とより願望的なモデルカードのビジョンについて、複数の視点の一つを表しています。

• Hugging Faceエコシステムは、コードとユーザーインターフェースを通じてモデルカードの作成を効率化する方法をさらに進化させます。リポジトリと製品に直接機能を組み込むことも含まれます。
• Hubでの評価など、モデルツールをさらに開発するにつれて、それらの使用方法をモデルカードの開発フローに統合していきます。たとえば、分解された要素にわたるモデルのパフォーマンスを自動的に評価することが容易になると、これらの結果をモデルカードにインポートすることができるようになります。
• 研究モデルとモデルカードの組み合わせをさらに進めるためには、研究論文→モデルドキュメンテーションパイプラインの構築など、さらなる研究が必要です。これにより、さまざまなドメインへのアプローチが広がり、モデルドキュメンテーションの標準化が進むでしょう。

私たちは、モデルカードの作成や使用方法、カードがモデルの使用に与える影響について、さらに学び続けています。これらの学びに基づいて、モデルカードのテンプレート、手順、およびHubの統合をさらに更新していきます。

私たちは、モデルカードのさまざまな声やステークホルダーのユースケースを取り入れるために、私たちのモデルカード作成ツールをブックマークして試してみてください！

モデルカードについてのご意見や、私たちのモデルカード作成GUI、AIドキュメンテーションがあなたの領域を強化する方法について、お知らせいただけることを楽しみにしています。🤗

謝辞

このリリースは、Omar Sanseviero、Lucain Pouget、Julien Chaumond、Nazneen Rajani、およびNate Rawの多大な貢献なしには実現しませんでした。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!