🤗 Datasetsでの新しいオーディオとビジョンのドキュメンテーションを紹介します

'🤗 Datasetsの新しいオーディオとビジョンのドキュメンテーションを紹介します'

オープンで再現可能なデータセットは、良い機械学習を進めるために不可欠です。同時に、データセットは大規模な言語モデルの燃料として非常に大きく成長しています。2020年、Hugging Faceは🤗 Datasetsというライブラリを立ち上げ、以下のために専用のライブラリを提供しています：

1. 1行のコードで標準化されたデータセットにアクセスを提供すること。
2. 大規模なデータセットを迅速かつ効率的に処理するためのツールを提供すること。

コミュニティのおかげで、私たちは多言語および方言のNLPデータセットを数百追加しました！ 🤗 ❤️

しかし、テキストデータセットは始まりに過ぎません。データは🎵 音声、📸 画像、音声とテキストの組み合わせ、画像とテキストなど、より豊かな形式で表現されています。これらのデータセットでトレーニングされたモデルは、画像の内容を説明したり、画像に関する質問に答えたりするなど、素晴らしいアプリケーションを可能にします。

🤗 Datasetsチームは、これらのデータセットタイプとの作業をできるだけ簡単にするためのツールと機能を開発してきました。音声および画像データセットの読み込みと処理についての詳細を学ぶための新しいドキュメントも追加しました。

• データセットとモデルにおけるDOI（デジタルオブジェクト識別子）の紹介
• ホモモーフィック暗号化による暗号化データの感情分析
• オーディオデータセットの完全ガイド

クイックスタート

クイックスタートは、ライブラリの機能についての要点を把握するために新しいユーザーが最初に訪れる場所の一つです。そのため、クイックスタートを更新して、🤗 Datasetsを使用して音声および画像データセットを処理する方法を含めました。作業したいデータセットの形態を選択し、データセットを読み込んで処理し、PyTorchまたはTensorFlowでトレーニングに使用する準備ができるまでのエンドツーエンドの例を参照してください。

クイックスタートには、新しいto_tf_dataset関数も追加されています。この関数は、データセットをtf.data.Datasetに変換するために必要なコードを自動的に記述します。これにより、データセットからシャッフルしてバッチを読み込むためのコードを書く必要がなくなります。データセットをtf.data.Datasetに変換した後は、通常のTensorFlowまたはKerasのメソッドでモデルをトレーニングすることができます。

今日はクイックスタートをチェックして、さまざまなデータセット形態での作業方法を学び、新しいto_tf_dataset関数を試してみましょう！

専用ガイド

各データセット形態には、それらを読み込んで処理する方法に固有のニュアンスがあります。例えば、音声データセットを読み込む場合、音声信号はAudio機能によって自動的にデコードおよびリサンプリングされます。これはテキストデータセットを読み込む場合とはかなり異なります！

モダリティ固有のドキュメントをより見つけやすくするために、各モダリティごとに専用のセクションが新たに設けられ、各モダリティの読み込みと処理方法を示すガイドが提供されています。データセット形態での作業に関する特定の情報を探している場合は、まずこれらの専用セクションをご覧ください。一方で、特定ではなく広く使用できる関数は一般的な使用方法のセクションに記述されています。このような方法でドキュメントを再編成することで、将来サポートする予定の他のデータセット形式にもよりスケーラブルに対応できるようになります。

専用ガイドをチェックして、さまざまなモダリティのデータセットの読み込みと処理についてもっと学んでみてください。

ImageFolder

通常、🤗 Datasetsのユーザーは、データセットのダウンロードと生成に関するスクリプトを作成して、適切なtrainとtestの分割でデータセットをダウンロードおよび生成します。しかし、ImageFolderデータセットビルダーを使用すると、画像データセットをダウンロードおよび生成するためのコードを記述する必要はありません。画像分類のための画像データセットを読み込むことは、データセットが以下のようにフォルダに整理されていることを確認するだけで簡単です：

folder/train/dog/golden_retriever.png
folder/train/dog/german_shepherd.png
folder/train/dog/chihuahua.png

folder/train/cat/maine_coon.png
folder/train/cat/bengal.png
folder/train/cat/birman.png

画像のラベルは、ディレクトリ名に基づいてlabel列で生成されます。 ImageFolderは、データセットの読み込みスクリプトを書くために必要な時間と労力を省いて、すぐに画像データセットを利用できるようにします。

しかし、さらに素晴らしいことがあります！画像データセットに関するメタデータを含むファイルがある場合、ImageFolderは画像キャプショニングや物体検出などの他の画像タスクにも使用できます。たとえば、物体検出データセットには一般的にバウンディングボックスと呼ばれる、オブジェクトの位置を示す画像内の座標があります。ImageFolderはこのファイルを使用して、各画像のバウンディングボックスとカテゴリに関するメタデータをフォルダ内の対応する画像にリンクすることができます：

{"file_name": "0001.png", "objects": {"bbox": [[302.0, 109.0, 73.0, 52.0]], "categories": [0]}}
{"file_name": "0002.png", "objects": {"bbox": [[810.0, 100.0, 57.0, 28.0]], "categories": [1]}}
{"file_name": "0003.png", "objects": {"bbox": [[160.0, 31.0, 248.0, 616.0], [741.0, 68.0, 202.0, 401.0]], "categories": [2, 2]}}

dataset = load_dataset("imagefolder", data_dir="/path/to/folder", split="train")
dataset[0]["objects"]
{"bbox": [[302.0, 109.0, 73.0, 52.0]], "categories": [0]}

必要な情報を含むメタデータファイルがある場合、ImageFolderを使用してほとんどの画像タスクのための画像データセットを読み込むことができます。詳細については、ImageFolderのガイドをご覧ください。

次は何ですか？

🤗 Datasetsライブラリの最初のイテレーションがテキストデータセットを標準化し、ダウンロードや処理が非常に簡単になったように、音声と画像のデータセットにも同じレベルのユーザーフレンドリーさをもたらすことに非常に興奮しています。これにより、ユーザーはさまざまなモダリティを横断してモデルやアプリケーションをトレーニング、構築、評価するのがより簡単になることを期待しています。

今後数ヶ月間、音声と画像のデータセットを扱うための新機能やツールを追加し続けます。🤗 Hugging Faceの情報筋によると、近々AudioFolderというものが登場する予定です！🤫 お待ちいただく間、オーディオ処理のガイドを参照して、GigaSpeechのようなオーディオデータセットで実際に手を動かしてみてください。

---

音声と画像のデータセットに関する質問やフィードバックはフォーラムに参加してください。バグを見つけた場合は、GitHubのIssueを開いてください。そうすれば対応いたします。

もう少し冒険心を持ちたいですか？Hub上の成長するコミュニティ駆動の音声と画像のデータセットコレクションに貢献してください！Hub上にデータセットリポジトリを作成し、データセットをアップロードしてください。手助けが必要な場合は、リポジトリのCommunityタブでディスカッションを開始し、🤗 Datasetsチームのメンバーの一人に連絡してもらってください。完了までお手伝いいたします！

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!