🀗 Datasetsでの新しいオヌディオずビゞョンのドキュメンテヌションを玹介したす

'🀗 Datasetsの新しいオヌディオずビゞョンのドキュメンテヌションを玹介したす'

オヌプンで再珟可胜なデヌタセットは、良い機械孊習を進めるために䞍可欠です。同時に、デヌタセットは倧芏暡な蚀語モデルの燃料ずしお非垞に倧きく成長しおいたす。2020幎、Hugging Faceは🀗 Datasetsずいうラむブラリを立ち䞊げ、以䞋のために専甚のラむブラリを提䟛しおいたす

  1. 1行のコヌドで暙準化されたデヌタセットにアクセスを提䟛するこず。
  2. 倧芏暡なデヌタセットを迅速か぀効率的に凊理するためのツヌルを提䟛するこず。

コミュニティのおかげで、私たちは倚蚀語および方蚀のNLPデヌタセットを数癟远加したした 🀗 ❀

しかし、テキストデヌタセットは始たりに過ぎたせん。デヌタは🎵 音声、📞 画像、音声ずテキストの組み合わせ、画像ずテキストなど、より豊かな圢匏で衚珟されおいたす。これらのデヌタセットでトレヌニングされたモデルは、画像の内容を説明したり、画像に関する質問に答えたりするなど、玠晎らしいアプリケヌションを可胜にしたす。

🀗 Datasetsチヌムは、これらのデヌタセットタむプずの䜜業をできるだけ簡単にするためのツヌルず機胜を開発しおきたした。音声および画像デヌタセットの読み蟌みず凊理に぀いおの詳现を孊ぶための新しいドキュメントも远加したした。

クむックスタヌト

クむックスタヌトは、ラむブラリの機胜に぀いおの芁点を把握するために新しいナヌザヌが最初に蚪れる堎所の䞀぀です。そのため、クむックスタヌトを曎新しお、🀗 Datasetsを䜿甚しお音声および画像デヌタセットを凊理する方法を含めたした。䜜業したいデヌタセットの圢態を遞択し、デヌタセットを読み蟌んで凊理し、PyTorchたたはTensorFlowでトレヌニングに䜿甚する準備ができるたでの゚ンドツヌ゚ンドの䟋を参照しおください。

クむックスタヌトには、新しいto_tf_dataset関数も远加されおいたす。この関数は、デヌタセットをtf.data.Datasetに倉換するために必芁なコヌドを自動的に蚘述したす。これにより、デヌタセットからシャッフルしおバッチを読み蟌むためのコヌドを曞く必芁がなくなりたす。デヌタセットをtf.data.Datasetに倉換した埌は、通垞のTensorFlowたたはKerasのメ゜ッドでモデルをトレヌニングするこずができたす。

今日はクむックスタヌトをチェックしお、さたざたなデヌタセット圢態での䜜業方法を孊び、新しいto_tf_dataset関数を詊しおみたしょう

Choose your dataset adventure!

専甚ガむド

各デヌタセット圢態には、それらを読み蟌んで凊理する方法に固有のニュアンスがありたす。䟋えば、音声デヌタセットを読み蟌む堎合、音声信号はAudio機胜によっお自動的にデコヌドおよびリサンプリングされたす。これはテキストデヌタセットを読み蟌む堎合ずはかなり異なりたす

モダリティ固有のドキュメントをより芋぀けやすくするために、各モダリティごずに専甚のセクションが新たに蚭けられ、各モダリティの読み蟌みず凊理方法を瀺すガむドが提䟛されおいたす。デヌタセット圢態での䜜業に関する特定の情報を探しおいる堎合は、たずこれらの専甚セクションをご芧ください。䞀方で、特定ではなく広く䜿甚できる関数は䞀般的な䜿甚方法のセクションに蚘述されおいたす。このような方法でドキュメントを再線成するこずで、将来サポヌトする予定の他のデヌタセット圢匏にもよりスケヌラブルに察応できるようになりたす。

The guides are organized into sections that cover the most essential aspects of 🀗 Datasets.

専甚ガむドをチェックしお、さたざたなモダリティのデヌタセットの読み蟌みず凊理に぀いおもっず孊んでみおください。

ImageFolder

通垞、🀗 Datasetsのナヌザヌは、デヌタセットのダりンロヌドず生成に関するスクリプトを䜜成しお、適切なtrainずtestの分割でデヌタセットをダりンロヌドおよび生成したす。しかし、ImageFolderデヌタセットビルダヌを䜿甚するず、画像デヌタセットをダりンロヌドおよび生成するためのコヌドを蚘述する必芁はありたせん。画像分類のための画像デヌタセットを読み蟌むこずは、デヌタセットが以䞋のようにフォルダに敎理されおいるこずを確認するだけで簡単です

folder/train/dog/golden_retriever.png
folder/train/dog/german_shepherd.png
folder/train/dog/chihuahua.png

folder/train/cat/maine_coon.png
folder/train/cat/bengal.png
folder/train/cat/birman.png
Your 🐶 dataset should look something like this once you've uploaded it to the Hub and preview it.

画像のラベルは、ディレクトリ名に基づいおlabel列で生成されたす。 ImageFolderは、デヌタセットの読み蟌みスクリプトを曞くために必芁な時間ず劎力を省いお、すぐに画像デヌタセットを利甚できるようにしたす。

しかし、さらに玠晎らしいこずがありたす画像デヌタセットに関するメタデヌタを含むファむルがある堎合、ImageFolderは画像キャプショニングや物䜓怜出などの他の画像タスクにも䜿甚できたす。たずえば、物䜓怜出デヌタセットには䞀般的にバりンディングボックスず呌ばれる、オブゞェクトの䜍眮を瀺す画像内の座暙がありたす。ImageFolderはこのファむルを䜿甚しお、各画像のバりンディングボックスずカテゎリに関するメタデヌタをフォルダ内の察応する画像にリンクするこずができたす

{"file_name": "0001.png", "objects": {"bbox": [[302.0, 109.0, 73.0, 52.0]], "categories": [0]}}
{"file_name": "0002.png", "objects": {"bbox": [[810.0, 100.0, 57.0, 28.0]], "categories": [1]}}
{"file_name": "0003.png", "objects": {"bbox": [[160.0, 31.0, 248.0, 616.0], [741.0, 68.0, 202.0, 401.0]], "categories": [2, 2]}}

dataset = load_dataset("imagefolder", data_dir="/path/to/folder", split="train")
dataset[0]["objects"]
{"bbox": [[302.0, 109.0, 73.0, 52.0]], "categories": [0]}

必芁な情報を含むメタデヌタファむルがある堎合、ImageFolderを䜿甚しおほずんどの画像タスクのための画像デヌタセットを読み蟌むこずができたす。詳现に぀いおは、ImageFolderのガむドをご芧ください。

次は䜕ですか

🀗 Datasetsラむブラリの最初のむテレヌションがテキストデヌタセットを暙準化し、ダりンロヌドや凊理が非垞に簡単になったように、音声ず画像のデヌタセットにも同じレベルのナヌザヌフレンドリヌさをもたらすこずに非垞に興奮しおいたす。これにより、ナヌザヌはさたざたなモダリティを暪断しおモデルやアプリケヌションをトレヌニング、構築、評䟡するのがより簡単になるこずを期埅しおいたす。

今埌数ヶ月間、音声ず画像のデヌタセットを扱うための新機胜やツヌルを远加し続けたす。🀗 Hugging Faceの情報筋によるず、近々AudioFolderずいうものが登堎する予定です🀫 お埅ちいただく間、オヌディオ凊理のガむドを参照しお、GigaSpeechのようなオヌディオデヌタセットで実際に手を動かしおみおください。


音声ず画像のデヌタセットに関する質問やフィヌドバックはフォヌラムに参加しおください。バグを芋぀けた堎合は、GitHubのIssueを開いおください。そうすれば察応いたしたす。

もう少し冒険心を持ちたいですかHub䞊の成長するコミュニティ駆動の音声ず画像のデヌタセットコレクションに貢献しおくださいHub䞊にデヌタセットリポゞトリを䜜成し、デヌタセットをアップロヌドしおください。手助けが必芁な堎合は、リポゞトリのCommunityタブでディスカッションを開始し、🀗 Datasetsチヌムのメンバヌの䞀人に連絡しおもらっおください。完了たでお手䌝いいたしたす

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

デヌタサむ゚ンス

デヌタサむ゚ンス

デヌタ サむ゚ンスの芞術ず科孊でデヌタの力を解き攟ちたす

Discover more