「HuggingFaceのデータ収集者たち」

「HuggingFaceのデータ収集チーム」

彼らが何であるか、そして彼らが何をするか

HuggingFaceを学び始めたとき、データコレータは私にとって最も直感的でないコンポーネントの1つでした。私は彼らを理解するのに苦労しましたし、十分に説明してくれるような良いリソースも見つけられませんでした。

この記事では、データコレータとは何か、それらの違い、そしてカスタマイズされたデータコレータを作成する方法について見ていきます。

データコレータ：高レベル

データコレータはHuggingFaceにおけるデータ処理の重要な部分です。データをトークン化した後、データコレータを使用してモデルのトレーニングオブジェクトにデータを渡す前に、私たちはすべてデータコレータを使っています。

要するに、彼らはサンプルのリストをミニバッチにまとめます。彼らが行うことは、彼らが定義されたタスクによって異なりますが、最低限、すべてのミニバッチ内のサンプルが同じ長さになるように、入力サンプルをパッドまたは切り詰めます。典型的なミニバッチのサイズは、モデルのサイズ、データ、およびハードウェアの制約によって異なり、16から256の範囲になります。

• トレンドのAI GitHubリポジトリ：2023年11月6日の1週間
• スタビリティAIは、ステーブルディフュージョンに新しい3Dエンハンスメントを導入します
• 「UMDが主導する研究がモンゴメリー郡の起訴データダッシュボードを支える」

データコレータはタスク固有です。次のタスクごとにデータコレータがあります：

• 因果推論言語モデリング（CLM）
• マスキング言語モデリング（MLM）
• シーケンス分類
• Seq2Seq
• トークン分類

一部のデータコレータはシンプルです。例えば、「シーケンス分類」タスクでは、データコレータはミニバッチ内のすべてのシーケンスを同じ長さにするために単にパッドする必要があります。その後、それらを1つのテンソルに連結します。

一部のデータコレータは非常に複雑です。なぜなら、それらはそのタスクのデータ処理を処理する必要があるからです。

基本的なデータコレータ

最も基本的なデータコレータの2つは次の通りです：

1）DefaultDataCollator:これはパディングや切り詰めを行いません。すべての入力サンプルが同じ長さであることを前提としています。入力サンプルの長さが異なる場合、エラーが発生します。

import torchfrom transformers import DefaultDataCollatortexts = ["Hello world", "How are you?"]# Tokenizefrom transformers import AutoTokenizertokenizer =…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!