🤗 Transformersを使用して、画像分類のためにViTを微調整する

'🤗 Transformersを使って、画像分類のためにViTを微調整する'

トランスフォーマーベースのモデルがNLPを革命化したように、我々は今、それらを他のさまざまな領域に適用する論文の爆発を目撃しています。その中でも最も革命的なものの一つが「Vision Transformer（ViT）」です。これは、Google Brainの研究チームによって2021年6月に紹介されました。

この論文では、文をトークン化するように画像をトークン化する方法を探求しており、それによってトランスフォーマーモデルにトレーニング用のデータとして渡すことができます。実際には非常にシンプルな概念です…

1. 画像をサブ画像パッチのグリッドに分割する
2. 各パッチを線形変換で埋め込む
3. 各埋め込まれたパッチがトークンとなり、埋め込まれたパッチのシーケンスがモデルに渡される

上記の手順を実行すると、NLPのタスクと同様にトランスフォーマーを事前学習および微調整することができることがわかります。かなり便利です 😎。

• BERT 101 – 最新のNLPモデルの解説
• 🤗 Transformersにおいて制約付きビームサーチを用いたテキスト生成のガイド
• Hugging Face TransformersとAWS Inferentiaを使用して、BERT推論を高速化する

---

このブログポストでは、🤗 datasets を使用して画像分類データセットをダウンロードおよび処理し、それを使用して事前学習済みの ViT を 🤗 transformers を使用して微調整する方法について説明します。

まずは、それらのパッケージをインストールしましょう。

pip install datasets transformers

データセットの読み込み

まずは、小規模な画像分類データセットを読み込んで、その構造を確認しましょう。

私たちは「beans」というデータセットを使用します。これは、健康な豆の葉と病気の豆の葉の写真のコレクションです。🍃

from datasets import load_dataset

ds = load_dataset('beans')
ds

「beans」データセットの「train」スプリットから400番目の例を見てみましょう。データセットの各例には3つの特徴があることに注意してください：

1. image：PILイメージ
2. image_file_path：「image」としてロードされたイメージファイルのパス（str）
3. labels：ラベルの整数表現であるdatasets.ClassLabelフィーチャ（後で文字列クラス名を取得する方法も見ていきますのでご心配なく！）

ex = ds['train'][400]
ex

{
  'image': <PIL.JpegImagePlugin ...>,
  'image_file_path': '/root/.cache/.../bean_rust_train.4.jpg',
  'labels': 1
}

画像を見てみましょう 👀

image = ex['image']
image

間違いなく葉っぱです！でも、何の葉っぱでしょうか？ 😅

このデータセットの「labels」特徴はdatasets.features.ClassLabelであるため、この例のラベルIDに対応する名前を調べるために使用できます。

まずは、「labels」の特徴定義にアクセスしましょう。

labels = ds['train'].features['labels']
labels

ClassLabel(num_classes=3, names=['angular_leaf_spot', 'bean_rust', 'healthy'], names_file=None, id=None)

さて、例のクラスラベルを出力してみましょう。これは、ClassLabelのint2str関数を使用することで行うことができます。この関数は、クラスの整数表現を渡して対応する文字列ラベルを調べることができます。

labels.int2str(ex['labels'])

'bean_rust'

上記の画像は、豆の葉が「Bean Rust」という深刻な病気に感染していることがわかります。 😢

各クラスからいくつかの例をグリッドで表示するための関数を作成しましょう。これにより、作業内容をより良く把握することができます。

import random
from PIL import ImageDraw, ImageFont, Image

def show_examples(ds, seed: int = 1234, examples_per_class: int = 3, size=(350, 350)):

    w, h = size
    labels = ds['train'].features['labels'].names
    grid = Image.new('RGB', size=(examples_per_class * w, len(labels) * h))
    draw = ImageDraw.Draw(grid)
    font = ImageFont.truetype("/usr/share/fonts/truetype/liberation/LiberationMono-Bold.ttf", 24)

    for label_id, label in enumerate(labels):

        # データセットを単一のラベルでフィルタリングし、シャッフルしていくつかのサンプルを取得します
        ds_slice = ds['train'].filter(lambda ex: ex['labels'] == label_id).shuffle(seed).select(range(examples_per_class))

        # このラベルの例を一列にプロットします
        for i, example in enumerate(ds_slice):
            image = example['image']
            idx = examples_per_class * label_id + i
            box = (idx % examples_per_class * w, idx // examples_per_class * h)
            grid.paste(image.resize(size), box=box)
            draw.text(box, label, (255, 255, 255), font=font)

    return grid

show_examples(ds, seed=random.randint(0, 1337), examples_per_class=3)

データセットの各クラスからいくつかの例を含むグリッド

見ているところからわかるように、

• Angular Leaf Spot: 不規則な茶色いパッチがあります
• Bean Rust: 白黄色の環で囲まれた円形の茶色い斑点があります
• Healthy: …健康そうです 🤷‍♂️

ViT特徴抽出器の読み込み

今、私たちは画像の見た目を知り、解決しようとしている問題をよりよく理解しています。さて、これらの画像をモデルに適用する方法を見てみましょう！

ViTモデルをトレーニングする際には、これらのモデルに供給される画像に特定の変換が適用されます。間違った変換を画像に適用すると、モデルは何を見ているのか理解できません！ 🖼 ➡️ 🔢

正しい変換を適用するためには、使用する予定の事前学習モデルと一緒に保存された設定で初期化されたViTFeatureExtractorを使用します。今回は、google/vit-base-patch16-224-in21kモデルを使用する予定なので、Hugging Face Hubからその特徴抽出器を読み込みましょう。

from transformers import ViTFeatureExtractor

model_name_or_path = 'google/vit-base-patch16-224-in21k'
feature_extractor = ViTFeatureExtractor.from_pretrained(model_name_or_path)

特徴抽出器の設定を表示するには、それを印刷します。

ViTFeatureExtractor {
  "do_normalize": true,
  "do_resize": true,
  "feature_extractor_type": "ViTFeatureExtractor",
  "image_mean": [
    0.5,
    0.5,
    0.5
  ],
  "image_std": [
    0.5,
    0.5,
    0.5
  ],
  "resample": 2,
  "size": 224
}

画像を処理するには、単純に特徴抽出器のコール関数に渡します。これにより、モデルに渡すための数値表現であるpixel valuesを含むdictが返されます。

デフォルトではNumPy配列が取得されますが、return_tensors='pt'引数を追加すると、torchテンソルが返されます。

feature_extractor(image, return_tensors='pt')

以下のような結果が得られます。

{
  'pixel_values': tensor([[[[ 0.2706,  0.3255,  0.3804,  ...]]]])
}

…テンソルの形状は(1, 3, 224, 224)です。

データセットの処理

画像の読み込みと変換を組み合わせて単一のデータセットの例を処理するための関数を作成しましょう。

def process_example(example):
    inputs = feature_extractor(example['image'], return_tensors='pt')
    inputs['labels'] = example['labels']
    return inputs

process_example(ds['train'][0])

{
  'pixel_values': tensor([[[[-0.6157, -0.6000, -0.6078,  ..., ]]]]),
  'labels': 0
}

ds.mapを呼び出して一度にすべての例に適用することもできますが、これは非常に遅くなる場合があります、特に大きなデータセットを使用する場合です。代わりに、データセットにトランスフォームを適用することができます。トランスフォームは、例をインデックスする際にのみ適用されます。

ただし、ds.with_transformが期待するように、最後の関数をバッチデータを受け入れるように更新する必要があります。

ds = load_dataset('beans')

def transform(example_batch):
    # PILイメージのリストをピクセル値に変換します
    inputs = feature_extractor([x for x in example_batch['image']], return_tensors='pt')

    # ラベルを忘れずに含めてください！
    inputs['labels'] = example_batch['labels']
    return inputs

ds.with_transform(transform)を使用してデータセットに直接適用することができます。

prepared_ds = ds.with_transform(transform)

これで、データセットから例を取得する際に、トランスフォームがリアルタイムに適用されます（サンプルとスライスの両方に適用されることが示されています）

prepared_ds['train'][0:2]

今回、pixel_valuesテンソルの形状は(2, 3, 224, 224)となります。

{
  'pixel_values': tensor([[[[-0.6157, -0.6000, -0.6078,  ..., ]]]]),
  'labels': [0, 0]
}

データは処理され、トレーニングパイプラインの設定を開始する準備ができました。このブログ投稿では🤗のTrainerを使用しますが、それにはまずいくつかのことを行う必要があります:

• collate関数を定義します。

• 評価指標を定義します。トレーニング中、モデルは予測の正確性で評価されるべきです。それに応じてcompute_metrics関数を定義する必要があります。

• 事前学習済みのチェックポイントを読み込みます。事前学習済みのチェックポイントを読み込み、トレーニングに適切に設定する必要があります。

• トレーニングの設定を定義します。

モデルを微調整した後、評価データで正しく評価し、画像の分類を正しく学習したことを確認します。

データコレータを定義する

バッチは辞書のリストとして渡されるため、それらをバッチテンソルに展開してスタックするだけです。

collate_fnはバッチ辞書を返すので、後でモデルへの入力を**アンパックできます。✨

import torch

def collate_fn(batch):
    return {
        'pixel_values': torch.stack([x['pixel_values'] for x in batch]),
        'labels': torch.tensor([x['labels'] for x in batch])
    }

評価指標を定義する

datasetsからの精度指標は、予測とラベルを比較するために簡単に使用できます。以下では、Trainerで使用されるcompute_metrics関数内でそれを使用する方法が示されています。

import numpy as np
from datasets import load_metric

metric = load_metric("accuracy")
def compute_metrics(p):
    return metric.compute(predictions=np.argmax(p.predictions, axis=1), references=p.label_ids)

事前学習済みモデルを読み込みましょう。init時にnum_labelsを追加することで、モデルは適切なユニット数の分類ヘッドを作成します。また、人間が読みやすいラベルをHubウィジェットで使用できるように、id2labelとlabel2idのマッピングも含めます（push_to_hubを選択した場合）。

from transformers import ViTForImageClassification

labels = ds['train'].features['labels'].names

model = ViTForImageClassification.from_pretrained(
    model_name_or_path,
    num_labels=len(labels),
    id2label={str(i): c for i, c in enumerate(labels)},
    label2id={c: str(i) for i, c in enumerate(labels)}
)

トレーニングの準備がほぼ整いました！最後に必要なのは、TrainingArgumentsを定義してトレーニングの設定を行うことです。

これらのほとんどは自明ですが、ここでかなり重要なものの1つはremove_unused_columns=Falseです。これにより、モデルの呼び出し関数で使用されない特徴が削除されます。デフォルトではTrueですが、通常は未使用の特徴列を削除するのが理想的であり、モデルの呼び出し関数に入力を展開しやすくなります。しかし、私たちの場合は、’pixel_values’を作成するために未使用の特徴（特に’image’）が必要です。

言いたいことは、remove_unused_columns=Falseを設定し忘れると問題が発生します。

from transformers import TrainingArguments

training_args = TrainingArguments(
  output_dir="./vit-base-beans",
  per_device_train_batch_size=16,
  evaluation_strategy="steps",
  num_train_epochs=4,
  fp16=True,
  save_steps=100,
  eval_steps=100,
  logging_steps=10,
  learning_rate=2e-4,
  save_total_limit=2,
  remove_unused_columns=False,
  push_to_hub=False,
  report_to='tensorboard',
  load_best_model_at_end=True,
)

さあ、すべてのインスタンスを Trainer に渡すことができ、トレーニングを開始する準備が整いました！

from transformers import Trainer

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=collate_fn,
    compute_metrics=compute_metrics,
    train_dataset=prepared_ds["train"],
    eval_dataset=prepared_ds["validation"],
    tokenizer=feature_extractor,
)

トレーニング 🚀

train_results = trainer.train()
trainer.save_model()
trainer.log_metrics("train", train_results.metrics)
trainer.save_metrics("train", train_results.metrics)
trainer.save_state()

評価 📊

metrics = trainer.evaluate(prepared_ds['validation'])
trainer.log_metrics("eval", metrics)
trainer.save_metrics("eval", metrics)

ここに評価結果があります – Cool beans! ごめんなさい、言っておかなければなりませんでした。

***** eval metrics *****
  epoch                   =        4.0
  eval_accuracy           =      0.985
  eval_loss               =     0.0637
  eval_runtime            = 0:00:02.13
  eval_samples_per_second =     62.356
  eval_steps_per_second   =       7.97

最後に、もし望むのであれば、モデルをハブにプッシュすることができます。トレーニングの設定で push_to_hub=True を指定した場合には、ここでプッシュします。ただし、ハブにプッシュするためには、git-lfs をインストールしており、Hugging Face アカウントにログインしている必要があります（huggingface-cli login を使用してログインできます）。

kwargs = {
    "finetuned_from": model.config._name_or_path,
    "tasks": "image-classification",
    "dataset": 'beans',
    "tags": ['image-classification'],
}

if training_args.push_to_hub:
    trainer.push_to_hub('🍻 cheers', **kwargs)
else:
    trainer.create_model_card(**kwargs)

結果のモデルは nateraw/vit-base-beans に共有されました。おそらく、豆の葉の写真が手元にあるとは思いませんので、試してみるためのいくつかの例を追加しました！ 🚀

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!