🤗データセットを使った画像検索

'🤗画像検索にデータセットを利用'

🤗 datasetsは、データセットに簡単にアクセスして共有することができるライブラリです。また、メモリに収まらないデータを効率的に処理することも容易にします。

datasetsが最初にリリースされた当初は、主にテキストデータと関連していました。しかし、最近では、datasetsは音声や画像に対するサポートを増やしています。特に、画像のためのdatasetsの機能タイプが追加されました。以前のブログ投稿では、datasetsと🤗 transformersを組み合わせて画像分類モデルのトレーニング方法を紹介しました。このブログ投稿では、datasetsと他のいくつかのライブラリを組み合わせて画像検索アプリケーションを作成する方法を見ていきます。

まず、datasetsをインストールします。画像を扱うために、pillowもインストールします。さらに、sentence_transformersとfaissも必要です。これらについては後ほど詳しく説明します。また、richもインストールします。ここでは簡単に使用するだけですが、非常に便利なパッケージなので、ぜひ詳しく探索してみてください！

• カスタムデータセットでセマンティックセグメンテーションモデルを微調整する
• PyTorch完全にシャーディングされたデータパラレルを使用して、大規模モデルのトレーニングを加速する
• 実際のデータなしで効率的なテーブルの事前学習：TAPEXへの導入

!pip install datasets pillow rich faiss-gpu sentence_transformers 

まずは、画像の特徴を見てみましょう。素晴らしいライブラリであるrichを使用して、Pythonオブジェクト（関数、クラスなど）を調べることができます。

from rich import inspect
import datasets

inspect(datasets.Image, help=True)

╭───────────────────────── <class 'datasets.features.image.Image'> ─────────────────────────╮
│ class Image(decode: bool = True, id: Union[str, NoneType] = None) -> None:                │
│                                                                                           │
│ 画像ファイルから画像データを読み込むための画像特徴です。                                      │
│                                                                                           │
│ 入力：画像特徴は以下の入力を受け付けます：                                                │
│ - :obj:`str`：画像ファイルへの絶対パス（ランダムアクセスが許可されています）。               │
│ - キーを持つ :obj:`dict`：                                                        │
│                                                                                           │
│     - path：アーカイブファイルへの画像ファイルの相対パスを示す文字列。                  │
│     - bytes：画像ファイルのバイト列。                                                     │
│                                                                                           │
│   これは順次アクセスが必要なアーカイブファイルに有用です。                                     │
│                                                                                           │
│ - :obj:`np.ndarray`：画像を表すNumPy配列。                                                │
│ - :obj:`PIL.Image.Image`：PILの画像オブジェクト。                                           │
│                                                                                           │
│ 引数：                                                                                     │
│     decode (:obj:`bool`、デフォルトは ``True``)：画像データをデコードするかどうか。`False`の場合、 │
│         下に示す基礎となる辞書 {"path": image_path, "bytes": image_bytes} を返します。     │
│                                                                                           │
│  decode = True                                                                            │
│   dtype = 'PIL.Image.Image'                                                               │
│      id = None                                                                            │
│ pa_type = StructType(struct<bytes: binary, path: string>)                                 │
╰───────────────────────────────────────────────────────────────────────────────────────────╯

画像を渡す方法はいくつかあります。少し後でこれについて戻ってきます。

datasetsライブラリの素晴らしい機能の1つは（データの処理、メモリマッピングなどの機能以外にも）いくつかの便利な機能を「無料」で利用できることです。その中の1つがfaissインデックスをデータセットに追加できる機能です。faissは、「密なベクトルの効率的な類似性検索とクラスタリングのためのライブラリ」です。

datasetsのドキュメントでは、テキスト検索のためにfaissインデックスを使用する例が示されています。この投稿では、画像でも同じことができるかどうかを見てみましょう。

データセット: “Digitised Books – Images identified as Embellishments. c. 1510 – c. 1900”

これは、イギリス図書館のデジタル化された書籍コレクションから抽出された画像のデータセットです。これらの画像は、広範な時期およびさまざまな分野の書籍から取得されています。画像は、各書籍のOCR（光学文字認識）出力に含まれる情報を使用して抽出されました。そのため、画像がどの書籍から抽出されたかは分かっていますが、画像に関する他の情報（例：画像に表示されている内容）は必ずしも分かっていません。

これを克服するためのいくつかの試みには、画像をFlickrにアップロードすることが含まれています。これにより、人々は画像にタグを付けたり、さまざまなカテゴリに分類したりすることができます。

また、機械学習を使用してデータセットにタグを付けるプロジェクトもあります。この作業により、タグで検索することができますが、より「豊かな」検索機能が必要かもしれません。この特定の実験では、「装飾品」を含むコレクションのサブセットで作業します。このデータセットは少し小さいため、実験に適しています。英国図書館のデータリポジトリから完全なデータを取得できます：https://doi.org/10.21250/db17。完全なデータセットはまだかなり大きいため、小さなサンプルから始めることをお勧めします。

データセットの作成

データセットは、画像が含まれるサブディレクトリのフォルダで構成されています。これは画像データセットを共有するためのかなり標準的な形式です。最近マージされたプルリクエストのおかげで、datasetsのImageFolderローダーを使用してこのデータセットを直接ロードすることができます🤯

from datasets import load_dataset
dataset = load_dataset("imagefolder", data_files="https://zenodo.org/record/6224034/files/embellishments_sample.zip?download=1")

戻り値を見てみましょう。

dataset

DatasetDict({
    train: Dataset({
        features: ['image', 'label'],
        num_rows: 10000
    })
})

DatasetDictを取得できますし、画像とラベルの特徴を持つデータセットもあります。ここではトレーニング/バリデーションの分割がないため、データセットのトレーニング部分を取得しましょう。また、データセットの例を1つ見て、これがどのようになっているかを確認しましょう。

dataset = dataset["train"]
dataset[0]

{'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=358x461 at 0x7F9488DBB090>,
 'label': 208}

ラベル列から始めましょう。これは画像の親フォルダを表しています。この場合、ラベル列は画像の取得元の書籍の出版年を表しています。これに関するマッピングは、dataset.featuresを使用して確認できます：

dataset.features['label']

この特定のデータセットでは、画像ファイル名にも画像が取得された書籍に関するメタデータが含まれています。この情報を取得する方法はいくつかあります。

データセットの例を見ると、imageの特徴がPIL.JpegImagePlugin.JpegImageFileであることがわかります。PIL.Imagesにはファイル名属性があるため、ファイル名を取得するためにこれにアクセスする方法があります。

dataset[0]['image'].filename

/root/.cache/huggingface/datasets/downloads/extracted/f324a87ed7bf3a6b83b8a353096fbd9500d6e7956e55c3d96d2b23cc03146582/embellishments_sample/1920/000499442_0_000579_1_[The Ring and the Book  etc ]_1920.jpg

この情報に簡単にアクセスできるようにするために、新しい列を作成してファイル名を抽出しましょう。これにはmapメソッドを使用します。

dataset = dataset.map(lambda example: {"fname": example['image'].filename.split("/")[-1]})

1つの例を見て、これがどのようになっているかを確認しましょう。

dataset[0]

{'fname': '000499442_0_000579_1_[The Ring and the Book  etc ]_1920.jpg',
 'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=358x461 at 0x7F94862A9650>,
 'label': 208}

メタデータを取得しました。早速いくつかの画像を見てみましょう！例にアクセスし、image列にインデックスを付けると、画像が表示されます 😃

dataset[10]['image']

注意 以前のバージョンのブログ記事では、画像をダウンロードしてロードする手順がはるかに複雑でした。新しいImageFolderローダーを使用すると、このプロセスがはるかに簡単になります 😀 特に、画像のロード方法を気にする必要はありません。データセットがこれを私たちのために処理してくれます。

全てのものをハブにプッシュしましょう！

🤗エコシステムの素晴らしい特徴の一つは、Hugging Face Hubです。ハブを使用してモデルやデータセットにアクセスすることができます。これは他の人との作業共有によく使用されるほか、進行中の作業にも役立つツールです。 datasetsは最近、push_to_hubメソッドを追加しました。このメソッドを使用すると、手間をかけずにデータセットをハブにプッシュすることができます。これにより、変換などがすでに完了したデータセットを共有することができ、非常に便利です。

今のところ、データセットをハブにプッシュして、最初は非公開に保ちます。

コードを実行している場所によっては、認証が必要な場合があります。認証するには、huggingface-cli loginコマンドを使用するか、ノートブックで実行している場合はnotebook_loginを使用できます。

from huggingface_hub import notebook_login

notebook_login()

dataset.push_to_hub('davanstrien/embellishments-sample', private=True)

注意：以前のバージョンのブログ記事では、push_to_hubを使用して画像を埋め込むためにいくつかの手順を追加する必要がありました。このプルリクエストのおかげで、これらの追加の手順について心配する必要はもうありません。単にembed_external_files=True（デフォルトの動作）であることを確認するだけで済みます。

マシンの切り替え

この時点で、データセットを作成し、ハブに移動しました。これは、別の場所で作業/データセットを再開することが可能であることを意味します。

この特定の例では、GPUへのアクセスが重要です。データを共有するためにハブを使用することで、ラップトップで作業を開始し、Google Colabで作業を再開することができます。

別のマシンに移動する場合、再度ログインする必要があるかもしれません。これを行った後、データセットをロードすることができます。

from datasets import load_dataset

dataset = load_dataset("davanstrien/embellishments-sample", use_auth_token=True)

埋め込みの作成 🕸

これで、画像がたくさん含まれるデータセットができました。画像検索アプリを作成するために、これらの画像を埋め込む必要があります。これを行うためにはいくつかの方法がありますが、一つの可能な方法は、sentence_transformersライブラリを使用してCLIPモデルを使用することです。OpenAIのCLIPモデルは、画像とテキストの両方のための結合表現を学習します。これは、テキストを入力して画像を返す必要がある私たちの目的に非常に役立ちます。

SentenceTransformerクラスを使用してモデルをダウンロードすることができます。

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('clip-ViT-B-32')

このモデルは、画像またはテキストのいずれかを入力として受け取り、埋め込みを返します。このモデルを使用して全ての画像をエンコードするために、datasetsのmapメソッドを使用することができます。mapを呼び出すと、モデルによって返された埋め込みが含まれるembeddingsというキーを持つ辞書が返されます。モデルを呼び出す際にはdevice='cuda'を渡します。これにより、エンコードがGPU上で行われます。

ds_with_embeddings = dataset.map(
    lambda example: {'embeddings':model.encode(example['image'], device='cuda')}, batched=True, batch_size=32)

push_to_hubを使用して、作業内容をハブに戻すことで、作業を「保存」することができます。

ds_with_embeddings.push_to_hub('davanstrien/embellishments-sample', private=True)

もし別のマシンに移動する場合は、ハブから作業を取り出すことができます 😃

from datasets import load_dataset

ds_with_embeddings = load_dataset("davanstrien/embellishments-sample", use_auth_token=True)

これで、画像の埋め込みを含む新しい列を持つデータセットができました。これらを手動で検索し、入力の埋め込みと比較することもできますが、datasetsにはadd_faiss_indexメソッドがあります。これは、埋め込みを検索するための効率的なインデックスを作成するためにfaissライブラリを使用します。このライブラリについての詳細は、このYouTubeビデオをご覧ください。

ds_with_embeddings['train'].add_faiss_index(column='embeddings')

Dataset({
    features: ['fname', 'year', 'path', 'image', 'embeddings'],
    num_rows: 10000
})

画像検索

注意:これらの例はデータセットの完全版から生成されているため、若干異なる結果が得られる可能性があります。

今、シンプルな画像検索を作成するために必要なすべての要素を持っています。画像をエンコードするために使用したモデルと同じモデルを使用して、入力テキストをエンコードできます。これは、近い例を見つけようとするプロンプトとして機能します。まずは「蒸気機関車」から始めましょう。

prompt = model.encode("蒸気機関車")

データセットライブラリのget_nearest_examplesメソッドを使用して、入力プロンプトの埋め込みに近い埋め込みを持つ画像を取得できます。返される結果の数を指定できます。

scores, retrieved_examples = ds_with_embeddings['train'].get_nearest_examples('embeddings', prompt, k=9)

取得した結果の最初の例にアクセスできます:

retrieved_examples['image'][0]

これは完全に蒸気機関車ではありませんが、完全に奇妙な結果でもありません。他の結果をプロットして返されたものを確認できます。

import matplotlib.pyplot as plt

plt.figure(figsize=(20, 20))
columns = 3
for i in range(9):
    image = retrieved_examples['image'][i]
    plt.subplot(9 / columns + 1, columns, i + 1)
    plt.imshow(image)

これらの結果の一部は入力プロンプトにかなり近いように見えます。さまざまなプロンプトで簡単に試すことができるように、これを関数で包みます。

def get_image_from_text(text_prompt, number_to_retrieve=9):
    prompt = model.encode(text_prompt)
    scores, retrieved_examples = ds_with_embeddings['train'].get_nearest_examples('embeddings', prompt, k=number_to_retrieve)
    plt.figure(figsize=(20, 20))
    columns = 3
    for i in range(9):
        image = retrieved_examples['image'][i]
        plt.title(text_prompt)
        plt.subplot(9 / columns + 1, columns, i + 1)
        plt.imshow(image)

get_image_from_text("太陽の裏にある山のイラスト")

さまざまなプロンプトを試す ✨

いくつかの異なるプロンプトを試してみることができるので、結果を見てみましょう:

• 一部のプロンプトは、広い「カテゴリ」を選択します。例えば、「楽器」や「動物」などです。他のプロンプトは具体的なものです。例えば、「ギター」です。

• 興味本位でブール演算子も試してみました:「猫または犬のイラスト」。

• 最後に、少し抽象的なものも試してみました:「空っぽの深淵」。

prompts = ["楽器", "ギター", "動物", "猫または犬のイラスト", "空っぽの深淵"]

for prompt in prompts:
    get_image_from_text(prompt)

これらの結果は常に正確ではありませんが、通常は妥当な結果です。すでに、このデータセット内の画像の意味的な内容を検索するために役立つ可能性があるように思われます。ただし、そのまま共有するのは控えるかもしれません…

Hugging Face Spaceの作成? 🤷🏼

このようなプロジェクトの次の明らかなステップは、Hugging Face Spaceのデモを作成することです。他のモデルでもこれを行っています。

ここまで来るのに、Gradioアプリのセットアップはかなり簡単なプロセスでした。以下はこのアプリのスクリーンショットです：

ただし、このアプリをすぐに公開することには少し慎重です。CLIPモデルのモデルカードを見ると、主な使用目的は次のとおりです：

主な使用目的

このモデルは、研究者がコンピュータビジョンモデルの堅牢性、汎化能力、およびその他の機能、バイアス、および制約をより良く理解するために使用されることを想定しています。ソース

これは、私たちがここで興味を持っていることにかなり近いです。特に、私たちはデータセットの種類（主に19世紀の書籍のイラスト）に含まれる画像にモデルがどれだけ対処できるかに興味があるかもしれません。私たちのデータセットの画像は（おそらく）トレーニングデータとはかなり異なるはずです。また、一部の画像にはテキストも含まれているため、CLIPにはOCRの能力があるということが役立つかもしれません。

ただし、モデルカードの対象外の使用例を見ると：

対象外の使用例

モデルのデプロイされた使用例（商業的であろうとなかろうと）は現在対象外です。特定のクラスタクソノミーとの特定のドメイン内テストが行われない限り、制約された環境での画像検索などの非デプロイされた使用例もお勧めできません。これは、安全性評価において、CLIPのパフォーマンスが異なるクラスタクソノミーに対して高い検査の必要性が示されたためです。これにより、現在のところ、未テストおよび非制約のモデルの任意の使用例でのデプロイメントは潜在的に有害です。ソース

「デプロイメント」は良い考えではないと示唆しています。私が得た結果は興味深いですが、まだモデルで十分に遊んでいませんし（パフォーマンスやバイアスを評価するためのシステマティックなアプローチも行っていません）、それを「デプロイ」する自信がありません。もう一つの追加の考慮事項は、対象のデータセットそのものです。画像はさまざまな主題や時代の書籍から抽出されています。植民地主義を反映している書籍も多くあり、その結果、含まれている一部の画像は特定の人々を否定的に表現している可能性があります。これは、任意のテキスト入力をプロンプトとしてエンコードできるツールと組み合わせると潜在的に問題が生じる可能性があります。

この問題に対する方法はあるかもしれませんが、もう少し考える必要があります。

結論

デモを見せることはできませんが、datasetsを使用して次のことができることを見てきました：

• 新しいImage機能タイプに画像を読み込む
• push_to_hubを使用して作業を「保存」し、これを使用してデータをマシン/セッション間で移動する
• テキスト（または画像）の入力から画像を取得するために使用できるfaissインデックスを作成する

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!