「何を餌にしたの？このAIモデルは拡散モデルから訓練データを抽出できます」

AIモデルは拡散モデルから訓練データを抽出できます

2022年、拡散モデルはAI領域の重要な一部となりました。私たちはそれらによって生成された写真のようなリアルな画像を見てきましたし、それらはますます良くなっていきました。拡散モデルの成功は、後続の技術の基礎を築いた「Stable Diffusion」に大いに負うところがあります。拡散モデルは、画像生成のための主要な手法としてすぐに定着しました。

拡散モデル、またはノイズ除去拡散モデルとも呼ばれるものは、生成型ニューラルネットワークの一種です。訓練データの分布からノイズを選択し、視覚的に魅力的な出力になるまで徐々に洗練していきます。この徐々の除去プロセスにより、スケーリングや制御が容易になります。また、通常、従来の手法である生成対抗ネットワーク（GAN）と比較して、より高品質なサンプルを生成する傾向があります。

拡散モデルの画像生成能力は、以前の手法とは異なるものと考えられています。以前の大規模画像生成モデルは、過学習に弱く、訓練サンプルに類似した画像を生成することができましたが、拡散モデルは訓練セットの画像とは大きく異なる画像を生成すると考えられています。この特性により、拡散モデルは、訓練画像内の個人の身元や機密情報を保護する必要があるプライバシーに配慮した研究者にとって、有望なツールとなっています。元のデータセットから逸脱した新しい画像を生成することにより、拡散モデルは生成された出力の品質を損なうことなくプライバシーを保護する手段を提供します。

• Pythonのzip()関数の探索：反復とデータの組み合わせの簡略化
• 「土木工学におけるデータサイエンスの力を探る」
• データスクレイピングが注目されています：言語モデルは皆のコンテンツをトレーニングすることで飛び越えているのでしょうか？

しかし、本当にそうなのでしょうか？拡散モデルは本当に訓練画像を記憶しないのでしょうか？それらを使用して訓練セットのサンプルにアクセスすることはできないのでしょうか？設計者はこれらの質問を投げかけ、拡散モデルが実際に訓練データを記憶することを示すための研究を行いました。

最先端の拡散モデルの訓練データの再生成は可能ですが、簡単ではありません。まず、特定の訓練サンプルは抽出しやすく、特に重複したものはさらに抽出しやすいです。著者らはこの特性を利用して「Stable Diffusion」から訓練サンプルを抽出しています。まず、訓練データセット内のほぼ同一の画像を特定します。もちろん、これを手動で行うことは不可能です。なぜなら、「Stable Diffusion」の訓練データセットには約1億6000万枚の画像が含まれているからです。代わりに、彼らはCLIPを使用して画像を埋め込み、この低次元空間で画像を比較します。CLIPの埋め込みが高いコサイン類似度を持つ場合、これらのキャプションは抽出攻撃の入力プロンプトとして使用されます。

攻撃のための潜在的なテキストプロンプトを持っているとすれば、次のステップは同じプロンプトを使用して多くのサンプル（この場合は500個）を生成し、記憶化が存在するかどうかを調べることです。これらの500枚の画像は同じプロンプトを使用して生成されますが、ランダムなシードにより全て異なる外見を持ちます。それから、各画像を互いに接続し、類似距離を測定してこれらの接続を使用してグラフを構築します。もしグラフ上の特定の場所に蓄積が見られる場合、例えば1つの画像に接続される画像が10枚以上ある場合、その中心画像は記憶化されたものと見なされます。彼らがこの手法を「Stable Diffusion」に適用したところ、訓練データセットの画像とほぼ同一のサンプルを生成することができました。

彼らは最先端の拡散モデルに対して実験的な攻撃を行い、興味深い観察結果を得ました。最先端の拡散モデルは、比較可能なGANよりも多くの情報を記憶しており、より強力な拡散モデルほどより多くの情報を記憶します。これは、生成画像モデルの脆弱性が時間とともに増加する可能性を示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!