UTオースティンとUCバークレーの研究者が、アンビエントディフュージョンを紹介します：入力としての破損したデータのみを使用してディフュージョンモデルをトレーニング/微調整するためのAIフレームワーク

UTオースティンとUCバークレーの研究者がアンビエントディフュージョンのAIフレームワークを紹介

高次元の分布を学習し、逆問題を解決するために、生成拡散モデルが柔軟かつ強力なフレームワークとして現れています。Dalle-2、Latent Diffusion、Imagenなどのテキスト条件付き基礎モデルは、最近のいくつかの進歩により、一般的な画像領域で卓越したパフォーマンスを達成しています。拡散モデルは最近、トレーニングセットからのサンプルを記憶する能力を示しました。さらに、モデルへの単純なクエリアクセスを持つ攻撃者は、データセットのサンプルを取得することができ、プライバシー、セキュリティ、著作権の問題を引き起こす可能性があります。

研究者は、大幅に汚染されたサンプルから未知の分布を学習できる最初の拡散ベースのフレームワークを提案しています。これは、クリーンなサンプルを入手することが困難または高価な科学的文脈で発生する問題です。生成モデルはクリーンなトレーニングデータには接触しないため、特定のトレーニングサンプルを記憶する可能性が低くなります。中心的な概念は、拡散中に元の歪んだ画像をさらに破損させることで、追加の測定歪みを導入し、モデルに他の破損した画像から元の破損した画像を予測するようにすることです。科学的な調査は、この追加の測定歪みを考慮して、完全な非歪んだ画像の条件付き期待値を獲得する能力を持つモデルを生成するアプローチを検証しています。インペインティングと圧縮センシングは、この一般化に該当する2つの破損方法です。研究者は、これらのモデルがすべてのトレーニングサンプルの90％以上が欠落した場合でも、分布を学習できることを業界標準のベンチマークで証明しています。また、基礎モデルをトレーニングセットの記憶なしで微調整し、クリーンな分布を学習できることも示しています。

注目すべき特徴

• 「LLMsを使用したモバイルアプリの音声と自然言語の入力」
• CDPとAIの交差点：人工知能が顧客データプラットフォームを革新する方法
• LangChainによるAIの変革：テキストデータのゲームチェンジャー

• この研究の中心的な概念は、画像をさらに歪ませ、モデルに歪んだ画像を予測させることです。
• 彼らのアプローチは、一般的なベンチマーク（CelebA、CIFAR-10、AFHQ）の破損したトレーニングデータを使用して拡散モデルをトレーニングします。
• 研究者は、学習された条件付き期待値に基づいて所望の分布p0(x0)のラフなサンプラを提供します。
• 研究によれば、画像の90％が欠落している場合でも、元の写真の分布についてかなりの情報を学習することができます。これは、以前の最も優れたAmbientGANおよび自然なベースラインよりも優れた結果を示しています。
• トレーニング中にクリーンな画像を見たことがないため、モデルは特定の逆問題を処理するための最先端の拡散モデルと同等またはそれ以上のパフォーマンスを発揮することが示されています。ベースラインは多くの拡散ステージを必要とする一方、モデルはタスクを達成するために単一の予測ステップのみを必要とします。
• このアプローチは、研究コミュニティで標準的な事前学習済み拡散モデルをさらに改良するために使用されます。汚染されたサンプルの少ないデータから分布を学習することが可能であり、微調整プロセスは単一のGPU上で数時間しかかかりません。
• 異なるドメインの一部の破損したサンプルは、Deepfloyd’s IFなどの基礎モデルを微調整するためにも使用できます。
• 学習効果を定量化するために、研究者は破損ありと破損なしでトレーニングされたモデルを比較し、トレーニングサンプルとのトップ1の類似性の分布を示しています。
• 十分に歪んだデータでトレーニングされたモデルは、元のトレーニングデータの知識を保持しないことが示されています。破損度合い（記憶のレベルを決定する）とトレーニングデータ、学習されたジェネレータの品質との妥協を評価しています。

制約事項

• 破損のレベルは、ジェネレータの品質と反比例します。破損のレベルを増すことで、ジェネレータは記憶から学習する可能性が低くなりますが、品質が低下します。この妥協の正確な定義は未解決の研究課題です。また、トレーニングされたモデルでE[x0|xt]を推定するために、研究者はこの論文で基本的な近似アルゴリズムを試しました。
• さらに、トレーニングサンプルの保護に関する厳格なプライバシー保証を行うためには、データ分布に関する仮定を立てる必要があります。補足資料には、復元オラクルがE[x0|xt]を正確に復元できることが示されていますが、具体的な手法は提供されていません。
• この方法は、測定値にノイズも含まれる場合には機能しません。SURE正則化を使用することで、将来の研究がこの制限を克服することができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!