「CMU研究者がDiffusion-TTAを発表:類まれなテスト時間適応のために生成的フィードバックで識別的AIモデルを高める」

「CMU研究者がDiffusion-TTAを発表:生成的フィードバックで識別的AIモデルを高め、類まれなテスト時間適応を実現する」

拡散モデルは、複雑なデータ分布から高品質なサンプルを生成するために使用されます。識別的な拡散モデルは、教師あり分類や回帰のようなタスクにおいて、与えられた入力データに対してラベルまたは出力を予測することを目指して拡散モデルの原則を活用します。識別的な拡散モデルは、不確実性の扱い方の向上、ノイズに対する強さ、データ内の複雑な依存関係の捕捉などの利点を提供します。

生成モデルは、新しいデータ点の学習データ分布からの偏差を定量化することで、異常値や外れ値を識別することができます。通常、これらの生成モデルと識別モデルは競合する代替手段と考えられています。カーネギーメロン大学の研究者は、生成逆と識別モデルの繰り返し推論の利点と、識別モデルの適応能力を利用する方法で、推論段階でこれらの2つのモデルを結合させました。

チームは、Diffusion-TTA (Diffusion-based Test Time Adaptation) モデルを構築しました。このモデルは、画像の分類器、セグメンタ、および深度予測モデルの方法を使用して、個々の未ラベルの画像に適応させ、その出力を使用して画像拡散モデルの条件付けを変調させ、画像拡散を最大化します。彼らのモデルはエンコーダーデコーダーアーキテクチャに似ています。事前に訓練された識別モデルは、画像を仮説(オブジェクトのカテゴリラベル、セグメンテーションマップ、深度マップなど)にエンコードします。これを事前に訓練された生成モデルの条件付けとして使用して画像を生成します。

Diffusion-TTA は、ImageNet およびその派生データセットを含む既存のベンチマークで、インサイドおよびアウトサイドのインスタンスに対して画像分類器の適応を効果的に行います。彼らは画像再構成損失を使用してモデルを微調整します。適応は、拡散尤度の勾配を識別モデルの重みに逆伝播させることで、テストセットの各インスタンスに対して行われます。彼らは、彼らのモデルがこれまでの最先端のTTA手法を上回り、複数の識別的および生成的な拡散モデルのバリアントに対して効果的であることを示しています。

研究者はさまざまな設計の選択肢に対する除去分析を示し、拡散-TTA が拡散時間ステップ、各ステップごとのサンプル数、およびバッチサイズのようなハイパーパラメータとどのように変化するかを調査しました。また、異なるモデルパラメータの適応効果を学習しました。

研究者は、Diffusion-TTA が一貫して Diffusion Classifier を上回ることを示しています。彼らは、(事前に訓練された)識別モデルの重み初期化により、識別モデルが生成損失に対して過学習しないため、このトリビアルな解に収束しないと推測しています。

総括すると、過去には生成モデルは画像分類器やセグメントのテスト時の適応に使用されてきました。しかし、ジョイント識別タスク損失と自己教師付き画像再構成損失の下で Diffusion-TTA モデルを共同トレーニングさせることで、効率的な結果を得ることができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

このAIの論文は、マルチビュー映像を使用して3Dシーンダイナミクスをモデリングするための画期的な方法を紹介しています

NVFiは、時間の経過に伴って進化する3Dシーンのダイナミクスを理解し予測するという複雑な課題に取り組んでいます。これは、...

機械学習

「トップAIコンテンツ生成ツール(2023年)」

人工知能(AI)のおかげで、文章の作成方法は大きく変わりました。多くの人々がAIコンテンツジェネレーターを使用しています...

機械学習

このAI論文では、革新的なAIフレームワークを使用したDeWaveが公開単語彙BCIのためのEEGからテキストへの翻訳を革新しています

GrapheneX-UTSヒューマンセントリック人工知能センター(シドニー工科大学(UTS))の研究者たちは、沈黙した思考を解読し、...

データサイエンス

GGMLとllama.cppを使用してLlamaモデルを量子化する

この記事では、私たちはGGMLとllama.cppを使用してファインチューニングされたLlama 2モデルを量子化しますその後、GGMLモデ...

機械学習

「OceanBaseを使用して、ゼロからLangchainの代替を作成する」

「オーシャンベースとAIの統合からモデルのトレーニングやチャットボットの作成まで、興味深い旅を通じてこのトピックを探求...