混沌からの彫刻芸術：拡散モデル — SMLD

「混沌から生まれる芸術の彫刻：拡散モデル — SMLD」

想像力は現実を創り出します…

前の記事では、拡散モデルの一般的な構造と非常に人気のあるカテゴリであるDenoising Diffusion Probabilistic Models（DDPM）について説明しました。今回は、拡散プロセスを定式化する完全に異なるが同等のアプローチを見てみましょう。このクラスのモデルはSMLDsと呼ばれ、後ほどより明確になるでしょう。

さあ、旅を始めましょう！

導入

これらのモデルの核心には、確率密度p(x)の（シュタイン）スコア関数である∇ₓlogp(x)があります。

この量は、高密度領域内のランダムサンプルx₀からサンプルxₙに向かう方向を提供します。このプロセスに使用されるアルゴリズムは、ランジュバンサンプリングアルゴリズムと呼ばれます。

• 偉大さの開放：アレクサンダー大王の創造的AIとの旅 (Idai-sa no kaihō Arekusandā Taio no sōzō-teki AI to no tabi)
• 「11つのPython魔法メソッド- プログラマーが知っているべき」
• GPT-4の進化：Python Plotlyダッシュボードの簡単な作成方法

DDPMが熱力学から影響を受けたように、SMLDsの基本的なアイデアは物理学に遡ることができます。特に、物理学ではランジュバンダイナミクスとして知られるランジュバンサンプリングは、フランスの物理学者ポール・ランジュバンによって開発された分子システムのダイナミクスの数学的モデリング手法です。

しかし話はここまでにして、この美しいアイデアの実際の数学を見てみましょう！

Score Matching via Langevin Dynamics

この拡散モデルのこのカテゴリの理論的な基礎は、「データ分布の勾配を推定することによる生成モデリング」という画期的な論文で確立されました。ランジュバンサンプリングアルゴリズムによれば、以下の反復プロセスを得ます:

ここで:

zₜ∼ N (0, I)、ε > 0、x₀∼ p(x₀)（事前分布）。

数学では、これはランジュバンマルコフチェインモンテカルロ（MCMC）として知られています。このプロセスにより、確率分布p(x)からスコア関数のみを使用してサンプリングが可能になります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!