「ベイズフローネットワークの公開：生成モデリングの新たなフロンティア」

ベイズフローネットワークの公開

生成モデリングは、モデルが入力データのパターンを発見することを学ぶ教師なし機械学習の一環です。この知識を活用して、モデルはオリジナルのトレーニングデータセットに関連する新しいデータを自己生成することができます。生成AIの分野では、自己回帰モデル、深層VAE、拡散モデルなど、使用されるネットワークにおいて数多くの進歩がありました。しかし、これらのモデルは連続的または離散的なデータの場合には欠点を持つ傾向があります。

研究者たちは、ベイジアンフローネットワーク（BFN）と呼ばれる新しいタイプの生成モデルを提案しました。BFNは、アリスとボブを使って考えることができます。ボブは基本的な初期分布から始めます。彼はそのパラメータをニューラルネットワークに使用して新しい「出力分布」のパラメータを取得します。アリスは計画的な方法でデータにノイズを加え、それを「送信者分布」とします。ボブは出力分布と同じノイズを組み合わせて「受信者分布」を作成します。彼は出力分布に基づいてデータのすべての可能な値に対して仮想的な送信者分布を結合し、それらの確率に従って考慮します。

アリスは送信者分布からサンプルをボブに送ります。ボブはこのサンプルに基づいてベイジアンの規則に従って初期分布を更新します。初期分布が各データ変数を個別にモデル化している場合、更新は容易に行われます。ボブは複数のステップでこのプロセスを繰り返します。最終的に、彼の予測は十分に正確になり、アリスはノイズのないデータを送信することができます。

• 「P-値：統計的有意性の理解を平易な言葉で」
• CipherChatをご紹介します：安全なアライメントの一般化を非自然言語、具体的には暗号に対して体系的に検証するためのAIフレームワーク
• PDFとのチャット | PythonとOpenAIによるテキストの対話力の向上

次に説明されたプロセスは、nステップの損失関数を作成し、無限のステップ数を考慮することで連続時間に拡張することもできます。連続時間では、ベイジアンの更新はデータからネットワークへの情報のベイジアンフローとなります。連続時間の損失を使用してトレーニングされたBFNは、推論とサンプリングの際に任意の数の離散ステップで実行でき、ステップ数が増えるにつれて性能が向上します。

連続データの場合、BFNは最も関連性が高く、変分拡散モデルと非常に似た連続時間の損失関数を持っています。この場合の主な違いは、BFNではネットワークの入力が変分拡散や他の連続拡散モデルよりもはるかにノイズが少ないことです。これは一般的に、BFNの生成プロセスが固定された事前分布のパラメータから始まる一方、拡散モデルの生成プロセスは純粋なノイズから始まるためです。

研究者たちは、BFNのフレームワークを連続的な、離散的な、離散化されたデータに適用することを提案しました。実験結果は、CIFAR-10（32×32の8ビットカラー画像）、動的に2値化されたMNIST（28×28の2値化された手書き数字の画像）、およびtext8（長さ256の文字列シーケンス、サイズ27のアルファベット）を対象に行われ、BFNがすべてのベンチマークで優れた性能を発揮しました。この研究は、生成モデリングにおけるBFNへの新たな視点を提供し、この分野でのさらなる可能性を開拓しました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!