MITの研究者が、生成プロセスの改善のために「リスタートサンプリング」を導入

MITの研究者は、「リスタートサンプリング」を導入して生成プロセスを改善しました

微分方程式ベースの深層生成モデルは、最近、画像合成から生物学までのさまざまな分野で、高次元データのモデリングにおいて有力なツールとして登場しています。これらのモデルは、逆に微分方程式を反復的に解いて、基本的な分布(拡散モデルの場合はガウス分布など)を複雑なデータ分布に変換します。

これらの可逆プロセスをモデリングできる事前サンプラーは、次の2つのタイプに分類されています:

  1. 初期のランダム化後は決定論的に進化するODEサンプラー
  2. 生成トラジェクトリが確率的であるSDEサンプラー

いくつかの研究によると、これらのサンプラーはさまざまな設定で利点を示しています。ODEソルバーによって生成されるより小さい離散化エラーにより、より大きなステップサイズでも使用可能なサンプル品質が得られます。ただし、その子孫の品質はすぐに飽和します。一方、SDEは大きなNFE領域で品質を向上させますが、サンプリングに費やす時間が増えます。

このことに触発されて、MITの研究者は、ODEとSDEの利点を組み合わせた新しいサンプリング手法であるRestartを開発しました。Restartサンプリングアルゴリズムは、固定時間内での2つのサブルーチンのK回の反復から構成されています:大量のノイズを導入するRestartフォワードプロセス(元の逆プロセスを「再開」)と、逆ODEを実行するRestartバックワードプロセス。

Restartアルゴリズムは、ランダム性とドリフトを分離し、Restartのフォワードプロセスで追加されるノイズの量は、以前のSDEのドリフトと交錯する小さな単一ステップのノイズよりもはるかに大きくなっており、蓄積されたエラーに対する収縮効果が増大します。各Restart反復で導入される収縮効果は、K回のフォワードとバックワードのサイクルによって強化されます。Restartは、決定論的な逆プロセスにより、離散化のミスを減らし、ODEのようなステップサイズを実現することができます。実際には、Restart間隔は、蓄積されたエラーが大きいシミュレーションの最後に配置されることが多く、収縮効果を最大限に活用するために使用されます。さらに、より困難な活動では、早期のミスを減らすために複数のRestart期間が使用されます。

実験結果は、さまざまなNFE、データセット、事前トレーニング済みモデルにおいて、Restartが品質と速度において最先端のODEおよびSDEソルバーを上回ることを示しています。特に、VPを使用したCIFAR-10では、Restartは以前の最良のSDEに比べて10倍のスピードアップを実現し、EDMを使用したImageNet 64×64では、ODEソルバーを上回る小さなNFE領域でも2倍のスピードアップを実現しています。

研究者はまた、RestartをLAION 512 x 512画像で事前トレーニングされたStable Diffusionモデルに適用して、テキストから画像への変換を行っています。Restartは、CLIP/Aestheticスコアによるテキスト-画像の整合性/視覚品質と、FIDスコアによる多様性の間で、変動する分類器なしのガイダンス強度を用いて、以前のサンプラーに比べてより良いバランスを実現しています。

Restartフレームワークの潜在的な可能性を十分に活用するために、チームは将来的にはモデルのエラー分析に基づいてRestartの適切なハイパーパラメータを自動的に選択するためのより道徳的な手法を構築する予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

あなたのビジネスに適応型AIを実装する方法

人工知能は、多様な産業においてビジネスの大きな変革をもたらすことができる強力な技術として現れましたしかし、従来の機械...

AIニュース

「Google Chromeは、努力を要さずに読むことができるAIによる記事の要約を表示するようになりました」

Googleは、AIを活用したSearch Generative Experience(SGE)により、再びイノベーションの最前線に立っています。このテック...

人工知能

ゲーミングでのファウンデーションモデルの使い方はどのようなものですか?

AI技術は、メディアやエンターテイメント、自動車、カスタマーサービスなど、様々な業界において大きな影響を与えています。...

データサイエンス

「スノーフレーク vs データブリックス:最高のクラウドデータプラットフォームを作るために競争する」

「最高のクラウドデータプラットフォームの競争に参加したいですか?SnowflakeとData Bricksの違いを見てみてください」

機械学習

「AIの学び方」 AIを学ぶ方法

初心者の一般的な誤解は、最新のアルゴリズムを実装したいくつかのチュートリアルからAI/MLを学べるということですそのため、...

機械学習

「Amazon SageMaker JumpStartで大規模な言語モデルの応答をストリーム配信する」

「Amazon SageMaker JumpStartでは、言語モデル(LLM)の推論応答をストリーミングで提供できるようになりましたトークンのス...