「いや、いや、そこには置かないで！このAIメソッドは拡散モデルを使って連続的なレイアウト編集が可能です」

このAIメソッドは拡散モデルを使って連続的なレイアウト編集が可能です

この時点で、テキストから画像への変換モデルは誰もが馴染んでいます。昨年の安定した拡散のリリースと共に登場し、それ以来、多くのアプリケーションで使用されてきました。さらに重要なことに、AIによって生成された画像と本物の画像を区別するのが困難になるほど、ますます向上してきました。

テキストから画像への変換モデルは、言語と視覚的理解のギャップを埋める画期的な技術です。テキストの記述に基づいてリアルな画像を生成する驚異的な能力を持っています。これにより、コンテンツ生成とビジュアルストーリーテリングの新たなレベルが開放されます。

これらのモデルは、深層学習と大規模なデータセットの力を活用しています。

• 「I2D2に会ってください：制約付きデコーディングと自己模倣学習を用いた言語モデルからの汎用知識生成のための新しいAIフレームワーク」
• AIにおける音の革命に備えよう 2023年は生成音波の年です
• 2023年のトップジェネレーティブAI企業

これらは自然言語処理（NLP）とコンピュータビジョン（CV）の最先端の融合を表しています。深層ニューラルネットワークと高度な技術を使用して、単語の意味を視覚的な表現に変換します。

プロセスは、まずテキストエンコーダによって始まります。このエンコーダは、入力のテキスト記述を意味のある潜在表現にエンコードします。この表現は、言語と画像のドメインを結ぶ役割を果たします。次に、画像デコーダがこの潜在表現を取り、与えられたテキストに合致する画像を生成します。モデルは、テキスト-画像のペアのデータセットから学習する反復的なトレーニングプロセスを通じて、テキスト記述に表現される細部を捉える能力を徐々に磨きます。

しかし、テキストから画像への変換モデルの主な問題は、画像のレイアウトの制御における制約です。この分野での最近の進歩にもかかわらず、テキストを通じて正確な空間関係を表現することは依然として難しいです。連続的なレイアウト編集の重要な障害は、オブジェクトの位置を再配置および編集する必要がある一方で、元の画像の視覚的な特性を保持する必要があることです。

この制約を克服する方法はあるでしょうか？それでは、連続的なレイアウト編集と出会う時がきました。これは、単一入力画像のための革新的なレイアウト編集を提案する新しい研究です。

従来の方法では、単一の画像内の複数のオブジェクトの概念を学習することが難しいという課題がありました。その理由の一つは、テキストの記述はしばしば解釈の余地を残し、特定の空間的関係、詳細なディテール、微妙な視覚的属性を捉えるのが困難になることです。さらに、従来の方法では、オブジェクトを正確に整列させること、位置を制御すること、または提供されたテキスト入力に基づいてシーン全体のレイアウトを調整することが難しい場合があります。

これらの制約を克服するために、連続的なレイアウト編集はマスクされたテキストの逆転という新しい手法を使用しています。異なるオブジェクトの概念を分離し、それぞれのトークンに埋め込んで、提案された方法は各オブジェクトの視覚的特性を効果的に捉えることができます。このブレイクスルーにより、オブジェクトの配置を正確に制御し、視覚的に魅力的なレイアウトを生成することができます。

この方法は、diffusionモデルを用いたトレーニングフリーの最適化手法を使用してレイアウト制御を実現します。その核心アイデアは、拡散プロセス中にクロスアテンションメカニズムを反復的に最適化することです。この最適化は、指定されたオブジェクトとレイアウト内の指定された領域との整列を優先する領域損失によってガイドされます。オブジェクトのテキスト埋め込みと対応する領域との間のより強いクロスアテンションを促すことで、この方法は追加のトレーニングや事前学習モデルの微調整を必要とせずに、オブジェクトの位置に対する正確かつ柔軟な制御を可能にします。

連続的なレイアウト編集は、単一の画像のレイアウト編集において他のベースライン技術よりも優れています。さらに、ユーザーインターフェースを備えたインタラクティブなレイアウト編集が含まれており、デザインプロセスを向上させ、ユーザーにとって直感的になります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!