Search Results アダプタ

SalesForce AI 研究 BannerGen マルチモダリティバナー生成のためのオープンソースライブラリ

効果的なグラフィックデザインは成功したマーケティングキャンペーンの基盤です。それはデザイナーと視聴者の間のコミュニケーション橋渡しを行い、ユーザーを魅了し、重要な詳細を強調し、キャンペーンの視覚的な外観を向上させます。しかし、現在の方法は時間のかかるものであり、層ごとの組み立て作業が必要です。これには専門知識が必要であり、スケーラブルにはなりません。上記の問題を解決するために、Salesforceの研究者は、生成型AIの力を活用してデザインプロセスを効率化するオープンソースのライブラリBannerGenを導入しました。このライブラリには、3つの並列マルチモーダルバナージェネレーションメソッド、LayoutDETR、LayoutInstructPix2Pix、およびFramed Template RetrieveAdapterが含まれます。それぞれが大量のデザイングラフィックデータでトレーニングを受けており、デザインプロセスを迅速化できます。さらに、これらすべてがBannerGenのGitHubリポジトリでオープンソース化されており、Pythonモジュールとしてインポートできるため、開発者は各メソッドで実験することが容易です。BannerGenには、ライセンスされたフォントと注意深く作成されたテンプレートもあり、開発者は高品質のデザインを構築することができます。ユーザーはバナーを作成したい画像をアップロードすることができます。その画像は、主要な要素に焦点を当てて複数のサブイメージにクロッピングされます。ユーザーはまた、希望するバナーのタイプと含めたいテキストを指定することもできます。サブイメージは選択したテンプレートに統合され、見事なビジュアルが作成されます。最終的なデザインはHTMLファイルとPNGファイルとして生成されます。研究者はVAEGANフレームワークを取り入れて、生成されたデザインを現実のパターンに合わせるようにしました。DETRアーキテクチャもBannerGenに組み込まれ、LayoutDETRとして言及されています。研究者はDETRデコーダを変更して、マルチモーダルの前景入力を処理できるようにしました。このアーキテクチャにより、BannerGenは背景と前景要素をより良く理解することができ、より良い結果を生み出します。 BannerGenは、拡散モデルによって強化された画像から画像への編集技術であるInstructPix2Pixも組み込んでいます。それは背景画像をテキストが重ねられた画像に変換するように微調整されています。 3番目のメソッドであるFramed Template RetrieveAdapterは、生成されたデザインの多様性を向上させるために使用され、3つのコンポーネントで構成されています。メトリクスに基づいて最適なフレームを見つけるリトリーバー、フレームに適合するように入力画像とテキストをカスタマイズするアダプター、背景レイヤーとユーザーの入力を統合してHTML/CSSでデザインを生成するレンダラーです。まとめると、BannerGenは生成型AIを活用してユーザーがシームレスにカスタマイズされたバナーを作成できる強力で多機能なフレームワークです。BannerGenのアーキテクチャは実際のレイアウトから学ぶように設計されており、背景と前景要素を理解することができます。最終的なデザインはHTMLファイルとPNGファイルとして生成され、手動で簡単に調整することができ、すぐに使用できるように任意のメディアに埋め込むことができます。BannerGenはグラフィックデザインのプロセスを時間のかかるものから解放し、ユーザーが高品質でプロフェッショナルなデザインを生成するのを支援します。この記事はSalesForce AI Research BannerGen: An Open-Source Library for Multi-Modality Banner GenerationがMarkTechPostに最初に掲載されました。

ドメイン固有アプリケーションのためのLLM細かい調整戦略

「LLMファインチューニングとは何か、LLMをドメイン特化アプリケーションに適応する方法、ファインチューニングの種類などを理解する」

「QLoRAを使ってLlama 2を微調整し、AWS Inferentia2を使用してAmazon SageMakerに展開する」

この記事では、パラメータ効率の良いファインチューニング（PEFT）手法を使用してLlama 2モデルを微調整し、AWS Inferentia2上でファインチューニングされたモデルを展開する方法を紹介します AWS Neuronソフトウェア開発キット（SDK）を使用してAWS Inferentia2デバイスにアクセスし、その高性能を活用しますその後、[…]の動力を得るために、大きなモデル推論コンテナを使用します

「ゼロから始めるLoRAの実装」

「LoRA（ローラ）は、既存の言語モデルを微調整するための効率的で軽量な方法を提供する、Low-Rank AdaptationまたはLow-Rank Adaptorsの頭字語ですこれには、BERTのようなマスクされた言語モデルも含まれます...」

「2023年のトップ8のAIトレンド：年間レビュー」

葉っぱが金色に変わり、12月の寒さが広がる中、人工知能の領域で目覚ましい進歩が見られた今年を振り返る時が来ました。2023年は単なる進歩の年ではありませんでした。それはトライアンフの年であり、AIが成し遂げられる限界が繰り返し押し広げられ、再定義された年でした。LLM（大規模言語モデル）の能力における画期的な進展から、前例のないほど世界とのナビゲーションや相互作用が可能な自律エージェントの登場まで、この年はこの変革的な技術の無限の可能性を示すものでした。この包括的な探求の中で、私たちは2023年のAIを定義した8つの主要なトレンドについて掘り下げ、産業を再構築し、未来を革命化する革新を明らかにしていきます。だから、AI愛好家の皆さん、私たちは技術史の記録に永遠に刻まれる一年についての旅に出発です。 RLHFとDPOの微調整 2023年は、大規模言語モデル（LLM）の能力を向上させるための重要な進展が見られました。2つの主要なアプローチが登場しました：人間のフィードバックに基づく強化学習（RLHF）：この手法は、人間のフィードバックを活用してLLMの学習プロセスをガイドし、持続的な改善と進化するユーザーのニーズや好みに対応させることができます。このインタラクティブなアプローチにより、LLMは複雑または主観的な領域において微妙な理解力と意思決定能力を開発することができます。直接的な選好最適化（DPO）：：DPOはよりシンプルな代替手法であり、明示的な強化信号を必要とせずにユーザーの選好に直接最適化します。このアプローチは効率性とスケーラビリティを重視し、より速い適応と展開を必要とするアプリケーションに最適です。そのすっきりした性格により、ユーザーフィードバックに基づいてLLMの振る舞いを迅速に調整することができ、進化する好みに合わせることができます。 RLHFとDPOはLLMの開発における重要な進展を表していますが、既存の微調整手法を置き換えるのではなく、補完するものです：事前学習：大規模なテキストとコードのデータセットを用いてLLMを訓練し、一般的な言語理解能力を学習させること。微調整：特定のタスクまたはデータセットに基づいてLLMをさらに訓練し、特定のドメインやアプリケーションに適した能力を調整すること。マルチタスク学習：LLMを複数のタスクに同時に訓練することで、共有表現を学習し、各タスクのパフォーマンスを向上させること。 LLMの効率性に対処する LLMの能力が向上するにつれて、計算上の制約とリソースの限界が重要な懸念事項となりました。その結果、2023年の研究はLLMの効率性の向上に焦点を当て、以下のような技術の開発をもたらしました： FlashAttention：この革新的なアテンションメカニズムは、LLMの計算コストを大幅に削減します。これにより、より速い推論と訓練が可能になり、LLMをリソースに制約のある環境でより実用的に利用し、実世界のアプリケーションに統合することができるようになります。 LoRA および QLoRA：LoRAやQLoRAなどの手法は、2023年にも提案された軽量かつ効率的なLLMの微調整方法を提供します。これらの手法は、既存のLLMアーキテクチャに追加された小さなモジュールであるアダプターに依存し、再トレーニングすることなくカスタマイズを可能にします。これにより、著しい効率の向上、より速い展開時間、さまざまなタスクへの適応性の向上が実現されます。これらの進展は、効率的なLLMへの需要の増大に対応し、この強力な技術への広範な導入の道を開き、結果としてこの技術へのアクセスを民主化することにつながります。検索補完生成（RAG）の浸透純LLMは巨大な可能性を秘めていますが、それらの正確性と実証的根拠に関する懸念は依然として存在しています。検索補完生成（RAG）は、既存のデータや知識ベースとLLMを組み合わせることで、これらの懸念に対処する有望な解決策として登場しました。このハイブリッドアプローチにはいくつかの利点があります：エラーの減少：外部情報から事実情報を取り込むことにより、RAGモデルはより正確で信頼性のある出力を生成することができます。拡張性の向上：RAGモデルは純LLMに必要な大規模なトレーニングリソースの必要性を排除し、大規模なデータセットに適用することができます。低コスト：既存の知識リソースを利用することにより、LLMのトレーニングおよび実行に関連する計算コストを削減することができます。これらの利点により、RAGは検索エンジン、チャットボット、コンテンツ生成など、さまざまなアプリケーションにおける貴重なツールとして位置付けられています。自律エージェント…

「大規模言語モデルの微調整方法：ステップバイステップガイド」

2023年、アルパカ、ファルコン、ラマ2、およびGPT-4のような大規模言語モデル（LLM）の台頭は、人工知能の民主化の傾向を示しています

「DreamSyncに会ってください：画像理解モデルからのフィードバックを用いてテキストから画像の合成を改良する新しい人工知能フレームワーク」

カリフォルニア大学南部、ワシントン大学、バール・イラム大学、およびGoogle Researchの研究者は、人間の注釈、モデルアーキテクチャの変更、または強化学習の必要性を排除して、拡散ベースのテキストから画像への変換（T2I）モデルにおける整列と美的魅力の向上の問題に取り組むDreamSyncを紹介しました。これは、候補画像を生成し、Visual Question Answering（VQA）モデルを使用して評価し、テキストから画像へのモデルを微調整することにより、その目的を達成しています。以前の研究では、TIFAなどのVQAモデルを使用してT2I生成を評価することが提案されていました。 TIFAでは、4Kのプロンプトと25Kの質問を使用して、12のカテゴリにわたる評価を実施できます。 SeeTrueやRLHFなどのトレーニング関連手法やトレーニングアダプタなどは、T2Iの整列に取り組んでいます。 SynGenやStructuralDiffusionなどのトレーニングフリーテクニックは、整列の推論を調整します。 DreamSyncは、特定のアーキテクチャやラベル付きデータに依存せずに、ユーザーの意図と美的な魅力に対する忠実度を向上させるT2Iモデルの課題に取り組むためのモデル非依存のフレームワークを採用しています。ビジュアル-言語モデル（VLM）を利用して生成された画像と入力テキストとの相違点を特定するモデル非依存のフレームワークを導入しています。この方法では、複数の候補画像を作成し、VLMを使用して評価し、T2Iモデルを微調整します。 DreamSyncはベースラインの手法を上回る画像の整列を提供し、さまざまな画像特性を向上させることができ、整列改善に限定されない応用範囲を持っています。 DreamSyncは、VLMからのフィードバックを使用してT2I生成の整列を行うためのモデル非依存のフレームワークを採用しています。このプロセスでは、プロンプトから複数の候補画像を生成し、それらをテキストの忠実度と画像の美的魅力のために専用のVLMで評価します。 VLMのフィードバックによって選択された最良の画像は、収束するまで反復してT2Iモデルを微調整するために使用されます。また、反復的なブートストラッピングを導入し、VLMを教師モデルとして使用して、T2Iモデルのトレーニングのためのラベルのないデータをラベル付けします。 DreamSyncは、SDXLとSD v1.4のT2Iモデルの両方を向上させ、SDXLの3つのイテレーションでは、TIFAで忠実度が1.7ポイントおよび3.7ポイント向上しました。ビジュアルの美的感覚も3.4ポイント向上しました。DreamSyncをSD v1.4に適用すると、TIFAで忠実度が1.0ポイント向上し、絶対スコアが1.7ポイント増加し、美的感覚が0.3ポイント向上します。比較研究では、DreamSyncは整列においてSDXLを上回り、より適切なコンポーネントを持つ画像と3.4個の正しい回答を生成します。それはTIFAとDSGのベンチマークで視覚的な忠実度を妥協することなく優れたものを達成し、反復による徐々の改善を示しています。結論として、DreamSyncは難しいT2Iベンチマークで評価された多目的なフレームワークであり、配布内および配布外の設定の両方で整列と視覚的魅力の重要な改善を示しています。このフレームワークは、ビジョン-言語モデルからの二重フィードバックを組み込んでおり、人間の評価と好み予測モデルによって検証されています。 DreamSyncの将来の改善点には、ミスアライメントの特定のための詳細なアノテーション（バウンディングボックスなど）を使用したフィードバックの作成が含まれます。各イテレーションでプロンプトを調整することにより、テキストから画像への合成において特定の改善を目指します。言語構造と注意マップの探求により、属性-オブジェクトの結びつきを向上させることを目指しています。人間のフィードバックで報酬モデルをトレーニングすることで、生成された画像をユーザーの意図に合わせることができます。DreamSyncの応用範囲を他のモデルアーキテクチャに拡大し、パフォーマンスの評価および多様な設定での追加の研究を行うことは、現在の調査の領域です。

パフォーマンスの向上と最適化されたリソース使用のためのダイナミックなLoRAローディング

私たちは、拡散モデルに基づくLoRAのハブ内の推論速度を大幅に高速化することができました。これにより、計算リソースを節約し、より良いユーザーエクスペリエンスを提供することができました。モデルへの推論を行うには、2つのステップがあります：ウォームアップフェーズ – モデルのダウンロードとサービスのセットアップ（25秒）。推論ジョブ自体（10秒）。これらの改善により、ウォームアップ時間を25秒から3秒に短縮することができました。数百の異なるLoRAに対する推論を、たった5つのA10G GPU以下で提供することができます。さらに、ユーザーリクエストへの応答時間は35秒から13秒に短縮されました。一つのサービスで多くの異なるLoRAを動的に提供するために、Diffusersライブラリで開発された最近の機能を活用する方法についてもっと話しましょう。 LoRA LoRAは「パラメータ効率」（PEFT）メソッドの一環である、微調整技術です。このメソッドは、微調整プロセスによって影響を受けるトレーニング可能なパラメータの数を減らすことを試みます。微調整の速度を高めながら、微調整済みチェックポイントのサイズを減らすことができます。モデルの全ての重みに微小な変更を行うことによってモデルを微調整する代わりに、ほとんどの層を固定し、注意ブロック内の特定の一部の層のみをトレーニングします。さらに、これらの層のパラメータに触れず、二つの小さな行列の積を元の重みに加えることで、これらの層のパラメータを更新します。これらの小さな行列は微調整プロセス中に更新され、ディスクに保存されます。これにより、元のモデルのパラメータはすべて保存され、適応方法を使用してLoRAの重みを上にロードすることができます。 LoRA（Low Rank Adaptation）という名前は、先ほど言及した小さな行列から来ています。このメソッドについての詳細は、この記事または元の論文をご覧ください。上記の図は、LoRAアダプタの一部として保存される二つの小さなオレンジ色の行列を示しています。後でこれらのLoRAアダプタをロードし、青いベースモデルと結合して黄色の微調整モデルを取得することができます。重要なことは、アダプタをアンロードすることも可能なので、いつでも元のベースモデルに戻すことができるということです。言い換えると、LoRAアダプタは、必要に応じて追加および削除が可能なベースモデルのアドオンのようなものです。AとBの小さなランクのため、モデルサイズと比較して非常に軽量です。したがって、ロード時間は全体のベースモデルをロードするよりもはるかに高速です。例えば、多くのLoRAアダプタのベースモデルとして広く使用されているStable Diffusion XL Base 1.0モデルリポジトリを見ると、そのサイズは約7 GBです。しかし、このモデルのような典型的なLoRAアダプタは、わずか24 MBのスペースしか使用しません！…

「マイクロソフトの研究者が提案するMAIRA-1：胸部X線写真（CXR）から放射線報告書を生成するための放射線学専用マルチモーダルモデル」

Microsoftの研究チームは、MAIRA-1と呼ばれる放射線学に特化したマルチモーダルモデルを開発することで、胸部X線画像（CXR）のための高品質なレポートの生成問題に取り組みました。このモデルは、CXRに特化した画像エンコーダと、Vicuna-7Bに基づく微調整されたLLMを利用し、Findingsセクションに焦点を当てたテキストベースのデータ増強を行います。この研究は、課題を認識し、将来のバージョンでは現在と過去の研究情報を取り入れて情報の錯覚を減らすことを提案しています。研究で探求されている既存の手法は、PaLMやVicuna-7Bなどのマルチモーダル機能を持つLLMを使用して、胸部X線写真から叙述的な放射線学のレポートを作成することです。評価プロセスには、ROUGE-LやBLEU-4といった従来のNLPメトリックや、臨床的に関連のある側面に焦点を当てた放射線学固有のメトリックが含まれます。この研究は、所見の詳細な説明を提供することの重要性を強調しています。現在の評価手法の制約にも対処しながら、機械学習が放射線学のレポート生成において持つ可能性を示しています。 MAIRA-1の方法は、ビジョンと言語モデルを組み合わせて、胸部X線写真から詳細な放射線学レポートを生成します。このアプローチは、臨床的なレポート生成の特定の課題に対応し、品質と臨床的な関連性を測定するメトリックを使用して評価されます。研究結果は、MAIRA-1の方法が放射線学レポートの正確さと臨床的な有用性を向上させることができることを示しており、医学画像の機械学習における進歩を表しています。提案されたMAIRA-1は、胸部X線写真のための放射線学に特化したマルチモーダルモデルです。このモデルは、CXR画像エンコーダ、学習可能なアダプタ、および微調整されたLLM（Vicuna-7B）を利用して、画像と言語を融合させ、レポートの品質と臨床的な有用性を向上させます。さらに、追加のレポートのためにGPT-3.5を使用したテキストベースのデータ増強を行います。評価メトリックには、従来のNLP指標（ROUGE-L、BLEU-4、METEOR）と放射線学固有の指標（RadGraph-F1、RGER、ChexBertベクトル）が含まれ、臨床的な関連性を評価します。 MAIRA-1は、胸部X線レポートの生成において、RadCliQメトリックや放射線科医に合致した語彙メトリックの向上を示しました。モデルの性能は所見のクラスによって異なり、成功と課題が観察されました。MAIRA-1は、通常の評価手法では捉えられない微妙な不具合モードを効果的に解明し、言語上と放射線学固有の側面をカバーする評価メトリックによって示されました。MAIRA-1は胸部X線レポートの包括的な評価を提供します。まとめると、MAIRA-1は、ドメイン固有の画像エンコーダと的確かつ正確に微妙な所見を特定する能力を備えた既存のモデルを上回る、胸部X線レポートの生成において非常に効果的なモデルです。ただし、既存の手法の制約と臨床的な文脈の重要性を評価することも重要です。モデルの改善のためには、多様なデータセットと複数の画像を考慮する必要があります。 MAIRA-1の将来の発展では、GPT-3.5と前回の作業で示されているように、現在のおよび以前の研究からの情報を取り入れてレポートの錯誤を軽減することができるようになるかもしれません。クリニカルエンティティの抽出における外部モデルへの依存に対処するために、将来の取り組みでは強化学習アプローチを検討することができます。より大規模かつ多様なデータセットでの強化トレーニングや複数の画像と視点の考慮を進め、MAIRA-1の性能をさらに高めることが推奨されます。

ノースイースタン大学およびMITのこのAIの論文では、拡散モデルにおける画像生成制御のための解釈可能なコンセプトスライダーが開発されています

芸術的なテキストから画像までの拡散モデルの利用者は、通常、生成された画像に表現される視覚的特徴と概念において細かい制御が必要ですが、現在は実現不可能です。単純なテキストのプロンプトを使用して、個人の年齢や天候の強度などの連続的な品質を正確に修正するのは難しい場合があります。この制約により、プロデューサーはイメージをより良く反映させるために画像を修正することが難しくなります。マサチューセッツ工科大学と独立研究者からなるノースイースタン大学の研究チームは、この研究で解釈可能なアイデアスライダーを提案し、拡散モデル内で詳細なアイデアの操作を可能にします。彼らのアプローチは、アーティストに高品質な制御と生成画像の提供を可能にします。研究チームは、トレーニングされたスライダーとコードをオープンソースで提供します。コンセプトスライダーは、他のアプローチが十分に対応する必要があるいくつかの問題に対して複数の解決策を提供します。多くの画像プロパティは、プロンプトを変更することで直接制御することができますが、出力はプロンプトとシードの組み合わせに対して感度があり、プロンプトを変更すると画像の全体的な構造が大きく変化する場合があります。PromptToPromptやPix2Videoなどの事後処理手法では、異なるビジュアル概念を変えるためにクロスアテンションを変更し、拡散プロセスを反転させることができます。ただし、これらの手法は同時に変更できる数が制限されており、新しいアイデアごとに独立した推論ステップが必要です。研究チームは、単純で汎用的な制御を学習する代わりに、特定の画像に適したプロンプトを設計する必要があります。適切にプロンプトされなければ、年齢が変わると同時に人種も変わるなどの概念的な絡み合いが生じる可能性があります。一方、コンセプトスライダーは、軽量で事前トレーニングされたモデルに適用できる簡単なプラグアンドプレイのアダプターを提供します。これにより、一度の推論実行で目的の概念を正確かつ連続的に制御し、エンタングルメントが少なく効率的な組み合わせを実現できます。各コンセプトスライダーは、ランクの低い拡散モデルの変更です。研究チームは、低ランク制約が概念の精度制御において重要な要素であることを発見しています。低ランクトレーニングにより、最小の概念部分空間が特定され、高品質で制御されたディスエンタングル編集が生成されます。一方、低ランク正則化なしでのファインチューニングは、精度と生成画像の品質を低下させます。この低ランクフレームワークは、モデルのパラメータではなく個々の写真に対応する事後処理の画像変更技術には適用されません。コンセプトスライダーは、これまでのテキストに頼る既存の概念編集技術とは異なり、書かれた説明によって表現されない視覚的概念の変更を可能にします。画像ベースのモデルカスタマイズ技術は画像編集において課題がありますが、研究チームは新しいトークンを導入することで新しい画像ベースの概念を表現できるようにしています。一方、概念スライダーでは、アーティストがいくつかのペアの写真で望ましい概念を指定できます。その後、コンセプトスライダーは視覚的概念を一般化し、他の画像に適用します。そのような画像では、変化を言葉で表現することが不可能な場合でも、変化を適用できます（図1を参照）。以前の研究では、GANのような他の生成画像モデルには、生成された出力に対して高度なディスエンタングル制御を提供する潜在的な領域が含まれていることが示されています。図1は、さまざまなテキストプロンプトまたはマッチした画像データの範囲内で、他の品質への干渉を最小限に抑えたフォーカスされたアイデア制御のための拡散パラメータ空間での低ランク方向を見つける手法を示しています。これらの方向は、複雑なマルチ属性制御のために組み合わせることができ、アーティストによって作成された相反するテキスト概念またはビジュアルのペアから形成することができます。ディスエンタングルスタイルGANの潜在領域を拡散モデルに転送し、スタブルディフュージョンの出力で歪んだ手を修正することで、研究者は自身のアプローチの効果を示しています。具体的には、StyleGANのスタイルスペースニューロンは、言葉でうまく説明することの難しい画像のいくつかの重要な特徴に対して、細かい制御が可能であることが示されています。研究チームは、FFHQの顔写真でトレーニングされたStyleGANのスタイル空間の潜在的な方向を拡散モデルに転送することが可能であり、彼らの手法の可能性をさらに示しています。興味深いことに、彼らのアプローチは、顔データセットからのものであっても、異なる画像生成にわたって微妙なスタイル制御を提供するようにこれらの潜在的な空間を適応させることに成功しています。これは、拡散モデルがGANの潜在的な視覚的概念を表現できることを示しています。書かれた説明はなくても表現できます。研究者らは、コンセプトスライダーの表現力が、リアリズムの向上と手の変形の修正という2つの有用なアプリケーションを処理するのに十分であることを示しています。生成モデルは、リアルな画像合成を実現するために大きな進歩を遂げてきましたが、最新の拡散モデルであるStable Diffusion XLも、歪んだ顔、浮いたオブジェクト、歪んだパースペクティブ、さらには解剖学的に不合理な余分な指や欠損した指を生み出す傾向がまだあります。研究チームは知覚的なユーザースタディにより、2つのコンセプトスライダー、「固定された手」と「リアルな画像」によって、画像の実際的なリアリズムが統計的に有意に向上することを確認していますが、画像の本質を変えることはありません。コンセプトスライダーは組み立てられ、分解することができます。研究チームは、50以上の異なるスライダーを作成することが可能であり、出力品質を犠牲にすることなく行うことがわかりました。この適応性により、アーティストたちは多くのテキスト、ビジュアル、GANで定義されたコンセプトスライダーを組み合わせることができるため、微妙な画像制御の新たな世界が開けます。彼らの技術は、通常のプロンプトトークンの制約を超えることができるため、テキストだけでは提供できないより複雑な編集を可能にします。

Learn more about Search Results アダプタ - Page 2