Search Results A

「MITとAdobeの研究者が、一つのステップの画像生成器に拡散モデルを変換するための人工知能手法、Distribution Matching Distillation (DMD 分布マッチング蒸留) を紹介」

一定のトレーニングプロセスを経て、拡散モデルは画像生成を革新し、従来にない多様性とリアリズムのレベルを達成しました。しかし、GANやVAEとは異なり、そのサンプリングはガウス性ノイズのサンプルのノイズを徐々に減少させ、プログレッシブなデノイジングにより複雑な画像を生成する努力の連続的なプロセスです。これにより、生成パイプラインをクリエイティブなツールとして利用する際の相互作用の量が制限され、通常は多くの高価なニューラルネットワーク評価を必要とします。以前の手法は、初めの多段階の拡散サンプリングで見つかったノイズ→画像のマッピングを単回の学習ネットワークに濃縮し、サンプリングプロセスを高速化します。こうした高次元で複雑なマッピングをフィットすることは、確かに困難な作業です。改良の余地の一つは、学習モデル全体のデノイジング経路を実行し、単一の損失を計算するための学習モデルのサンプル距離を徐々に拡大していく際に発生する高額な費用です。現在の手法は、元の多段階拡散モデルのデノイジングサイクルを繰り返さずに、学生のサンプル距離を徐々に拡張することでこれを軽減しています。ただし、元の多段階拡散モデルの方が蒸留版よりも優れています。逆に、研究チームは、ノイズと拡散生成された画像の対応を必要とせずに、学生の生成物が元の拡散モデルと同じであることを強調しています。一般的には、彼らの目標の理論的背景は、他の分布マッチング生成モデル（GMMNやGANなど）と似ています。ただし、リアルなグラフィックを生成する能力は非常に優れているにもかかわらず、一般的なテキストから画像へのモデルのスケーリングは困難であることがわかっています。研究チームは、この問題を解決するために、以前にテキストから画像に広範にトレーニングされた拡散モデルを起点にしています。研究チームは、トレーニングされた拡散モデルを特に微調整することで、データ分布とそれによって生成される架空の分布を学びます。研究チームは、デノイズされた拡散出力を画像を「よりリアル」または（拡散モデルが偽の画像でトレーニングされている場合）「よりフェイク」にするための勾配方向として解釈することができます。なぜなら、拡散モデルは拡散分布のスコア関数を近似することで知られているからです。最終的に、ジェネレータの勾配更新ルールは、この2つの差として作成され、人工の画像をよりリアリスティックに、よりフェイクから遠ざけます。また、事前学習された拡散モデルによるリアルと偽の分布のモデリングを使用して3Dオブジェクトのテスト時最適化を達成することも可能です。以前の研究では、Variational Score Distillationという手法を使用してこれを実証しています。研究チームは、同様の手法を使用して完全な生成モデルをトレーニングできることも発見しています。さらに、研究チームは、分布マッチング損失の存在下で、多段階拡散サンプリングの結果のわずかな数が事前計算され、1ステップの生成に関するシンプルな回帰損失を実装することで効果的な正則化子として機能することを見つけています。 MITとAdobe Researchの研究者は、Distribution Matching Distillation（DMD）と呼ばれるプロセスを提供しています。これは、画像の品質にほとんど影響を与えずに拡散モデルを1ステップの画像生成器に変換するプロセスです。彼らのアプローチは、VSD、GAN、およびpix2pixからのインスピレーションや洞察を受けています。この研究チームは、(1) 拡散モデルを使用してリアルな分布とフェイクの分布をモデル化し、(2) 多段階拡散出力とシンプルな回帰損失を一致させることで、高精度の1ステップ生成モデルをトレーニングすることができることを示しています。彼らのDistribution Matching Distillation（DMD）技術でトレーニングされたモデルをMS COCO 512×512のゼロショットテキストから画像の生成、CIFAR-10およびImageNet 64×64の画像生成など、さまざまなタスクで評価しています。彼らの1ステップジェネレータは、一括生成モデル、進行的ディスティレーション、修正フローなどの全てのベンチマークで、既知の少数ステップ拡散手法よりも優れたパフォーマンスを発揮します。 DMDはImageNetでのFIDが2.62であり、Consistency Modelを2.4倍上回ります。DMDはStable Diffusionと同じデノイザーアーキテクチャを使用して、MS-COCO 2014-30kで11.49の競争力のあるFIDを達成します。彼らの定量的および定性的な分析は、研究チームのモデルで生成される画像がより高度な品質であり、より高価なStable Diffusionモデルで生成されるものと比較できることを示しています。特に、このレベルの視覚品質を保ちながら、ニューラルネットワークの評価数を100倍減少させることができるという点で、その効率性によって、DMDはFP16推論を使用することで秒間20フレームの速度で512×512の画像を生成できるようになり、多くのインタラクティブなアプリケーションの可能性を開拓しています。

このAI研究は、CoDi-2を紹介します：インターリーブされた指示処理とマルチモーダルな出力生成の風景を変える画期的なマルチモーダル大規模言語モデルです

研究者たちは、UCバークレー、Microsoft Azure AI、Zoom、UNC-Chapel Hillによって開発されたCoDi-2 Multimodal Large Language Model（MLLM）を利用して、複雑な多モーダル指示の生成と理解の問題に取り組みました。さらに、被駆動型画像生成、ビジョン変換、オーディオ編集のタスクにおいても優れた性能を発揮します。このモデルは包括的な多モーダル基盤の確立において、重要な突破口となります。 CoDi-2は、前身であるCoDiの機能を拡張し、被駆動型画像生成やオーディオ編集といったタスクで優れた性能を発揮します。このモデルのアーキテクチャには、オーディオとビジョンの入力に対するエンコーダとデコーダが含まれています。トレーニングでは、拡散モデルからのピクセル損失とトークン損失が組み合わされます。CoDi-2は、スタイルの適応や被駆動型生成などのタスクにおいて、顕著なゼロショットおよびフューショットの能力を示します。 CoDi-2は、多モーダル生成における課題に取り組み、ゼロショットの詳細制御、モダリティを交互にする指示の追従、およびマルチラウンドの多モーダルチャットに重点を置いています。LLMをその脳として利用することで、CoDi-2はエンコードおよび生成の過程でモダリティを言語と整合させることができます。このアプローチにより、モデルは複雑な指示を理解し、一貫性のある多モーダル出力を生成することができます。 CoDi-2のアーキテクチャには、オーディオとビジョンの入力に対するエンコーダとデコーダが含まれており、多モーダルの大規模言語モデル内に組み込まれています。さまざまな生成データセットでトレーニングされたCoDi-2は、トークン損失に加えて拡散モデルからのピクセル損失を利用しています。優れたゼロショットの能力を示し、被駆動型画像生成、ビジョン変換、オーディオ編集のタスクにおいて、競争力のあるパフォーマンスと新しい未知のタスクに対する一般化能力を発揮します。 CoDi-2は、多文脈での学習、推論、任意のモダリティ生成を通じてゼロショットの能力を広範に持ちます。評価結果は、高い競争力のあるゼロショットのパフォーマンスと新しい未知のタスクへの堅牢な一般化を示しています。CoDi-2は、オーディオ編集のタスクで優れたパフォーマンスを達成し、すべてのメトリクスにおいて最低スコアとなる要素の追加、削除、および置換によるパフォーマンスを示します。高品質な多モーダル生成を進化させるために、コンテキストの年齢、概念学習、編集、および詳細な制御の重要性を強調します。 CoDi-2は、複雑な指示の追従、コンテキストでの学習、推論、チャット、および異なる入力-出力モードでの編集など、さまざまなタスクで優れた能力を持つ先進的なAIシステムです。異なるスタイルに適応し、さまざまな主題に基づいたコンテンツを生成し、オーディオを操作する能力においても、多モーダル基盤モデリングにおける重要な突破口となります。CoDi-2は、訓練されていないタスクでも多くのタスクを処理できる包括的なシステムの作成に向けた印象的な探索です。 CoDi-2の将来の展開では、コンテキストでの学習の改善、対話能力の拡張、および追加のモダリティのサポートにより、多モーダルの生成能力を向上させることを計画しています。拡散モデルなどの技術を使用して、画像とオーディオの品質を向上させることも目指しています。将来の研究では、CoDi-2を他のモデルと評価・比較し、その強みと制限を理解することも含まれるでしょう。

Googleの研究者が新たな大規模言語モデルの能力向上に向けた『Universal Self-Consistency (USC)』を披露

複数の候補者から最も一貫性のある回答を選び出し、特に数理推論やコード生成などのタスクのパフォーマンスを向上させる問題は、Googleの研究者によって彼らのUniversal Self-Consistency (USC) メソッドを介して取り組まれてきました。このメソッドはLLMを活用し、同一の回答形式や実行結果へのアクセスを必要とせずに、標準的な自己整合性と比較可能な結果を達成します。再ランキングはアウトプットのサンプリングと事後の基準の適用により、言語モデルの生成を改善します。LLMは、人間の参照なしでモデル生成テキストを評価します。提案されたUSCメソッドは、追加のラベル付きデータや外部の再ランキングモデルを必要とせずに、標準自己整合性と同等のパフォーマンスを発揮します。 LLMは数理推論やコード生成などのタスクに優れています。従来のアプローチでは、サンプリングと基準に基づいて選択することで、LLMの出力品質を向上させてきました。自己整合性はユニークな回答を持つ仕事に効果的ですが、開放的な時代には苦労します。USCは、LLMを使用して複数の候補者から最も一貫性のある回答を選びます。多様なベンチマークで実証されたように、回答の抽出を排除したUSCは、開放的な生成タスクの向上に効果的です。 USCメソッドはLLMを用いて複数の候補者から最も一貫性のある回答を選び出すことで、回答の抽出の必要性を排除します。USCは数理推論、コード生成、要約、開放的なQAなどのベンチマークを使用して自己整合性を自由形式の生成タスクに拡張します。アプローチはLLMを使用して複数のサンプルを生成し、一貫性に基づいて回答を選択します。 USCメソッドは、オリジナルの自己整合性アプローチの制限を超えた開放的生成タスクでの有効性を示しています。USCは、異なる回答形式を持つ数理推論タスクで標準の自己整合性に匹敵し、コード生成タスクではコードの実行を必要としない実行ベースの自己整合性と同等の結果を示します。USCは長い文脈の要約タスクでベースラインを常に改善し、TruthfulQAベンチマークで最高の真実性と情報性の評価を受けます。USCのパフォーマンスは異なる回答順序に対して堅牢であり、特定のタスクの微調整によりさらに向上させることができます。結論として、USCメソッドは長い文脈の要約や開放的な質問応答タスクにおいてベースラインを一貫して上回り、自由形式の生成タスクにおいて非常に効果的であることが示されています。LLMを使用して複数の候補者から最も一貫性のある回答を選び出すことで、数理推論タスクやコード生成タスクなどのさまざまな応用において、類似した回答形式や実際の実行結果を必要としません。USCは、さまざまな文脈で正確で信頼性の高い回答を生成するための貴重なツールです。

「エンティティ抽出、SQLクエリ、およびAmazon Bedrockを使用したRAGベースのインテリジェントドキュメントアシスタントの強化」

会話AIは、最近の生成AIの急速な発展により、特に指示微調整や人間のフィードバックからの強化学習といったトレーニング技術によって導入された大規模言語モデル（LLM）のパフォーマンス改善により、大きな進歩を遂げてきました正しくプロンプトされると、これらのモデルは特定のタスクのトレーニングデータなしで、一貫した会話を行うことができます[…]

「Q4 Inc.が、Q&Aチャットボットの構築において、数値と構造化データセットの課題に対処するために、Amazon Bedrock、RAG、およびSQLDatabaseChainを使用した方法」

この投稿は、Q4 Inc.のスタニスラフ・エシェンコと共同執筆されました企業は、問答型チャットボットを構築する主流アプローチとして、Retrieval Augmented Generation（RAG）に注目しています利用可能なデータセットの性質から生じる新たな課題が引き続き現れていることを確認していますこれらのデータセットは、しばしば数値とテキストデータの混合であり、時には構造化されています

「Pixel 8 Pro」という初めてのAI搭載スマートフォンは、現在Gemini Nanoで稼働しており、さらにAIのアップデートがPixelポートフォリオにも導入されています」

ニューフィーチャードロップは、Pixelハードウェアへのアップデートをもたらしますさらに、Gemini Nanoは、Pixel 8 Proのデバイス内生成AI機能をパワーアップします

2024年の予測17：RAG to RichesからBeatlemaniaとNational Treasuresへ

メリアム・ウェブスターの前に譲れ：今年、企業は年間のワードに追加するための多くの候補を見つけました。「生成的AI」と「生成的事前学習変換器」の後には、「大規模言語モデル」と「検索増強生成」（RAG）のような用語が続き、さまざまな産業が変革的な新技術に注目しました。生成的AIは今年の初めにはまだ注目されていなかったが、終わりには大きなインパクトを与えました。多くの企業が、テキスト、音声、動画を取り込み、生産性、イノベーション、創造性を革新する新しいコンテンツを生み出す能力を利用するために全力で取り組んでいます。企業はこのトレンドに乗っています。OpenAIのChatGPTなどのディープラーニングアルゴリズムは、企業のデータをさらにトレーニングすることで、63のビジネスユースケース全体で年間2.6兆ドルから4.4兆ドル相当の価値を生み出すことができると、マッキンゼー・アンド・カンパニーによって評価されています。しかし、大量の内部データを管理することは、AIの拡大における最大の障害とされてきました。NVIDIAのAIの専門家の一部は、2024年は友達との電話に関するすべてだと予測しており、クラウドサービスプロバイダーやデータストレージおよび分析会社など、大規模データを効率的に処理し、調整し、展開するノウハウを持つ企業や個人とのパートナーシップや協力関係を構築することが重要だと述べています。大規模言語モデルがその中心にあります。NVIDIAの専門家によると、LLM研究の進展は、ますますビジネスや企業向けのアプリケーションに適用されるようになります。RAG、自律型インテリジェントエージェント、マルチモーダルインタラクションのようなAIの機能は、ほぼすべてのプラットフォームを介してよりアクセス可能で容易に展開できるようになります。 NVIDIAの専門家の予想を聞いてください： MANUVIR DASエンタープライズコンピューティング部門副社長一揃いは全てに合わない：カスタマイズが企業にやってきます。企業は1つまたは2つの生成的AIアプリケーションを持つのではなく、さまざまな部門に適した独自のデータを使用した何百ものカスタマイズされたアプリケーションを持つことになるでしょう。これらのカスタムLLMは、稼働中にデータソースを生成的AIモデルに接続するためのRAGの機能を備え、より正確で明確な応答を提供します。Amdocs、Dropbox、Genentech、SAP、ServiceNow、Snowflakeなどのリーディングカンパニーは、既にRAGとLLMを使用した新しい生成的AIサービスを構築しています。オープンソースソフトウェアが先頭を走っています：オープンソースの事前学習モデルのおかげで、特定のドメインの課題を解決する生成的AIアプリケーションがビジネスの運用戦略の一部になるでしょう。企業がこれらの先行モデルをプライベートまたはリアルタイムのデータと組み合わせると、組織全体で加速された生産性とコストの利益を見ることができるようになります。クラウドベースのコンピューティングやAIモデルファウンドリーサービスから、データセンターやエッジ、デスクトップまで、ほぼすべてのプラットフォームでAIコンピューティングとソフトウェアがよりアクセス可能になります。棚卸しのAIとマイクロサービス：生成的AIは、開発者が複雑なアプリケーションを構築しやすくするアプリケーションプログラミングインターフェース（API）エンドポイントの採用を促しています。 2024年には、ソフトウェア開発キットとAPIが進化し、開発者がRAGなどのAIマイクロサービスを利用してオフシェルフのAIモデルをカスタマイズすることができるようになります。これにより、企業は最新のビジネス情報にアクセスできる知能を持つアシスタントや要約ツールを使用して、AIによる生産性の完全な可能性を引き出すことができます。開発者は、これらのAPIエンドポイントをアプリケーションに直接埋め込むことができ、モデルとフレームワークをサポートするために必要なインフラストラクチャの維持について心配する必要はありません。エンドユーザーは、自分のニーズに適応するより直感的でレスポンシブなアプリケーションを体験することができます。 IAN BUCKハイパースケールとHPC部門副社長国家的な財産：人工知能は新しい宇宙競争となり、すべての国が研究と科学の重要な進展を推進し、GDPを向上させるために自国の卓越の中心を作ろうとしています。数百個のアクセラレートされた計算ノードを使用するだけで、国は高効率で大規模なパフォーマンスを発揮するエクサスケールAIスーパーコンピュータを迅速に構築することができます。政府資金による創発型AI卓越センターは、新しい雇用を創出し、次世代の科学者、研究者、エンジニアを育成するためにより強力な大学のプログラムを構築することで、国の経済成長を後押しします。飛躍的な進歩:企業リーダーは、二つの主要な要因に基づいて量子コンピューティングの研究イニシアチブを立ち上げます。まず、従来のAIスーパーコンピュータを使用して量子プロセッサをシミュレートする能力、そして、ハイブリッドクラシカル量子コンピューティングのためのオープンかつ統一された開発プラットフォームの利用が可能になることです。これにより、開発者は、量子アルゴリズムを構築するためにカスタムで特殊な知識を必要とせず、標準のプログラミング言語を使用することができます。かつてはコンピュータ科学の奇妙なニッチと考えられていた量子コンピューティングの探求は、素材科学、製薬研究、サブアトミック物理学、物流などの分野で急速な進歩を追求する企業がアカデミアや国立研究所に加わることで、より一般的なものになるでしょう。 KARI BRISKIAIソフトウェア担当副社長 RAGから富へ:2024年、企業がこれらのAIフレームワークを採用するにつれ、再試行補完生成はさらに注目されるでしょう。…

「松ぼっくりベクトルデータベースとAmazon SageMaker JumpStartのLlama-2を使用したリトリーバル増強生成によって幻覚を軽減する」

産業全体でのLLMの採用は止まることのないように見えますが、それらは新しいAIの波を支えるより広範な技術エコシステムの一部です多くの対話AIのユースケースでは、Llama 2、Flan T5、BloomのようなLLMがユーザーのクエリに応答するために必要ですこれらのモデルは質問に答えるためにパラメトリックな知識に依存していますモデルは[…]

SetFitABSA SetFitを使用したFew-Shotアスペクトベースの感情分析

SetFitABSAは、テキスト内の特定の側面に対する感情を検出する効率的な技術です。 Aspect-Based Sentiment Analysis (ABSA)は、テキスト内の特定の側面に対する感情を検出するタスクです。例えば、「この電話は画面が素晴らしいですが、バッテリーは小さすぎます」という文では、側面の用語は「画面」と「バッテリー」であり、それぞれに対する感情極性はPositiveとNegativeです。 ABSAは、さまざまなドメインの製品やサービスの顧客フィードバックを分析して貴重な情報を抽出するために、組織によって広く使用されています。しかし、ABSAのためのラベル付けトレーニングデータは、トレーニングサンプル内で側面を手動で細かく識別する必要があるため、手間のかかる作業です。 Intel LabsとHugging Faceは、ドメイン固有のABSAモデルのfew-shotトレーニングのためのフレームワークであるSetFitABSAを紹介しています。SetFitABSAは、few-shotシナリオでLlama2やT5などの生成モデルに比べて競争力があり、さらに優れた性能を発揮します。 LLMベースの手法と比較して、SetFitABSAには次の2つのユニークな利点があります: 🗣 プロンプトが不要です: LLMを使ったfew-shot in-context学習では、結果がもろくなり、表現に敏感になり、ユーザーの専門知識に依存する手作りのプロンプトが必要です。SetFitABSAは、ラベル付けされた少数のテキスト例から直接豊かな埋め込みを生成することで、プロンプトを完全に不要とします。 🏎 高速トレーニング: SetFitABSAは、わずかなラベル付きトレーニングサンプルのみを必要とします。さらに、専門のタグ付けツールを必要としないシンプルなトレーニングデータ形式を使用します。これにより、データのラベリングプロセスが迅速かつ容易になります。このブログ記事では、SetFitABSAの動作方法と、SetFitライブラリを使用して独自のモデルをトレーニングする方法を説明します。では、さっそく見ていきましょう！どのように機能しますか？ SetFitABSAの3つのステージからなるトレーニングプロセス SetFitABSAは3つのステップで構成されています。第1ステップでは、テキストから側面候補を抽出し、第2ステップでは、側面候補を側面または非側面として分類し、最終ステップでは抽出された各側面に感情極性を関連付けます。第2ステップと第3ステップはSetFitモデルに基づいています。トレーニング 1. 側面候補の抽出…

成功の鍵を開ける：IBM Watsonがあなたのビジネスを革命する方法

「IBM WatsonのAIが、さまざまな業界でビジネスを変革し、データに基づいた意思決定、効率化された業務、充実した顧客体験、カスタマイズされたソリューションを可能にする方法を探求してください Watsonの革新について学び、導入方法や将来の対策に必要な倫理的な考慮事項について貴重な見識を得てください」

Learn more about Search Results A - Page 31