Learn more about Search Results 24 - Page 274

UCバークレーとMeta AIの研究者らは、トラックレット上で3Dポーズとコンテキスト化された外観を融合することにより、ラグランジュアクション認識モデルを提案しています

流体力学では、ラグランジュ流体場形式とオイラー流体場形式を区別することが慣習となっています。Wikipediaによると、「流体場のラグランジュ仕様は、観察者が離散的な流体粒子を空間および時間を通じて流れるように追跡する方法であり、粒子の経路線は時間の経過に伴ってその位置をグラフ化することで決定できます。これは、舟に座って川を漂っているようなものです。一方、流体場のオイラー仕様は、時間が経過するにつれて流体が流れる空間の場所に特に重点を置いて流体運動を分析する方法です。川岸に立って流れる水を観察すると、これを想像することができます。 これらの考え方は、人間の行動の記録をどのように調べるかを理解する上で重要です。オイラーの視点によると、彼らは(x、y)または(x、y、z)など、特定の場所の特徴ベクトルに注目し、その場所で空間で静止したまま時間の経過を考慮します。一方、ラグランジュの視点によると、人間などのエンティティを時空間を超えて追跡し、関連する特徴ベクトルを追跡します。たとえば、活動認識の以前の研究は、しばしばラグランジュの視点を採用しました。ただし、3D時空間畳み込みに基づくニューラルネットワークの発展により、SlowFast Networksのような最先端の方法では、オイラーの視点が一般的になりました。トランスフォーマー・システムへの切り替え後も、オイラー視点が維持されています。 これは、トランスフォーマーのトークナイズ化プロセス中に、「ビデオ分析における単語の相当物は何であるべきか」という問いを再検討する機会を提供してくれます。Dosovitskiyらは、画像パッチを良い選択肢として推奨し、その概念をビデオに拡張すると、時空立方体がビデオに適している可能性があります。しかし、彼らは自分たちの研究で、人間の行動を調べる際にはラグランジュの視点を採用しています。これにより、彼らはエンティティの時間的な経過を考えています。この場合、エンティティは高レベルなものであるか、人間のようなもの、あるいはピクセルやパッチのような低レベルなものであるかもしれません。彼らは、「人間としてのエンティティ」のレベルで機能することを選択しました。これは、人間の行動を理解することに興味があるためです。 これを行うために、彼らは、人物の動きをビデオで分析し、それを利用して彼らの活動を識別する技術を使用しています。最近リリースされた3D追跡技術PHALPとHMR 2.0を使用してこれらの軌跡を取得することができます。図1は、PHALPが個人のトラックを3Dに昇格させることでビデオから人のトラックを回収する方法を示しています。彼らはこれらの人物の3Dポーズと位置を基本要素として各トークンを構築することができます。これにより、モデル（この場合、トランスフォーマー）は、身元、3D姿勢、3D位置にアクセスできる様々な個人に属するトークンを入力として受け取る柔軟なシステムを構築することができます。シナリオ内の人物の3D位置を使用することで、人間の相互作用について学ぶことができます。 トークナイズベースのモデルは、ポーズデータにアクセスできる旧来のベースラインを上回り、3Dトラッキングを使用することができます。人物の位置の進化は強力な信号ですが、一部の活動には周囲の環境や人物の見た目に関する追加の背景知識が必要です。そのため、立場と直接的に派生した人物とシーンの外観に関するデータを組み合わせることが重要です。これを行うために、彼らは、ラグランジュの枠組みで、人物と環境の文脈化された外観に基づく補足データを供給するために、最先端のアクション認識モデルを追加で使用しています。彼らは、各トラックのルートを激しく実行することで、各トラック周辺の文脈化された外観属性を記録します。 図1は、次のようになります。与えられた映画で、まず追跡アルゴリズム（PHALPなど）を使用して各個人を追跡します。次に、トラック内の各検出をトークナイズ化して、人間中心のベクトル（姿勢や外観など）を表現します。人物の推定3D位置とSMPLパラメータを使用して、彼らの3Dポーズを表現し、MViT（MaskFeatで事前学習された）特性を使用して、文脈化された外観を表現します。そして、レールを利用して、トランスフォーマー・ネットワークをトレーニングしてアクションを予測します。青い人物は2番目のフレームで検出されていません。これらの場所では、欠落した検出を置き換えるためにマスクトークンが渡されます。 彼らのトークンは、アクション認識バックボーンによって処理され、個人の3Dスタンスに関する明示的な情報と、ピクセルからの高頻度の外観データを含んでいます。AVA v2.2の難しいデータセットでは、彼らのシステム全体が先行研究を2.8 mAPの大幅なマージンで超えています。全体的に、彼らの主要な貢献は、人間の動きを理解するためにトラッキングと3Dポーズの利点を強調する方法論の導入です。UCバークレーとMeta AIの研究者は、人々のトラックを使用して彼らの行動を予測するLagrangian Action Recognition with Tracking（LART）メソッドを提案しています。彼らのベースラインバージョンは、トラックレスの軌跡とビデオ内の人物の3Dポーズ表現を使用した以前のベースラインを上回っています。さらに、ビデオからの外観とコンテキストを単独で考慮する標準的なベースラインが、提案されたLagrangian視点のアクション検出と簡単に統合でき、主流のパラダイムを大幅に改善できることを示しています。

公共関係（PR）における10以上のAIツール（2023年）

ChatGPT  簡単に説明すると、ChatGPTは、AIによる会話型ユーザーインターフェースです。ユーザーからの入力を受け取り、分析して回答を生成します。OpenAIテクノロジーにより、マシンは書かれた言語と口頭言語の両方を理解できます。決められた回答をすることも、ユーザーに空欄を埋めるように要求することもできます。機械学習と自然言語処理を採用しているため、このテクノロジーは消費者と意味のある対話をする可能性があります。システムの柔軟性により、顧客サービス、バーチャルエージェント、チャットボットなど、さまざまな設定に適用できます。ChatGPTは、OpenAIテクノロジーを活用して、ユーザーが要求を理解し、実現するための会話型AIシステムを提供しています。 Midjourney Midjourneyは強力な機能と迅速な画像合成のため、最高の人工知能画像生成ツールの1つです。MidjourneyにSMSコマンドを送信するだけで、あとはMidjourneyが処理します。多くのクリエイティブプロフェッショナルが、Midjourneyを使用して、自分たちの仕事にインスピレーションを与える画像を生成しています。Midjourneyで作成された人工知能作品「Théâtre d’Opéra Spatial」は、20人の他の画家を抑えて、コロラド州の博覧会の美術部門で1位を獲得しました。ただし、現在のMidjourneyのホームはDiscordサーバーです。MidJourney Discordサーバーに参加し、ボットのコマンドを利用して画像を作成する必要があります。ただし、すぐに始めることができます。 Brandwatch メディアモニタリングがクライアントの優先事項である場合、Brandwatchはあなたの人工知能ソーシャルリスニングソリューションです。Brandwatchは、あなたの会社に関する書かれた言及と、ロゴや製品の視覚的表現をモニターするためにAIを使用しています。彼らの洗練されたテキスト分析ツールは、ユーザーがあなたのブランドに関するコメントが好意的、悪い、または中立的かどうかを判断することもでき、これらすべての指標を追跡することが容易になっています。 Cleanup.pictures Cleanup.picturesは、AIを搭載した写真編集アプリケーションで、写真から望ましくないオブジェクト、人、テキスト、欠陥を削除することができます。簡単に学習でき、品質を損なうことなく数秒で写真を修正することができます。写真家、広告会社、不動産業者、オンライン小売業者、テキスト、ロゴ、またはウォーターマークを取り除く必要がある人など、さまざまな人々がこのツールを利用できます。Adobe Photoshopのクローンツールとは異なり、このプログラムは、不要なテキスト、人物、オブジェクトの背後に何があるかを正確に特定することができます。任意の解像度の画像をインポートして編集することができます。無料版ではエクスポート解像度が720pxに制限されていますが、Pro版にはそのような制限はありません。 Looka  Lookaは、AIによるブランドアイデンティティプラットフォームを使用して、努力を最小限に抑えて洗練されたロゴとブランドアイデンティティを作成できます。ロゴジョイの再ブランド版であるLookaは、無料で利用できます。プロセスは、人工知能を利用して素早く数百の潜在的なロゴデザインを生成するロゴメーカーから始まります。ユーザーは、レイアウトを自分好みに変更することができます。ブランドキットでは、ロゴ、色、フォントを活用して、数十、場合によっては数百の統一されたプロモーション用品を簡単かつ迅速に作成することができます。名刺、ソーシャルメディアプロファイル、メール署名、その他のサンプルドキュメントがブランドキットに含まれています。人工知能によって動作するプラットフォームであるLookaのユーザーは、YouTube、Twitter、Facebookなど、多くのソーシャルメディアプラットフォーム上のプロフィール画像とカバー画像を変更することができます。 Canva  Canvaの無料画像作成ツールを使用することで、製品マネージャーがどのように利益を得ることができるかが簡単に理解できます。ステークホルダーミーティング、製品発売などでプレゼンテーションやデッキ用の関連画像を入手することは常に難しい課題でした。時には、望んでいるものの完璧なビジョンがあるにもかかわらず、作業中のストック画像を修正する必要があります。CanvaのAIによるエディターを使用すると、コンテンツを事前に計画し、アイデアを生成し、入力に応じて完璧なグラフィックを見つけるために検索結果を調整することができます。 TLDR  この最新のAI搭載Webツールは、記事、文書、エッセイ、論文などの長文を簡潔で情報量の多い段落に自動的に要約することができます。試験勉強をする学生、素早く記事を要約したい作家、生徒に長いドキュメントや章を要約する必要がある教師、新聞や雑誌の長い記事を要約する必要があるジャーナリストなど、すべての人々がこのツールを利用できます。TLDRは、広告、ポップアップ、グラフィックなどのオンライン上の邪魔な要素を取り除き、テキストの主要なアイデアを選択し、弱い議論、未サポートの推測、派手なフレーズ、無駄な注意をそらすものなど、不要な材料を除去することによって、きれいで焦点の合った読書体験を提供します。 ヒント ヒントは人工知能（A.I.）を活用した生産性ツールで、他のアプリと同期して、やるべきこと、ノート、取引、スケジュールを管理するのに役立ちます。Notion、Obsidian、Trello、ClickUp、Hubspot、Pipedrive、Google Calendar、Jiraなどのサービスが統合できます。Telegram、WhatsApp、SMSなどのお気に入りのメッセージングアプリでヒントを見つけることができます。また、ボイスメールを残すこともできます。様々なサービスに接続することで、飛行中にデータを作成、更新、引き出す能力が可能になり、ビジネスと個人の生活をシングルインターフェイスで効率的に管理することができます。ヒントの多くの潜在的な応用例は、プロジェクト管理、販売、CRM管理、ノート取り、情報管理、個人の整理などです。ヒントは、他の人気のあるサービスと統合し、A.I.を利用して、日常的なタスクの効率を改善することで、時間と労力を節約することを目的としています。 DeepL 信頼性の高い翻訳者が必要な場合は、AIを搭載したDeepL翻訳を利用してください。PDF、Word文書、PowerPointプレゼンテーションなど、31の他の言語にテキストやファイル全体を翻訳することができます。技術が言語を迅速かつ自動的に認識できるため、翻訳プロセスは短く、結果は信頼できます。DeepLには、クイック定義用の辞書や用語集もあります。DeepLは、デスクトップコンピュータ、モバイルデバイス、またはChrome拡張機能からアクセスできるため、外出先の消費者にとっては優れたツールです。DeepLは、毎日何百万人もの人々によって最も広く使用されている翻訳ツールの一つです。 Otter.AI…

CoDiに会おう：任意対任意合成のための新しいクロスモーダル拡散モデル

ここ数年、テキストからテキスト、画像、音声など、別の情報を生成する堅牢なクロスモーダルモデルが注目されています。注目すべき例としては、入力プロンプトによって期待される結果を説明することで、素晴らしい画像を生成できるStable Diffusionがあります。 実際にリアルな結果を出すにもかかわらず、これらのモデルは複数のモダリティが共存し相互作用する場合には実用上の制限があります。たとえば、「かわいい子犬が革製のソファで寝ている」というテキストの説明から画像を生成したいとしましょう。しかしそれだけでは不十分です。テキストから画像へのモデルから出力画像を受け取った後、子犬がソファで鼾をかいているという状況にどのような音がするかも聞きたいと思うでしょう。この場合、テキストまたは出力された画像を音に変換する別のモデルが必要になります。したがって、多数の特定の生成モデルをマルチステップの生成シナリオで接続することは可能ですが、このアプローチは手間がかかり遅くなる可能性があります。また、独立して生成された単一のストリームは、ビデオとオーディオを同期させるように、後処理的な方法で組み合わせた場合に一貫性とアラインメントが欠けることがあります。 包括的かつ多目的なany-to-anyモデルは、一貫したビデオ、オーディオ、およびテキストの説明を同時に生成し、全体的な体験を向上させ、必要な時間を減らすことができます。 この目標を達成するため、Composable Diffusion（CoDi）が開発され、任意のモダリティの組み合わせを同時に処理し生成することができるようになりました。 アーキテクチャの概要は以下に示されています。 https://arxiv.org/abs/2305.11846 任意のモダリティの混合物を処理し、さまざまな出力の組み合わせを柔軟に生成するモデルをトレーニングすることは、大きな計算量とデータ要件を必要とします。 これは、入力と出力のモダリティの可能性の指数関数的な成長に起因します。さらに、多数のモダリティグループの整列されたトレーニングデータを取得することは非常に限られており、存在しないため、すべての可能な入力-出力の組み合わせを使用してモデルをトレーニングすることは不可能です。この課題に対処するために、入力条件付けと生成散布ステップで複数のモダリティを整列させる戦略が提案されています。さらに、対照的な学習のための「ブリッジアライメント」戦略を導入することで、指数関数的な入力-出力の組み合わせを線形数のトレーニング目的で効率的にモデル化できます。 高品質な生成を維持し、任意の組み合わせを生成する能力を持ったモデルを実現するには、多様なデータリソースを活用した包括的なモデル設計とトレーニングアプローチが必要です。研究者たちは、CoDiを構築するために統合的なアプローチを採用しました。まず、テキスト、画像、ビデオ、音声など、各モダリティのために潜在的な散乱モデル（LDM）をトレーニングします。これらのLDMは、利用可能なモダリティ固有のトレーニングデータを使用して、各個別のモダリティの優れた生成品質を保証するために独立して並列にトレーニングできます。このデータには、1つ以上のモダリティを持つ入力と出力モダリティが含まれます。 音声や言語のプロンプトを使用して画像を生成するなど、モダリティの組み合わせが関わる条件付きクロスモダリティ生成の場合、入力モダリティは共有特徴空間に投影されます。このマルチモーダル調整メカニズムにより、特定の設定の直接トレーニングを必要とせずに、CoDiは任意のモダリティまたはモダリティの組み合わせに対して条件を付けることができます。出力LDMは、結合された入力特徴に注意を払い、クロスモダリティ生成を可能にします。このアプローチにより、CoDiはさまざまなモダリティの組み合わせを効果的に処理し、高品質な出力を生成することができます。 CoDiのトレーニングの第2段階は、多数の多対多生成戦略を処理できるモデルの能力を促進し、異なるLDMからの潜在変数を共有潜在空間に投影する環境エンコーダVと、各散布器にクロスアテンションモジュールを導入することで実現されます。現在の知識の範囲では、CoDiはこの能力を持つ最初のAIモデルとして立ち上がっています。 このステージでは、LDMのパラメーターは固定され、クロスアテンションパラメーターとVのみがトレーニングされます。環境エンコーダーが異なるモダリティの表現を整列させるため、LDMはVを使用して出力表現を補間することで、任意の共同生成モダリティのセットとクロスアテンドできます。このシームレスな統合により、CoDiは可能な生成組み合わせすべてでトレーニングする必要がなく、任意のモダリティの任意の組み合わせを生成できます。その結果、トレーニング目的の数は指数関数から線形関数に削減され、トレーニングプロセスの効率が大幅に向上します。 モデルによって生成されたいくつかの出力サンプルは、各生成タスクについて以下に報告されています。 https://arxiv.org/abs/2305.11846 これがCoDiの概要であり、最先端の品質を持つ任意の生成に対する効率的なクロスモーダル生成モデルです。興味がある場合は、以下のリンクでこの技術について詳しく学ぶことができます。

AIの汎化ギャップに対処：ロンドン大学の研究者たちは、Spawriousという画像分類ベンチマークスイートを提案しましたこのスイートには、クラスと背景の間に偽の相関が含まれます

人工知能の人気が高まるにつれ、新しいモデルがほぼ毎日リリースされています。これらのモデルには新しい機能や問題解決能力があります。近年、研究者たちは、AIモデルの抵抗力を強化し、スパリアスフィーチャーへの依存度を減らすアプローチを考えることに重点を置いています。自動運転車や自律型キッチンロボットの例を考えると、彼らは彼らが訓練データから学習したものと大きく異なるシナリオで動作する際に生じる課題のためにまだ広く展開されていません。 多くの研究がスパリアス相関の問題を調査し、モデルのパフォーマンスに対するその負の影響を軽減する方法を提案しています。ImageNetなどのよく知られたデータセットで訓練された分類器は、クラスラベルと相関があるが、それらを予測するわけではない背景データに依存していることが示されています。SCの問題に対処する方法の開発に進展はあったものの、既存のベンチマークの制限に対処する必要があります。現在のWaterbirdsやCelebA hair color benchmarksなどのベンチマークには制限があり、そのうちの1つは、現実では多対多（M2M）のスパリアス相関がより一般的であり、クラスと背景のグループを含む単純な1対1（O2O）スパリアス相関に焦点を当てていることです。 最近、ロンドン大学カレッジの研究チームが、クラスと背景の間にスパリアス相関が含まれる画像分類ベンチマークスイートであるSpawriousデータセットを導入しました。それは1対1（O2O）および多対多（M2M）のスパリアス相関の両方を含み、3つの難易度レベル（Easy、VoAGI、Hard）に分類されています。データセットは、テキストから画像を生成するモデルを使用して生成された約152,000の高品質の写真リアルな画像で構成されており、画像キャプションモデルを使用して不適切な画像をフィルタリングし、データセットの品質と関連性を確保しています。 Spawriousデータセットの評価により、現在の最先端のグループ頑健性アプローチに対してHard-splitsなどの課題が課せられ、ImageNetで事前学習されたResNet50モデルを使用してもテストされた方法のいずれも70％以上の正確性を達成できなかったことが示されました。チームは、分類器が間違った分類を行った際に背景に依存していることを見て、モデルのパフォーマンスの短所が引き起こされたと説明しています。これは、スパリアスデータの弱点を成功裏にテストし、分類器の弱点を明らかにすることができたことを示しています。 O2OとM2Mベンチマークの違いを説明するために、チームは、夏に訓練データを収集する例を使用しました。それは、2つの異なる場所から2つの動物種のグループで構成され、各動物グループが特定の背景グループに関連付けられているものです。しかし、季節が変わり、動物が移動すると、グループは場所を交換し、動物グループと背景の間のスパリアス相関が1対1で一致することはできなくなります。これは、M2Mスパリアス相関の複雑な関係と相互依存関係を捉える必要性を強調しています。 Spawriousは、OOD、ドメイン汎化アルゴリズムにおける有望なベンチマークスイートであり、スパリアスフィーチャーの存在下でモデルの評価と改善を行うためにも使用できます。

AIがYouTubeの多言語吹替を開始します

世界最大の動画共有プラットフォームであるYouTubeは、AI技術の統合により、コンテンツクリエイターが世界中の観客と接触する方法を革新することができる大きな進展を発表しました。GoogleのArea 120インキュベーターによって開発された「Aloudダビングサービス」の導入により、YouTubeは言語の壁を打ち破り、コンテンツクリエイターのグローバルな視聴者への到達範囲を拡大する重要な一歩を踏み出しています。このエキサイティングな発表は、オンラインビデオコミュニティの創造性と革新を祝うイベントであるVidConで行われました。 また、MetaのVoicebox: あらゆる言語を話すAI AIパワードダビングによる言語障壁の打破 YouTubeのミッションは、人々をつなぎ、情報やアイデアを自由に流れさせることです。これにより、AIパワードダビングサービスが開発されました。多様な観客と情熱を共有する際にコンテンツクリエイターが直面する課題を認識し、言語の壁を解消するために、YouTubeは積極的なアプローチを取っています。Aloudダビングサービスにより、クリエイターは異なる言語にシームレスに翻訳してダビングすることができ、母国語を超えた視聴者に到達することができます。 また、OpenAIを使用した言語翻訳 時間とコストの制約の克服 動画の高品質のダビングを作成することは常に時間とコストのかかる作業でした。コンテンツクリエイターは、ビデオの多言語バージョンを作成することに重大な課題を抱えており、グローバルな観客とのつながりを妨げています。しかし、YouTubeでAloudを統合することで、ゲームチェンジングな解決策が提供されます。ビデオの転記を行い、編集可能な転記を提供し、シームレスな翻訳とダビングプロセスを促進することにより、Aloudは時間とコストの障壁を排除します。クリエイターは、AIパワードサービスにダビングの複雑さを任せながら、情熱を共有することに集中することができます。 また、次世代音声ソリューションでビジネスを強化するトップ5のAI音声ジェネレーター グローバルな視聴者数の拡大と観客の拡大 AIパワードダビングの導入により、コンテンツクリエイターは視聴者数を拡大し、到達範囲を拡大する画期的な機会を得ることができます。以前は、言語の壁がクリエイターのグローバルなコンテンツ共有の能力を制限していました。しかし、Aloudにより、コンテンツクリエイターは新しい市場に進出し、世界中の視聴者と接触することができます。多言語ダビングを提供することにより、クリエイターは多様な観客とつながり、文化交流を促進し、グローバルスケールでの影響力を拡大することができます。 テストと将来の開発 YouTubeは、すでに何百ものクリエイターでAloudダビングツールを広範囲にテストしています。この徹底的な評価プロセスにより、テクノロジーがYouTubeプラットフォームにシームレスに統合されるように洗練され最適化されます。現在、Aloudは英語、スペイン語、ポルトガル語など、限られた数の言語をサポートしていますが、YouTubeは野心的な拡大計画を持っています。YouTubeの広報担当者であるジェシカ・ギビーによると、将来的にはさらに多くの言語がサービスに追加され、コンテンツクリエイターの到達範囲がさらに広がることになるでしょう。 また、AI時代のディープフェイクの検出と処理方法 ユーザー体験の向上：クリエイターの声とリップシンク YouTubeは、Aloudダビングサービスを含め、常にユーザー体験を向上させることに取り組んでいます。YouTubeのアムジャド・ハニフ氏はThe Vergeに対して声明を出し、翻訳されたオーディオトラックを強化するための取り組みを進めていることを明らかにしました。YouTubeは、ダビングをクリエイターの声に似せ、表情やリップシンクを改善することを目指しています。これらのエキサイティングな進展は、2024年にリリース予定であり、グローバルな視聴体験をより本格的かつ没入型にすることができます。 私たちの意見 YouTubeがAloudサービスを介してAIパワードダビングを導入したことで、コンテンツクリエイターは言語の壁を克服し、世界中の観客と情熱を共有することができるようになりました。AloudをYouTubeプラットフォームにシームレスに統合することで、クリエイターは複数の言語に翻訳してダビングすることができ、グローバルな視聴者数を拡大することができます。YouTubeが技術を洗練し、向上させ続けることで、将来的には言語がプラットフォーム上のアイデアやクリエイティブな自由な流れの障壁であることを保証し、視聴体験をより没入型にすることができます。

テキストから画像合成を革新する：UCバークレーの研究者たちは、強化された空間的および常識的推論のために、大規模言語モデルを2段階の生成プロセスで利用しています

テキストから画像を生成する最近の進歩により、高度に現実的で多様な画像を合成できる拡散モデルが登場しました。しかし、その印象的な能力にもかかわらず、Stable Diffusionのような拡散モデルは、空間的または常識的推論を必要とするプロンプトに支援が必要であり、生成された画像に不正確さが生じることがあります。 この課題に対処するため、UCバークレーとUCSFの研究チームは、テキストから画像を生成する際のプロンプト理解を向上させる革新的なLMD接地拡散（LMD）手法を提案しました。彼らは、否定、数値、属性割り当て、空間関係を含むシナリオを特定し、Stable Diffusionに比べてLMDの短所を明らかにしました。 研究者たちは、大規模言語モデル（LLM）と拡散モデルのトレーニングにかかるコストと時間を避けるコスト効率の高い解決策を採用しました。彼らは、オフ・ザ・シェルフの凍結LLMを拡散モデルに統合し、拡散モデルにより強化された空間的および常識的推論能力を提供する2段階の生成プロセスを実現しました。 第1段階では、LLMはコンテキスト学習を通じてテキストによるレイアウトジェネレーターとして機能するように適応されます。画像のプロンプトが与えられると、LLMはバウンディングボックスとそれに対応する説明から構成されるシーンレイアウトを生成します。第2段階では、生成されたレイアウトによって拡散モデルが誘導され、画像を生成します。両段階で、LLMまたは拡散モデルのパラメータ最適化なしに凍結された事前トレーニングモデルが使用されます。 LMDには、プロンプト理解を改善する以外にも、いくつかの利点があります。ダイアログベースのマルチラウンドシーン指定を可能にし、ユーザーが各プロンプトに対して追加の説明や修正を提供できるようにします。さらに、LMDは、基礎となる拡散モデルでサポートされていない言語のプロンプトを処理できます。マルチラウンドのダイアログをサポートするLLMを組み込むことで、初期のレイアウト生成後にLLMにクエリを送信し、追加の画像生成のための更新されたレイアウトを受け取ることができます。これにより、オブジェクトの追加や場所や説明の変更などの要求が容易になります。 さらに、LMDは、コンテキスト学習中に英語のレイアウトと背景説明とともに非英語のプロンプトの例を提供することで、非英語のプロンプトを受け入れることができます。これにより、与えられた言語に対応するサポートがない場合でも、LMDは英語の説明を持つレイアウトを生成できます。 研究者たちは、LMDが利用する基本的な拡散モデルであるStable Diffusion 2.1と比較することで、LMDの優越性を検証しました。より包括的な評価とさらなる比較については、彼らの研究を探索するように読者を招待しています。 要約すると、LMDは、空間的または常識的推論を必要とするプロンプトに正確に従うための拡散モデルの制限に対処する革新的なアプローチを提供します。凍結LLMを組み込み、2段階の生成プロセスを採用することで、LMDはテキストから画像を生成するタスクにおけるプロンプト理解を大幅に強化します。また、ダイアログベースのシーン指定やサポートされていない言語のプロンプトの処理など、追加の機能を提供します。研究チームの業績は、オフ・ザ・シェルフの凍結モデルを統合することで、合成された画像の正確性と多様性を向上させるための新しい可能性を開くものです。

Meta AIとSamsungの研究者が、学習率適応のための2つの新しいAI手法、ProdigyとResettingを導入し、最先端のD-Adaptation手法の適応率を改善しました

現代の機械学習は、コンピュータビジョン、自然言語処理、強化学習など、さまざまな分野で難しい問題に効果的な解答を提供するために最適化に重点を置いています。迅速な収束と高品質のソリューションを達成する難しさは、選択された学習率に大きく依存しています。各自の最適化器を持つ多数のエージェントを持つアプリケーションでは、学習率の調整がより困難になっています。手作業で調整された最適化器はうまく機能しますが、これらの方法は通常、専門的なスキルと煩雑な作業を要求します。したがって、近年では、「パラメータフリー」の自適応学習率方法（D-Adaptationアプローチなど）が、学習率フリーの最適化のために人気を集めています。 サムスンAIセンターとMeta AIの研究チームは、D-Adaptation方法にProdigyとResettingと呼ばれる2つの独自の変更を導入し、D-Adaptation方法の最悪の非漸近収束率を改善し、より速い収束率と優れた最適化出力をもたらすようにしています。 著者は、自適応学習率方法を微調整することで、アルゴリズムの収束速度と解の品質性能を向上させるために、元の方法に2つの新しい変更を導入しています。解に対する距離を調整する方法に対する下限が確立され、提案された調整が検証されます。さらに、指数関数的に増加する反復回数に対して最悪のケースで定数倍の最適性を持つことが示され、拡張テストが実施され、増加したD-Adaptation方法が学習率を迅速に調整し、優れた収束率と最適化結果をもたらすことが示されています。 チームの革新的な戦略は、AdagradのようなステップサイズでD-Adaptationのエラー項目を微調整することです。主要なエラー項目を保持しながら、研究者は自信を持ってより大きなステップを踏み出すことができ、改善された方法はより速く収束します。ステップサイズの分母があまりにも大きくなると、アルゴリズムは遅くなります。したがって、彼らはグラデーションの隣に重みを追加します。 研究者は、提案された技術を使用して、凸ロジスティック回帰と深刻な学習課題を解決しました。複数の研究で、Prodigyは既知のどのアプローチよりも速い採用を示しました。リセットを使用したD-Adaptationは、Prodigyと同じ理論的なペースに到達し、ProdigyまたはD-Adaptationよりもはるかに単純な理論を使用します。さらに、提案された方法はしばしばD-Adaptationアルゴリズムを上回り、手動調整されたAdamと同等のテスト精度を達成できます。 最新の2つの提案された方法は、学習率適応の最新のD-adaptionアプローチを上回っています。広範な実験的証拠は、ウェイト付きのD-Adaptation変種であるProdigyが既存のアプローチよりも適応性が高いことを示しています。2番目の方法であるリセットを使用したD-Adaptationは、より複雑な理論よりもProdigyの理論ペースに合わせることができます。

サリー大学の研究者たちは、機械学習における画像認識を革新するスケッチベースの物体検知ツールを開発しました

旧石器時代から、人々はコミュニケーションや文書化のためにスケッチを使用してきました。過去10年間、研究者たちは、分類や合成から視覚的抽象モデリング、スタイル転送、連続ストロークフィッティングなどのより新しいアプリケーションまで、スケッチの使用方法を理解するために大きな進歩を遂げてきました。しかし、スケッチベースの画像検索（SBIR）とその細かいグレインの対応（FGSBIR）だけが、スケッチの表現力の潜在能力を調査しています。最近のシステムは、すでに商業的に適応するために十分に成熟しており、スケッチの表現力を開発することがどれだけ重要かを示す素晴らしい証拠です。 スケッチは非常に示唆的であり、自動的に微妙で個人的な視覚的手がかりをキャプチャするためです。しかし、人間のスケッチのこれらの固有の特性の研究は、画像検索の分野に限定されてきました。科学者たちは、スケッチの示唆的な力を使用して、ビジョンの最も基本的なタスクであるシーン内のオブジェクトの検出にシステムをトレーニングするようになっています。最終的な製品は、スケッチに基づくオブジェクトの検出フレームワークであり、つまり、群れの中の特定の「シマウマ」（たとえば、草を食べているシマウマ）にピンポイントでアプローチできるようになります。さらに、研究者たちは、モデルが次のようなことなしに成功することを課しています。 （ゼロショット）テストに何らかの結果を期待せずに進むこと。 （完全に教師付きのように）追加の境界ボックスやクラスラベルを必要としないこと。 研究者たちは、スケッチに基づく検出器も、ゼロショットの方法で動作することを要求しており、システムの新規性を高めています。以下のセクションで、彼らはオブジェクト検出を閉じたセットからオープンボキャブ構成に切り替える方法を詳述しています。たとえば、オブジェクトディテクターは、分類ヘッドの代わりにプロトタイプ学習を使用し、エンコードされたクエリスケッチ機能をサポートセットとして使用します。モデルは、ウィークリー教師ありオブジェクト検出（WSOD）環境で、すべての考えられるカテゴリまたはインスタンスのプロトタイプに対する多カテゴリ交差エントロピー損失を使用してトレーニングされます。オブジェクト検出は画像レベルで動作し、一方、SBIRは個々のオブジェクトのスケッチと写真のペアでトレーニングされます。これにより、SBIRオブジェクト検出器のトレーニングでは、オブジェクトレベルと画像レベルの特性の間に橋渡しが必要です。 研究者たちの貢献は次のとおりです。 人間のスケッチの表現力を養うことによるオブジェクト検出の改善。 スケッチに基づいたオブジェクト識別フレームワークの構築。スケッチを理解しているものであり、カテゴリレベル、インスタンスレベル、パーツレベルの検出が可能です。 クリップとSBIRを組み合わせた新しいプロンプト学習構成によるスケッチに注意を払った検出器の作成。バウンディングボックスの注釈やクラスラベルなしでゼロショットファッションで機能します。 結果は、ゼロショット設定でSODおよびWSODよりも優れています。 研究者たちは、基礎となるモデル（CLIPなど）と、既にスケッチベースの画像検索（SBIR）のために構築された既存のスケッチモデルとの直感的なシナジーを実証しました。特に、SBIRモデルのスケッチと写真のブランチで別々のプロンプトを行った後、CLIPの汎化能力を使用して高度に一般化されたスケッチと写真のエンコーダーを構築します。検出されたボックスの領域埋め込みがSBIRスケッチと写真の埋め込みと一致するようにするために、アイテム検出のために学習されたエンコーダーを調整するためのトレーニングパラダイムを設計します。このフレームワークは、PASCAL-VOCやMS-COCOなどの業界標準のオブジェクト検出データセットでテストされたとき、教師あり（SOD）およびウィークリー教師あり（WSOD）オブジェクト検出器をゼロショット設定で上回ります。 まとめ オブジェクト検出を改善するために、研究者たちは、スケッチで人間の表現力を積極的に促進しています。提案されたスケッチに対応したオブジェクト識別フレームワークは、スケッチで何を伝えようとしているかを理解できるインスタンスレベルとパーツレベルのオブジェクト検出器です。そのため、バウンディングボックスの注釈やクラスラベルなしで機能するスケッチに注意を払った検出器を教育するために、CLIPとSBIRを組み合わせた革新的なプロンプト学習セットアップを考案します。また、ゼロショットファッションで動作するように指定されています。一方、SBIRは、単一のもののスケッチと写真のペアを使用して教育されます。オブジェクトとイメージのレベルの間のギャップを埋めるために、耐破壊性を高め、語彙外への一般化を増加させるデータ拡張アプローチを使用します。結果として得られるフレームワークは、ゼロショット設定で教師ありおよびウィークリー教師ありオブジェクト検出器を上回ります。

LinkedInとUCバークレーの研究者らは、AIによって生成されたプロフィール写真を検出する新しい方法を提案しています

人工知能（AI）による合成やテキストから画像生成されたメディアの普及とともに、偽プロフィールの洗練度が高まっています。LinkedInはUC Berkeleyと提携して、最先端の検出方法を研究しています。彼らの最近の検出方法は、人工的に生成されたプロフィール写真を99.6％の確率で正確に識別し、本物の写真を偽物として誤認識する割合はわずか1％です。 この問題を調査するには2種類の法科学的方法が使用できます。 仮説に基づく方法は、合成的に作られた顔の異常を見つけることができます。この方法は、明白な意味の外れ者を学習することで利益を得ます。しかし、学習可能な合成エンジンは既にこれらの機能を持っているようです。 機械学習などのデータ駆動型の方法は、自然な顔とCGIの顔を区別することができます。訓練システムに専門外の画像が提示されると、分類に苦労することはよくあります。 提案された手法は、まずコンピュータ生成の顔に固有の幾何学的属性を特定し、それを測定および検出するためにデータ駆動型の方法を使用するハイブリッドアプローチを採用しています。この方法は、軽量で素早く訓練可能な分類器を使用し、小さな合成顔のセットで訓練が必要です。5つの異なる合成エンジンを使用して、41,500の合成顔を作成し、追加のデータとして100,000のLinkedInプロフィール画像を使用しています。 公開されている実際のLinkedInプロフィール写真が合成生成された（StyleGAN2）顔とどのように比較されるかを見るために、彼らはそれぞれ平均400枚を並べて比較しました。人々の実際の写真は非常に異なっているため、ほとんどのプロフィール写真は一般的なヘッドショットにすぎません。一方、一般的なStyleGAN顔は非常に明確な特徴と鋭い目を持っています。これは、StyleGAN顔の眼底位置と眼間距離が標準化されているためです。実際のプロフィール写真は通常、上半身や肩に焦点を当てていますが、StyleGAN顔は首から上に合成される傾向があります。彼らは社会グループ内外の類似点と相違点を利用することを望んでいました。 FaceForensics++データセット内のディープフェイク顔交換を識別するために、研究者は1クラス変分オートエンコーダ（VAE）と基準1クラスオートエンコーダを組み合わせました。フェイススワップのディープフェイクに焦点を当てた過去の研究とは異なり、この研究では合成顔（例：StyleGAN）に重点が置かれています。研究者たちは、比較的少数の合成画像に対して非常に単純で訓練しやすい分類器も使用し、全体的な分類性能を同等に達成しています。 Generated.photosとStable Diffusionで生成された画像を使用して、モデルの汎化能力を評価します。生成的対抗ネットワーク（GAN）を使用して生成されたGenerated.photos顔は、比較的一般的な使用が可能であり、安定した拡散顔はそうではありません。 TPRは「真陽性率」を表し、偽の画像が正しく識別された割合を測定します。FPRを計算するには、偽のラベル付けがされた本物の画像の数を取ります。この研究の結果、提案された方法は、本物のLinkedInプロフィール写真のわずか1％（FPR）を偽物として正確に識別し、合成されたStyleGAN、StyleGAN2、およびStyleGAN3顔を99.6％（TPR）正しく識別します。 研究チームによると、この方法は切り抜き攻撃によって簡単に破られる可能性があり、これは大きな欠点です。StyleGANで生成された画像は既に顔の周りが切り取られているため、この攻撃によって異常なプロフィール写真が生成される可能性があります。彼らは高度な技術を使用し、スケールとトランスレーション不変表現を学習できるかもしれないと計画しています。

がん検出の革命：サリー大学が機械学習における画像ベースのオブジェクト検出ツールを発表し、ゲームチェンジとなる

先史時代以来、人々はコミュニケーションや文書化のためにスケッチを使用してきました。過去10年間、研究者たちは、分類や合成から視覚的抽象モデリング、スタイル転送、連続ストローク適合などのより新しいアプリケーションに至るまで、スケッチの使用方法について大きな進歩を遂げてきました。しかし、スケッチベースの画像検索（SBIR）とその微細な対応（FGSBIR）のみが、スケッチの表現力の可能性を調査しています。最近のシステムは、すでに商業展開に向けて十分に成熟しており、スケッチ表現力の開発がどのように重要な影響を与えるかについて素晴らしい証拠です。 スケッチは、微妙で個人的な視覚的な手がかりを自動的にキャプチャするため、非常に示唆的です。ただし、人間のスケッチのこれらの固有の特性の研究は、画像検索の分野に限定されてきました。科学者たちは、スケッチの表現力を最も基本的なビジョンのタスクであるシーン内のオブジェクトの検出に使用するようシステムをトレーニングするのに初めて取り組んでいます。最終的な製品は、スケッチに基づいてオブジェクトを検出するためのフレームワークであり、これにより、群れの中の特定の「シマウマ」（たとえば草を食べているもの）に絞り込むことができます。さらに、研究者たちは、モデルが以下のようなものであっても成功するように規定しています。 テストに入る前にどのような結果を期待するかについてのアイデアがない（ゼロショット）。 余分な境界ボックスやクラスラベルが必要ない（完全に監視されたものと同じように）。 研究者たちは、スケッチベースの検出器もまた、ゼロショットで動作するようにして、システムの新規性を高めています。続くセクションでは、彼らはオブジェクト検出をクローズドセットからオープンボキャブ構成に切り替える方法について詳しく説明し、たとえば、分類ヘッドの代わりにプロトタイプ学習を使用することにより、エンコードされたクエリスケッチ機能がサポートセットとして使用されます。モデルは、弱く監視されたオブジェクト検出（WSOD）環境のあらゆる考えられるカテゴリまたはインスタンスのプロトタイプ全体にわたるマルチカテゴリクロスエントロピー損失でトレーニングされます。オブジェクト検出は画像レベルで動作し、一方、SBIRは個々のオブジェクトのスケッチと写真のペアでトレーニングされます。このため、SBIRオブジェクト検出トレーニングには、オブジェクトレベルと画像レベルの特性の橋渡しを必要とします。 研究者たちの貢献は次の通りです。 スケッチングの表現力を育成して、オブジェクト検出に人間の表現力を積極的に促進する。 スケッチをベースにしたオブジェクト識別フレームワークで、何を伝えようとしているのかを理解できるインスタンス感知およびパート感知のオブジェクト検出器。 従来のカテゴリレベルおよびインスタンスおよびパートレベルの検出が可能なオブジェクト検出器。 CLIPとSBIRを組み合わせた新しいプロンプト学習構成により、バウンディングボックス注釈やクラスラベルなしで機能するスケッチ感知検出器を生成する。 その結果は、ゼロショット設定でSODおよびWSODを上回る。 研究者たちは、既に優雅に解決できるスケッチベースの画像検索（SBIR）のために構築された既存のスケッチモデルと基礎モデル（CLIPなど）の直感的なシナジーを示しました。特に、彼らはまず、SBIRモデルのスケッチと写真の枝にそれぞれ別個のプロンプトを実行し、次にCLIPの一般化能力を使用して高度に汎化可能なスケッチと写真のエンコーダーを構築します。検出されたボックスの領域埋め込みがSBIRスケッチと写真のものと一致するようにするために、アイテム検出のために学習されたエンコーダーを調整するためのトレーニングパラダイムを設計しています。このフレームワークは、PASCAL-VOCやMS-COCOなどの業界標準のオブジェクト検出データセットでテストされたとき、監視された（SOD）および弱く監視された（WSOD）オブジェクト検出器をゼロショット設定で上回ります。 まとめ 研究者たちは、オブジェクト検出を改善するために、スケッチングにおける人間の表現力を積極的に促進しています。提案されたスケッチを有効にしたオブジェクト識別フレームワークは、スケッチで何を伝えようとしているのかを理解できるインスタンス感知およびパート感知のオブジェクト検出器です。したがって、バウンディングボックスの注釈やクラスラベルなしで機能するスケッチ感知検出器を教育するために、CLIPとSBIRを組み合わせた革新的なプロンプト学習セットアップを考案しました。検出器は、ゼロショット設定でも動作するように指定されています。一方、SBIRは、個々のオブジェクトのスケッチと写真のペアで教えられます。彼らは、オブジェクトと画像のレベルのギャップを埋めるために、汚染に対する抵抗力を高め、語彙外への一般化を高めるデータ拡張手法を使用します。その結果得られるフレームワークは、ゼロショット設定で監視されたおよび弱く監視されたオブジェクト検出器を上回ります。

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us