Search Results CLIP

「DALL-E3」を詳しく見てみる

詳細な記事でOpenAIのDALL-E 3の進歩について探求しましょうさまざまなプロンプトでAIをテストし、ChatGPTとの高度な統合、優れた画像品質、倫理的なAIへの取り組みを探求します

このAIニュースレターは、あなたが必要とするすべてです＃71

今週、ジョー・バイデン大統領は人工知能の規制を再び注目させるために、人工知能の監督を目的とする行政命令に署名しましたこの指令は様々な政府機関に要請し、…

最新のデータを使ってファンデーションモデルを最新の状態に保つ方法は？ AppleとCMUの研究者が、VLMの継続的なトレーニングのための最初のウェブスケールの時系列連続性（TiC）ベンチマークを導入しましたこれには12.7Bのタイムスタンプ付きのイメージとテキストのペアが含まれています

CLIP、Flamingo、およびStable Diffusionなどの大規模なマルチモーダル基盤モデルの貢献により、画像生成とゼロショット汎化の以前に考えられなかった改善が実現し、マルチモーダル学習におけるパラダイムの変革が起こっています。これらのベースラインモデルは通常、大規模なウェブスケールの静的データセットを用いてトレーニングされます。OpenAIのCLIPモデルなどの従来のモデルが、2020年までのインターネットスケールのデータでトレーニングされた場合に、将来のデータでどのように機能するかは不明です。まず、AppleとCarnegie Mellon Universityの研究者たちは、OpenAIのCLIPモデルが、2022年までの最新のキュレーションされたウェブデータセットを使用して開発されたOpenCLIPリポジトリのモデルと比較して、ロバスト性の点でどのように優れているかを調査しています。CLIPモデルを測るための標準が存在しないため、2014年から2022年までの動的な分類および検索のタスクをカバーするデータセットを作成しました。OpenCLIPモデルはパフォーマンスを維持している一方、OpenAIモデルは2021年から2022年のデータと2014年から2016年のデータとの間で検索パフォーマンスに大きな差があることがわかりました。OpenAIのCLIPモデルはわずかによりロバストであるものの、これはImageNetの分布シフトにおける正確性などの典型的なテストに完全に反映されていません。彼らの研究は、静的ベンチマーク（ImageNetなど）を使用することには限界があり、モデルはデータの分布が変化するに伴って適応・進化する必要があることを明らかにしました。データの変化に対応するための単純で頻繁な手法の1つは、新しい画像テキストデータを得た場合に再びトレーニングを開始し、新しいCLIPモデルをトレーニングすることです。この方法の理論的な根拠は、既存のモデルから新しい入力にモデルの振る舞いを適応させることはより困難であるというものです。ただし、新たな基盤モデルを始めからトレーニングするのに必要な時間とエネルギーを何度も投資することは現実的ではありません。最近のCLIPモデルの持続的学習技術に焦点を当てた取り組みは、一つの後続タスクまたは少数のタスクで効率を向上させることを目的としています。最近の研究の一部はこれらの課題に取り組み始めていますが、現在のベンチマークは範囲が狭すぎるか、画像テキストデータが関連していないため、真に有用ではありません。 CLIPモデルの時系列トレーニングへの第一歩として、研究者たちは時間の経過によるデータ分布の自然な変化を観察しました。既存のCommonPoolデータセットに「クロールタイム」データを含めることにより、彼らはCLIPモデルの時系列連続トレーニングのための新たなベンチマークであるTIC-DataCompを確立しました。研究者たちはまた、RedditやFlickrなどから収集したインターネットの大規模データセットを再利用して、新たな目的に使用しました。特に、YFCCとRedcapsが提供する時系列情報を使用して、それぞれTIC-YFCCとTICRedCapsを編集しました。新しいデータセットが利用可能になるたびに、この研究は時間の制約内で機能する持続学習技術を構築することを目指しています。これらの戦略は、新しいデータが受け取られるたびにトレーニングパラメータをリセットし、累積計算予算を新しいモデルに費やすOracleとは逆の方向を示しています。研究者たちは、TIC-CLIPフレームワークでトレーニングされたモデルのゼロショット評価を行いました。評価には、ImageNetやImageNetの分布シフト、Flickrなどの28の確立された分類および検索タスクが使用されました。最後に、彼らは自身のベンチマークを使用して、リプレイバッファ、学習率スケジュール、ウォームスタート、パッチング、蒸留など、さまざまな持続学習アプローチを設計・テストしました。チームは、最新のチェックポイントでトレーニングを開始し、過去のすべてのデータをリプレイすることにより、累積技術がOracleと同等のパフォーマンスを2.7倍の計算効率で実現することを示す重要な教訓を得ました。彼らはまた、順次トレーニングのための学習率スケジュールや、静的および動的パフォーマンスのためのバッファサイズの間における興味深いトレードオフを示しました。彼らの結果は、11Mサンプルから3Bまでのデータセットにわたる傾向を強調し、テクニックによって一貫性を持たせました。既存のデータセットに追加で収集されたコードとタイミングデータは、近々公開され、広いコミュニティが提案されたベンチマークを使用できるようにする予定です。研究チームは、この未開拓のトピックに光を当てることで、基盤モデルの持続トレーニングへの道を切り開くことを望んでいます。

「Inside LlaVA GPT-4Vのオープンソースの最初の代替案」

数週間前、OpenAIはGPT-4で新しい画像および音声処理の機能を公開しました基本的に、AIラボはGPT-4 Vision（GPT-4V）という新しいモデルを発表しましたこれによってユーザーは指示をすることができます...

「非営利研究者による人工知能（AI）の進展リスト」

去年遅くから今年にかけて、2023年はAIの人々がAIアプリケーションを作成するのに最適な時期であり、これは非営利の研究者によるAIの進歩リストのおかげです。以下にそのリストを示します。 ALiBi ALiBiはTransformersにおけるテキストの推測問題に効率的に取り組む方法であり、学習に使用されたものよりも長いテキストシーケンスを推測する際に適用されます。ALiBiは実行時間に影響を与えず、追加のパラメータも必要とせず、既存のTransformerコードの数行を変更するだけで推測を行うことができる実装が容易なメソッドです。 Scaling Laws of RoPE-based Extrapolation この方法は、Transformerの推測能力を向上させるためのフレームワークです。研究者は、Rotary Position Embedding（RoPe）ベースのLLMを事前学習の文脈長でより小さなまたは大きなベースで微調整すると、より良いパフォーマンスが得られることを発見しました。 FlashAttention Transformersは、テキスト情報を処理できる強力なモデルですが、大規模なテキストシーケンスで作業する場合には大量のメモリが必要とされます。FlashAttentionは、既存の基準よりも高速でTransformerをトレーニングする、入出力（IO）を考慮したアルゴリズムです。 Branchformer Conformers（Transformerの一種）は音声処理に非常に効果的です。それらは畳み込み層とセルフアテンション層を順次使用するため、そのアーキテクチャは解釈しづらいものとなっています。Branchformerは、エンコーダの代替手法であり、柔軟で解釈可能であり、エンドツーエンドの音声処理タスクにおいて依存関係をモデル化するための並列ブランチを持っています。 Latent Diffusion Diffusion Modelsは、多くの画像処理タスクで最先端のパフォーマンスを達成するものの、計算が非常に負荷がかかります。Latent Diffusion Modelsは、Diffusion Modelsのバリエーションであり、より少ないリソースを必要としながら、さまざまな画像ベースのタスクで高いパフォーマンスを実現することができます。 CLIP-Guidance CLIP-Guidanceは、大規模なラベル付きデータセットを必要としないテキストから3D生成の新しい方法です。CLIPなどの事前学習されたビジョン言語モデルを活用し、テキストの説明と画像を関連付けることを学ぶことができるため、研究者はそれを使用して3Dオブジェクトのテキストの説明から画像を生成します。…

ユニ3D：スケールで統一された3D表現を探求する

テキストやビジュアルの表現の拡大は、最近の研究の主要な焦点となっています最近行われた開発と研究により、言語学習とビジョンにおいて多くの革命が生まれましたしかし、テキストやビジュアルの表現の拡大人気にもかかわらず、3Dシーンやオブジェクトの表現の拡大にはまだ課題があります

「OWLv2のご紹介：ゼロショット物体検出におけるGoogleのブレークスルー」

はじめに 2023年も終わりが近づいていますが、コンピュータビジョンコミュニティにとっての興奮するニュースは、Googleが最近OWLv2のリリースとともにゼロショットオブジェクト検出の世界で大きな進歩を遂げたことです。この最新モデルは🤗 Transformersで利用可能であり、これまでに存在する中でも最も堅牢なゼロショットオブジェクト検出システムの1つを表しています。これは昨年に導入されたOWL-ViT v1の基盤を築いています。この記事では、このモデルの動作とアーキテクチャを紹介し、推論を実行する実用的なアプローチを見ていきます。さあ、始めましょう。学習目標コンピュータビジョンにおけるゼロショットオブジェクト検出の概念を理解する。 GoogleのOWLv2モデルの背後にある技術とセルフトレーニングのアプローチについて学ぶ。 OWLv2の使用に必要な実用的なアプローチ。この記事はデータサイエンスブログマラソンの一環として公開されました。 OWLv2の技術 OWLv2の印象的な機能は、その革新的なセルフトレーニングのアプローチによるものです。このモデルは、10億以上の例から成るウェブスケールデータセットでトレーニングされました。これを達成するために、著者たちはOWL-ViT v1の強力さを活用し、そのモデルを使用して擬似ラベルを生成し、それを使ってOWLv2をトレーニングしました。さらに、モデルは検出データ上で微調整され、それによって先行モデルであるOWL-ViT v1に比べて性能が向上しました。セルフトレーニングによってオープンワールドの位置特定のウェブスケールトレーニングが可能になり、オブジェクトの分類や言語モデリングで見られるトレンドに倣っています。 OWLv2のアーキテクチャ OWLv2のアーキテクチャはOWL-ViTと似ていますが、オブジェクト検出のヘッドに注目すべき追加があります。これにより、予測ボックスがオブジェクトを含む可能性を予測するオブジェクト性の分類器が含まれるようになりました。オブジェクト性スコアは洞察を提供し、テキストクエリに関係なく予測を順位付けやフィルタリングするために使用することができます。ゼロショットオブジェクト検出ゼロショット学習は、GenAIのトレンド以来一般的になった新しい用語です。これは、主に大規模言語モデル（LLM）の微調整で見られます。これは、いくつかのデータを使用してベースモデルを微調整し、モデルが新しいカテゴリに対応するようにすることを指します。ゼロショットオブジェクト検出はコンピュータビジョンの分野で画期的なものです。これは、手動で注釈付けされたバウンディングボックスの必要がなくなり、モデルが画像内のオブジェクトを検出する能力を向上させます。これによりプロセスがスピードアップし、手動の注釈が不要になるため、人間にとっては魅力的で、退屈ではありません。 OWLv2の使い方 OWLv2はOWL-ViTと同様のアプローチを採用していますが、更新されたイメージプロセッサOwlv2ImageProcessorを特徴としています。さらに、モデルはテキストのエンコードにCLIPTokenizerを使用しています。Owlv2ProcessorはOwlv2ImageProcessorとCLIPTokenizerを組み合わせた便利なツールであり、テキストのエンコードプロセスを簡素化します。以下に、Owlv2ProcessorとOwlv2ForObjectDetectionを使用してオブジェクト検出を実行する方法の例を示します。…

アマゾンセイジメーカーの地理情報能力を使用したメタン排出ポイント源の検出と高周波監視

メタン（CH4）は、石油やガス抽出、石炭採掘、大規模な畜産、廃棄物処理など、他のさまざまな源から発生する、主要な人為的温室効果ガスですCH4の地球温暖化潜在能はCO2の86倍であり、気候変動に関する政府間パネル（IPCC）は、メタンが観測されている温室効果の30％を担っていると推定しています

「5分でイメージ検索」

この投稿では、テキストから画像を検索する（テキストに基づいて画像を検索することができる）およびイメージからイメージを検索する（参照画像に基づいて画像を検索することができる）ために… を実装します

Note This translation conveys the same meaning as the original English phrase, which refers to going from a state of poverty to wealth.

大規模言語モデル（LLM）が世界中を席巻している中、ベクトル検索エンジンも同行していますベクトルデータベースは、LLMの長期記憶システムの基盤を形成しています...

Learn more about Search Results CLIP - Page 10