Search Results AI

「素晴らしいAIアプリケーションのクイックでエレガントなデモを作成する」

このブログシリーズの前のパートでは、YouTubeのビデオURLを入力として受け取り、そのビデオを書き起こし、内容を簡潔かつ一貫性のある形式にまとめるMLアプリケーションの構築方法を示しました

メタAIが効率的なSAMを紹介します：パラメータ数が20分の1でランタイムが20倍速いSAMの弟です

ビジョンにおいて、Segment Anything Model (SAM) は、ゼロショットオブジェクト提案生成、ゼロショットインスタンスセグメンテーション、エッジ検出など、数多くの画像セグメンテーションタスクで優れた成果を上げています。 SAMのビジョントランスフォーマ (ViT) モデルの基盤となるのは、SA-1Bビジュアルデータセットです。このデータセットには、１１００万枚の写真から１０億のマスクが含まれており、与えられた画像内の任意のアイテムをセグメント化することが可能です。Segment Anythingの能力を持つことから、SAMはビジョンにおける基盤モデルに留まらず、ビジョンの外でも活用されています。これらの利点にもかかわらず、特にViT-Hのような画像エンコーダのようなSAMアーキテクチャの高いコストは、効率の面での実用上の採用を妨げるものとなっています。この困難に対応するため、最近のいくつかの研究論文では、SAMをプロンプトベースのインスタンスセグメンテーションに利用する際の金銭的負担を軽減する解決策が提案されています。例えば、既存のデフォルトのViT-H画像エンコーダの専門知識の恩恵を、小さなViT画像エンコーダにも与えることができます。リアルタイムのCNNベースの設計は、Segment Anythingの処理コストを削減することができます。ViT-Tiny/-Smallのような十分にトレーニングされた軽量なViT画像エンコーダを、パフォーマンスを犠牲にすることなく利用することがこの論文では提案されています。新しいメタAIの研究では、SAMを活用したマスク画像関連の軽量な事前学習されたViTバックボーンを作成しています。このために、研究者たちはSAMモデルで有名なMAE事前学習手法を利用して高品質の事前学習済みViTエンコーダーを確立しました。具体的には、提案されたSAMIは、イメージパッチではなくSAMのViT-Hから特徴を再構築するためにマスク画像モデルをトレーニングし、SAMエンコーダであるViT-Hを使用して特徴埋め込みを提供します。これにより、画像のカテゴリ分類、オブジェクト識別、セグメンテーションなどの後続操作に利用できる一般的なViTバックボーンが生成されます。その後、事前学習済みの軽量エンコーダをSAMデコーダを利用してセグメンテーションやその他のタスクに適用するように調整されます。チームはまた、現実世界での実装における品質と効率のトレードオフを持つ軽量なSAMモデルであるEfficientSAMを提供しています。チームは、224×224の解像度を利用してImageNet上でモデルを再構成損失を用いて事前学習し、その後、対象のタスクで監督データを利用して微調整して、マスク画像事前学習の転移学習の文脈での戦略を評価しました。SAMIによって一般化可能な軽量エンコーダを学習することができます。SAMI事前学習を行ったImageNet-1Kでトレーニングされたモデルは、ViT-Tiny/-Small/-Baseのような一般化能力において優れた結果を示しました。ImageNet-1Kで100エポックで微調整された場合、ViT-Smallモデルでは82.7%のトップ1の正答率を達成し、その性能は他の最先端の画像事前学習ベースラインよりも優れています。オブジェクト検出、インスタンスセグメンテーション、意味セグメンテーションの領域では、チームは事前学習モデルをさらに改良しました。既存の事前学習ベースラインと比較して、彼らの戦略はこれらのタスクにおいてそれらを上回ります。さらに、小さなモデルでも大幅な改善が見られます。さらに、Segment Anythingのチャレンジもモデルの評価に利用されます。このモデルは、COCO/LVISのゼロショットインスタンスセグメンテーションにおいて、FastSAMや現在の軽量SAMアルゴリズムよりも4.1AP/5.2APの改善が見られます。

香港大学和阿里巴巴集团的AI研究揭示了“LivePhoto”：文本控制的视频动画和动作强度定制的重大突破

香港大学、阿里巴巴集团、蚂蚁集团的研究人员开发了LivePhoto，以解决当前文本到视频生成研究中对时间运动的忽视问题。LivePhoto使用户能够通过文本描述来给图像添加动画效果，同时减少文本到动画映射中的歧义。该研究通过提出LivePhoto，一个实用的系统，解决了现有图像动画方法的局限性，使用户能够通过文本描述来给图像添加动画效果。与之前依赖于视频或特定类别的作品不同，LivePhoto使用文本作为生成通用领域定制视频的灵活控制方法。文本到视频生成领域已经得到发展，近期的方法利用了预训练的文本到图像模型，并引入了时间层。LivePhoto通过允许用户通过文本控制运动强度，提供了一个多功能和可定制的文本驱动图像动画框架，适用于各种领域。 LivePhoto是一个允许用户通过文本描述来给图像添加动画效果的系统。通过LivePhoto，用户可以对运动强度进行精确控制，轻松将与运动相关的文本指令解码为视频。这个高度灵活和可定制的系统允许用户从文本指令生成多样化内容。LivePhoto对文本驱动图像动画做出了宝贵的贡献。该系统包括运动模块、运动强度估计模块和文本重新加权模块，用于有效的文本到动画映射，解决了文本到视频生成中的挑战。利用稳定扩散模型引入额外的模块和层以进行运动控制和文本引导的视频生成。LivePhoto利用内容编码、交叉注意力和噪音逆向进行引导，便于根据文本指令生成定制视频，并保留整体特征。 LivePhoto在将与运动相关的文本指令解码为视频方面表现出色，展示了它通过文本描述来控制时间运动的能力。LivePhoto为用户提供了一个额外的控制信号，用于自定义运动强度，在给图像添加文本描述时提供了灵活性。该系统以稳定扩散为基本模型，通过模块和层的增强实现了有效的文本到视频生成和运动控制。总而言之，LivePhoto是一个实用而灵活的系统，使用户能够通过定制的运动控制和文本描述创建带有动画效果的图像。它的运动模块用于时间建模和强度估计，将文本指令解码为多样化的视频，使其在不同的动作、相机移动和内容方面具有高效性。其广泛的应用使其成为基于文本指令创建动画图像的有用工具。为了改进LivePhoto的性能，探索更高的分辨率和像素密度模型（如SD-XL）可能会显著提高整体表现。解决文本中关于运动速度和强度描述的问题可以提高与运动的一致性对齐。利用超分辨网络作为后处理可能会提高视频的平滑度和分辨率。提高训练数据质量可以增强生成的视频中的图像一致性。未来的工作可以完善训练流程并优化运动强度估计模块。研究LivePhoto在各种应用和领域中的潜力是未来研究的一个有前景的方向。

AI研究でα-CLIPが公開されましたターゲテッドアテンションと強化された制御によるマルチモーダル画像分析の向上

さらなる焦点化と制御された画像理解および編集のために、どのようにCLIPを改善できるでしょうか？上海交通大学、復旦大学、香港中文大学、上海AI研究所、マカオ大学、およびMThreads Inc.の研究者は、点、ストローク、またはマスクで定義された指定領域を認識する能力を強化するために、コントラスティブランゲージ-イメージプリトレーニング(CLIP)の制限に対処することを目指すAlpha-CLIPを提案します。この改良により、Alpha-CLIPは、画像認識や2Dおよび3D生成タスクへの貢献を含む多様な下流タスクで、より良いパフォーマンスを発揮することができます。マスクCLIP、SAN、MaskAdaptedCLIP、およびMaskQCLIPなど、さまざまな戦略がCLIPに領域認識を持たせるために試されてきました。一部の方法は、切り抜きやマスクを用いて入力画像を変更します（ReCLIPやOvarNetなど）。他の方法は、赤い円やマスクの輪郭を使用してCLIPの注目を誘導します（Red-CircleやFGVPなど）。これらのアプローチは、CLIPのプリトレーニングデータセットのシンボルに依存することが多く、ドメインのギャップを引き起こす可能性がありますが、Alpha-CLIPは、画像コンテンツを変更せずに指定された領域に焦点を当てるための追加のアルファチャネルを導入し、一般化性能を保持しながら領域の焦点を強化します。 CLIPおよびその派生物は、下流タスクのために画像とテキストから特徴を抽出しますが、特定の領域に焦点を当てることは、より詳細な理解とコンテンツ生成において重要です。Alpha-CLIPは、コンテンツを変更せずに指定された領域に焦点を当てるためのアルファチャネルを導入し、画像認識、マルチモーダル言語モデル、および2D/3D生成などのタスクで、CLIPを強化します。Alpha-CLIPをトレーニングするには、セグメントアニシングモデルと画像キャプショニングのためのマルチモーダルな大規模モデルを使用して、領域-テキストペアのデータを生成する必要があります。 Alpha-CLIP方法は、コンテンツを変更せずに特定の領域に焦点を当てるための追加のアルファチャネルを導入したものであり、これによりコンテキスト情報が保持されます。データパイプラインは、モデルトレーニングのためにRGBA-領域テキストペアを生成します。分類データが領域-テキスト理解に与える影響を調査するために、グラウンディングデータのみで事前トレーニングされたモデルと分類およびグラウンディングデータの組み合わせを比較することによるデータ減衰の研究が行われます。ゼロショット実験では、リファリング表現の理解においてAlpha-CLIPがCLIPに代わり、競争力のある領域-テキスト理解の結果を達成します。 Alpha-CLIPは、点、ストローク、マスクを伴うタスクにおいてCLIPを改善し、焦点を当てることができる特定の領域を拡張します。ただし、グラウンディングのみのプリトレーニングを上回り、領域の知覚能力を向上させます。ImageNetなどの大規模な分類データセットは、そのパフォーマンスに大きく貢献しています。結論として、Alpha-CLIPモデルは元のCLIPを置き換え、領域焦点の機能を効果的に向上させることが実証されています。さらにアルファチャネルを組み込むことで、Alpha-CLIPはゼロショット認識の改善やリファリング表現理解タスクでベースラインモデルを上回る競争力のある結果を示しています。関連領域に焦点を当てるモデルの能力は、分類とグラウンディングのデータの組み合わせによる事前トレーニングによって向上されています。実験結果は、Alpha-CLIPが前景領域やマスクを持つシナリオで有用であり、CLIPの能力を拡張し、画像テキスト理解を改善する可能性があることを示しています。将来の課題として、この研究はAlpha-CLIPの制限を解決し、その能力と適用範囲を拡大するために解像度を向上させることを提案しています。研究は、領域-知覚能力を向上させるためにより強力なグラウンディングおよびセグメンテーションモデルを活用することを提案しています。研究者は、画像コンテンツをより良く理解するために、興味のある領域に焦点を当てることの重要性について強調しています。Alpha-CLIPは、画像コンテンツを変更せずに領域の焦点を当てることができます。研究は、Alpha-CLIPのパフォーマンスを改善し、応用範囲を広げ、領域に焦点を当てたCLIPの特徴の新しい戦略を探索するための継続的な研究を提唱しています。

このGoogleとUC BerkeleyのAI論文は、NeRFillerを紹介します：2Dインペインティング拡散モデルを使用して3Dシーン再構築を革新する人工知能アプローチ

3Dキャプチャの欠けた部分を効果的に補完する方法はありますか？Google ResearchとUC Berkeleyの研究論文では、「NeRFiller」という新しい3Dインペインティング手法を紹介しています。この手法は、再構築の失敗や観測の不足によってしばしば欠落する、不完全な3Dシーンやオブジェクトの再構築の課題に対処しています。この手法は、参照例を通じてインペインティングプロセスを制御することで、精密かつカスタマイズ可能なシーンの補完を可能にします。NeRFillerは、3Dキャプチャ内のシーンやオブジェクトを強化する3D生成インペインティング手法であり、3D再構築の改善に効果的な解決策となります。この研究では、伝統的な2Dインペインティングから大規模インペインティングのLaMaのような先進的な技術まで、さまざまな手法を用いて3Dシーンの欠落した部分を補完する方法を探求しています。確率的および潜在的な拡散モデルに取り組み、テキストや画像を入力とする3D生成アプローチを考慮しています。オブジェクトの削除設定の関連性が強調され、3Dインペインティングのためのさまざまなベースラインとデータセットが評価されています。ビデオやシーン編集の関連研究に触れながらも、主に既存の3Dシーンのコンテキスト内でのシーン補完に焦点を当てています。この研究では、3Dシーンの補完とインペインティングの課題に取り組み、3Dに対応したマルチビュー一致アプローチの重要性を強調しています。シーン補完とオブジェクトの削除を区別し、3Dシーン内で新しいコンテンツを生成することに焦点を当てています。3D一貫性のあるイメージのための2D生成インペインティングモデルの制約について議論されています。提案されたNeRFillerアプローチは、テキストから画像への拡散モデルのグリッド事前現象を活用し、インペインティングでのマルチビュー一貫性を強化します。3Dシーンの最適化のための反復的な手法を利用し、グリッドインペインティングを大規模な画像コレクションに拡張しています。Masked NeRFやLaMaskなどのベースラインとの比較を行い、NeRFillerの効果を示しています。比較や新規ビューメトリクス、イメージ品質、ジオメトリメトリクスを含む評価も行われています。 NeRFillerは、3Dシーンの欠落した領域を補完するための生成的な2D拡散モデルを利用した手法です。さまざまなインペインティングの推定値の課題と、2Dモデルの3D一貫性の欠如に取り組んでいます。NeRFillerは、顕著なインペインティング結果のための統合機構を取り入れ、3Dキャラクターを促進します。反復的な3Dシーンの最適化を活用し、グリッドインペインティングを大規模な画像コレクションに拡張します。Masked NeRFやLaMaskといったベースラインとの比較を行い、NeRFillerの効果を示しています。比較や新規ビューメトリクス、イメージ品質、ジオメトリメトリクスを含む評価も行われています。結論として、NeRFillerは3Dシーン内の欠落した部分を正確に補完することができる強力な3Dインペインティングツールです。ギャップを埋めたり、不要な要素を削除する能力は、オブジェクト削除のベースラインを上回ります。Joint Multi-View Inpaintingの導入により、複数の画像間でノイズの予測を平均化することで一貫性を強化しています。NeRFillerは、最新のベースラインと比較することで、ユーザー指定の3Dシーンの補完を達成しています。ユーザーが指定した仕様で3Dキャプチャの欠落部分をインペインティングするための貴重なフレームワークを提供しています。

AI2とワシントン大学の研究者が、LLMsの表面的な性質を明らかにし、チューニングフリーの新しい方法であるURIALを紹介した

ラージランゲージモデル（LLMs）は、人工知能（AI）やディープラーニングの分野での最近の革新です。GPT、PaLM、LLaMaなどのよく知られたLLMは、コンテンツの生成において非常に高いポテンシャルを示しています。質問応答やテキスト要約から言語翻訳やコード補完まで、これらのモデルは多くのことができます。ChatGPTを含むこれらのモデルは、広範な非監督テキストコーパスでの事前トレーニングを経ています。しかし、最近の研究は、従来のファインチューニングの採用方法が以前に考えられていたほど重要ではない可能性があると示唆しています。オープンドメインのAIアシスタントとしての基本LLMの改善プロセスであるアライメントチューニングは業界標準と認められています。これには、人間のフィードバックからの強化学習（RLHF）や監視付きファインチューニング（SFT）が含まれます。この標準は、LIMAという研究によって問われ、SFTのためのわずか1,000のサンプルでも意味のあるアライメントパフォーマンスを達成することができると示されました。 LIMAが提案したスーパーフィシャルアライメント仮説では、基本LLMの振る舞いを根本的に変えるのではなく、特定のデータ形式を選択するようにトレーニングすることで、アライメントチューニングが行われる可能性があります。これにより、わずかな例でも高品質なアライメントモデルが監視付きファインチューニングによって生成されることが示されました。スーパーフィシャルアライメント理論に確かな支持を見つけるための研究が不十分であるため、Allen Institute for Artificial Intelligenceおよびワシントン大学の研究チームは、最近の論文でアライメントチューニングの広く使用されている技術に取り組み、基本LLMを有用なオープンドメインのAIアシスタントにする方法を提案しています。選好チューニングは人間のフィードバックからの強化学習によって実現され、指導学習は監視付きファインチューニングによって実現されています。チームは、基本LLMとそのアライメントされたバージョン（例：Llama-2およびLlama-2-chat）のトークン分布の変化を調査し、アライメント調整の影響を研究しました。彼らは、基本LLMとそのアライメントされたバージョンが上位ランクされたトークンを共有し、ほとんどのトークン位置でデコーディングにおいてほぼ同じパフォーマンスを発揮することを発見しました。ディスコースマーカーやセーフティディスクレイマーなどのスタイルトークンは、最も分布の変動を経験しています。この研究は、アライメント調整が主にAIアシスタントの言語スタイルを同化することに焦点を当てており、基本LLMがユーザーの問い合わせに応えるために必要な情報を提供しているという仮説の説得力のある証拠を提供しています。チームはまた、SFTやRLHFなしで基本LLMをどの程度アラインできるかという研究トピックを提示しました。彼らは、URIAL（調整を必要としないLLMとコンテキスト内アライメント）というアライメント技術を提案しました。わずか3つの連続スタイルの例とシステムのプロンプトだけで、URIALは基本LLMとのコンテキスト内学習（ICL）のみを通じて効果的なアラインメントを達成します。チームは、Mistral-7b-Instruct（SFTで調整されたLLM）やSFT+RLHF（Llama-2-70b-chat）でアラインされたLLMsと同等またはそれ以上のパフォーマンスを提供するURIALを持つ基本LLMの詳細で理解しやすい分析を提供する、just-eval-instructと呼ばれる一連のインスタンスで、チューニングフリーおよびチューニングベースのアライメント戦略のギャップを劇的に縮小することが示されました。結論として、評価結果は浅いアライメントチューニングを強調し、基本LLMの言語スタイルの導入と既存の知識に委ねられることを示しています。

ジェミニに会いましょう：Googleの最大かつ最もパワフルなAIモデル

昨年11月、OpenAIがChatGPTをリリースした際、誰もが思い悩んでいた疑問がありましたそれは、テックの巨人たちは一体何をしているのか、というものです同社のCEO、サンダル・ピチャイによると、この技術は非常に重要です…

「パリを拠点とするスタートアップであり、OpenAIの競合他社であるMistral AIの評価額は20億ドルです」

ヨーロッパの人工知能セクターにとって重要な進展となりますが、パリに拠点を置くスタートアップ企業であるミストラルAIが注目すべきマイルストーンを達成しました同社は4億5000万ユーロの大規模な投資を成功裏に獲得し、その評価額を2億ドルという印象的な数字に押し上げましたこの資金調達ラウンドは、ミストラルAIだけでなく、急成長している人工知能業界にとっても転換点となる重要な瞬間です

MITとFAIR Metaの研究者は、「組織化された条件つき画像生成 (Representation-Conditioned Image Generation; RCG)：クラス非依存の画像生成における画期的なAIフレームワーク」を発表しました

人の注釈に頼らずに高品質な画像を生成する方法はありますか？MIT CSAILとFAIR Metaのこの論文では、人の注釈に頼らずに高品質な画像を生成するという課題に取り組んでいます。彼らは、事前に学習されたエンコーダを介して画像分布から得られた自己教師あり表現分布を利用する新しいフレームワークである「Representation-Conditioned Image Generation (RCG)」を紹介しています。このフレームワークは、クラス非依存の画像生成に優れた結果を達成し、クラス条件付きの画像生成では先導的な手法と競合しています。歴史的には、教師あり学習がコンピュータビジョンを主導してきましたが、対照的な学習などの自己教師あり学習方法がその差を縮めました。以前の画像生成の研究は、人の注釈を利用した条件付き生成が優れていましたが、非条件付き生成は課題を抱えていました。導入されたRCGフレームワークは、人の注釈を必要とせずにクラス条件付きおよびクラス非条件付きの画像生成で優れた結果を達成し、自己教師あり画像生成の重要な進歩を示しています。自己教師あり学習のための「Representation Diffusion Model (RDM)」を使用することで、画像生成における教師あり学習と教師なし学習のギャップを埋めることができます。RCGは、ピクセルジェネレータとRDMを統合することにより、クラス非条件付きの画像生成を可能にします。RCGは、Denoising Diffusion Implicit Modelsを通じて訓練された表現空間でのサンプリングのためのRDMを統合し、生成モデルパフォーマンスの向上のためのクラス分類器フリーガイダンスを組み込んでいます。MAGEによって示されるように、Moco v3などの事前学習済み画像エンコーダは、RDMへの入力のために表現を正規化します。 RCGフレームワークは、クラス非条件付きの画像生成において優れた結果を達成し、クラス条件付きの画像生成における先導的な手法と競合しています。ImageNet 256×256データセットでは、RCGはフレチェットイネプション距離3.31およびイネプションスコア253.4を達成し、高品質な画像生成を示しています。表現に基づく条件づけにより、RCGはADM、LDM、MAGEなどのさまざまなピクセルジェネレータによるクラス非条件付きの生成を劇的に向上させ、追加のトレーニングエポックにより性能をさらに向上させます。RCGの自己条件づけ画像生成手法は、さまざまな現代的な生成モデルを使って、クラス非条件付きの生成を一貫して向上させることを証明しています。 RCGフレームワークは、自己教師あり表現分布を活用し、クラス非条件付きの画像生成において画期的な結果を達成しました。さまざまな生成モデルとのシームレスな統合により、クラス非条件付きのパフォーマンスを大幅に向上させ、人の注釈から解放された自己条件づけ手法は条件付き手法を超える可能性を秘めています。RCGの軽量設計とタスク固有のトレーニング適応性により、大規模な未ラベルデータセットを活用することができます。RCGは高品質な画像合成のための非常に効果的で有望な手法となっています。

「ジェネレーティブAI 2024年とその先：未来の一瞥」

「ジェネレーティブAIファブリックの台頭から倫理が新しいNFRとなるまで、ジェネレーティブAI技術が2024年にもたらすものを探ってみましょう」

Learn more about Search Results AI - Page 18