Search Results SAM

このAI論文では、EdgeSAMを紹介していますエッジデバイス上で高速で効率的な画像セグメンテーションを進めるための機械学習を発展させています

セグメントングエニシングモデル（SAM）は、オブジェクト検出と認識のために画像をセグメント化するAIパワードモデルです。それは、さまざまなコンピュータビジョンの課題に対する効果的な解決策です。しかし、SAMはエッジデバイスに最適化されていないため、性能の低下や高いリソース消費を引き起こすことがあります。シンガポール国立大学S-Labと上海人工知能研究所の研究者は、この問題に対処するためにEdgeSAMを開発しました。この最適化されたSAMのバリアントは、リソース制約のあるエッジデバイス上で高い性能を確保するために設計されています。この研究は、視覚表現学習のための効率的なCNNとトランスフォーマーの設計に焦点を当てています。それは以前の研究で探索された方向で、知識蒸留を含む密な予測タスク（セマンティックセグメンテーションやオブジェクト検出など）における適用を認識しています。関連する研究には、ピクセルごとの特徴蒸留を実装するMobile-SAMや、YOLACTベースのインスタンスセグメンテーションモデルをトレーニングするFast-SAMがあります。特定のドメイン内での効率的なセグメンテーションに焦点を当てた以前の研究や、モバイルプラットフォーム上での端末実装に適したセグメンテーションモデルの探索についての最近の取り組みも強調されています。この研究は、エッジデバイス（スマートフォンなど）でのリアルタイムインタラクティブセグメンテーションのために、計算上要求の厳しいSAMの展開の課題に取り組んでいます。最適化されたSAMバリアントであるEdgeSAMを導入することで、リアルタイムでの動作を実現しながらも精度を維持します。EdgeSAMは、SAMの出力マスクに合わせたプロンプトを利用したプロンプト認識型の知識蒸留アプローチを使用し、マスクデコーダーに特定のプロンプトを導入します。オンデバイスのAIアクセラレータに適した純粋なCNNベースのバックボーンを使用したEdgeSAMは、元のSAMに比べて実時間のエッジ展開で大幅な速度向上を達成します。 EdgeSAMは、性能を犠牲にすることなくエッジデバイス上で効率的に実行されるようにカスタマイズされています。EdgeSAMは、エッジデバイスに適したCNNベースのアーキテクチャに元のViTベースのSAM画像エンコーダを蒸留します。SAMの知識を完全に捉えるために、リサーチではプロンプトエンコーダとマスクデコーダの蒸留を行い、ループ内でボックスとポイントのプロンプトを使用します。データセットのバイアス問題に対応するために、軽量モジュールが追加されています。研究には、プロンプトインザループの知識蒸留と軽量リージョンプロポーザルネットワークの精緻優先度に対する削除研究なども含まれます。 EdgeSAMは、エッジデバイスでの展開時に、元のSAMに比べて40倍の速度向上を実現し、エッジデバイス上でMobile-SAMよりも14倍の性能を発揮します。さまざまなプロンプトの組み合わせやデータセットにわたってMobile-SAMを一貫して上回り、実世界のアプリケーションにおける有効性を示しています。EdgeSAMは、エッジ展開に最適化されており、NVIDIA 2080 Tiでは元のSAMと比較して40倍以上、iPhone 14ではMobileSAMと比較して約14倍の速度向上を実現します。プロンプトインザループの知識蒸留と軽量なリージョンプロポーザルネットワークは、性能を大幅に向上させます。まとめると、この研究のキーハイライトは以下のポイントにまとめられます： EdgeSAMは、SAMの最適化バリアントです。スマートフォンなどのエッジデバイスでリアルタイムに展開されるよう設計されています。元のSAMと比べて、EdgeSAMは40倍速くなります。エッジデバイス上でMobile-SAMよりも14倍の性能を発揮します。 COCOおよびLVISデータセットでmIoUsを大幅に向上させます。 EdgeSAMは、動的なプロンプトインザループ戦略とデータセットバイアスを解決するための軽量モジュールを統合しています。研究では、さまざまなトレーニング設定、プロンプトタイプ、凍結アプローチを探索しています。精緻優先度を活用した軽量リージョンプロポーザルネットワークも導入されています。

ポイントクラウド用のセグメント化ガイド「Segment Anything 3D for Point Clouds Complete Guide (SAM 3D)」

「セマンティックセグメンテーションアプリケーションを3Dポイントクラウドに適用し、Segment Anything Model（SAM）とPythonで構築しますボーナス：2Dから3Dへのプロジェクションのためのコードも提供します」

メタAIが効率的なSAMを紹介します：パラメータ数が20分の1でランタイムが20倍速いSAMの弟です

ビジョンにおいて、Segment Anything Model (SAM) は、ゼロショットオブジェクト提案生成、ゼロショットインスタンスセグメンテーション、エッジ検出など、数多くの画像セグメンテーションタスクで優れた成果を上げています。 SAMのビジョントランスフォーマ (ViT) モデルの基盤となるのは、SA-1Bビジュアルデータセットです。このデータセットには、１１００万枚の写真から１０億のマスクが含まれており、与えられた画像内の任意のアイテムをセグメント化することが可能です。Segment Anythingの能力を持つことから、SAMはビジョンにおける基盤モデルに留まらず、ビジョンの外でも活用されています。これらの利点にもかかわらず、特にViT-Hのような画像エンコーダのようなSAMアーキテクチャの高いコストは、効率の面での実用上の採用を妨げるものとなっています。この困難に対応するため、最近のいくつかの研究論文では、SAMをプロンプトベースのインスタンスセグメンテーションに利用する際の金銭的負担を軽減する解決策が提案されています。例えば、既存のデフォルトのViT-H画像エンコーダの専門知識の恩恵を、小さなViT画像エンコーダにも与えることができます。リアルタイムのCNNベースの設計は、Segment Anythingの処理コストを削減することができます。ViT-Tiny/-Smallのような十分にトレーニングされた軽量なViT画像エンコーダを、パフォーマンスを犠牲にすることなく利用することがこの論文では提案されています。新しいメタAIの研究では、SAMを活用したマスク画像関連の軽量な事前学習されたViTバックボーンを作成しています。このために、研究者たちはSAMモデルで有名なMAE事前学習手法を利用して高品質の事前学習済みViTエンコーダーを確立しました。具体的には、提案されたSAMIは、イメージパッチではなくSAMのViT-Hから特徴を再構築するためにマスク画像モデルをトレーニングし、SAMエンコーダであるViT-Hを使用して特徴埋め込みを提供します。これにより、画像のカテゴリ分類、オブジェクト識別、セグメンテーションなどの後続操作に利用できる一般的なViTバックボーンが生成されます。その後、事前学習済みの軽量エンコーダをSAMデコーダを利用してセグメンテーションやその他のタスクに適用するように調整されます。チームはまた、現実世界での実装における品質と効率のトレードオフを持つ軽量なSAMモデルであるEfficientSAMを提供しています。チームは、224×224の解像度を利用してImageNet上でモデルを再構成損失を用いて事前学習し、その後、対象のタスクで監督データを利用して微調整して、マスク画像事前学習の転移学習の文脈での戦略を評価しました。SAMIによって一般化可能な軽量エンコーダを学習することができます。SAMI事前学習を行ったImageNet-1Kでトレーニングされたモデルは、ViT-Tiny/-Small/-Baseのような一般化能力において優れた結果を示しました。ImageNet-1Kで100エポックで微調整された場合、ViT-Smallモデルでは82.7%のトップ1の正答率を達成し、その性能は他の最先端の画像事前学習ベースラインよりも優れています。オブジェクト検出、インスタンスセグメンテーション、意味セグメンテーションの領域では、チームは事前学習モデルをさらに改良しました。既存の事前学習ベースラインと比較して、彼らの戦略はこれらのタスクにおいてそれらを上回ります。さらに、小さなモデルでも大幅な改善が見られます。さらに、Segment Anythingのチャレンジもモデルの評価に利用されます。このモデルは、COCO/LVISのゼロショットインスタンスセグメンテーションにおいて、FastSAMや現在の軽量SAMアルゴリズムよりも4.1AP/5.2APの改善が見られます。

「Samet氏がACM SIGSPATIAL生涯影響力賞を受賞」

佐藤ハンアンは、ACMの特殊な関心事群であるSIGSPATIALから、初の終身功績賞を受賞しました

マイクロソフトと清華大学の研究者は、「SCA（Segment and Caption Anything）を提案し、SAMモデルに地域キャプションの生成能力を効率的に装備する」と述べています

コンピュータビジョンと自然言語処理の交差点では、画像内のエンティティの領域キャプションの生成の課題に常に取り組んできました。この課題は、トレーニングデータにセマンティックラベルが存在しないことにより、特に複雑です。研究者は、このギャップに効率的に対処する方法を追求し、モデルが多様なイメージ要素を理解し、説明するための方法を見つけることを目指しています。 Segment Anything Model（SAM）は、強力なクラス非依存セグメンテーションモデルとして登場し、さまざまなエンティティをセグメント化する驚異的な能力を示しています。ただし、SAMは領域キャプションを生成する必要があり、その潜在的な応用範囲が制限されます。そのため、マイクロソフトと清華大学の研究チームは、SAMの能力を効果的に活用するためにSCA（Segment and Caption Anything）という解決策を提案しました。SCAは、SAMの重要な拡張と見なすことができます。それは効率的に領域キャプションを生成する能力をSAMに与えるように設計されています。ブロックの構築に類似して、SAMはセグメンテーションのための堅牢な基盤を提供し、SCAはこの基盤に重要なレイヤーを追加します。この追加機能は、軽量のクエリベースのフィーチャーミキサーの形で提供されます。従来のミキサーとは異なり、このコンポーネントはSAMと因果言語モデルを結びつけて、領域固有の特徴を言語モデルの埋め込み空間と整合させます。この整合は、後続のキャプション生成に重要であり、SAMの視覚的理解と言語モデルの言語的能力との相乗効果を生み出します。 SCAのアーキテクチャは、画像エンコーダ、フィーチャーミキサー、マスクまたはテキストのためのデコーダヘッドの3つの主要なコンポーネントの熟慮された組み合わせです。モデルの要となるフィーチャーミキサーは、軽量な双方向トランスフォーマーです。これはSAMと言語モデルを結びつける結合組織として機能し、領域固有の特徴を言語の埋め込みと最適化する役割を果たします。 SCAの主な強みの一つは、効率性です。数千万個のトレーニング可能なパラメータを持つ、トレーニングプロセスがより高速かつスケーラブルになります。この効率性は、SAMのトークンをそのまま保持しながら、追加のフィーチャーミキサーにのみ焦点を当てた戦略的な最適化から生じます。研究チームは、領域キャプションデータの不足を克服するために、弱い監督による事前トレーニング戦略を採用しています。このアプローチでは、モデルは物体検出とセグメンテーションタスクで事前トレーニングされ、完全な文章の説明ではなくカテゴリ名を含むデータセットを活用します。このような弱い監督による事前トレーニングは、限られた領域キャプションデータを超えて視覚的概念の一般的な知識を転送するための実用的な解決策です。 SCAの有効性を検証するためには、比較分析、さまざまなビジョンラージランゲージモデル（VLLM）の評価、およびさまざまな画像エンコーダのテストが行われています。モデルはリファリング式生成（REG）タスクで強力なゼロショットパフォーマンスを示し、その適応性と汎化能力を示しています。まとめると、SCAはSAMの堅牢なセグメンテーション能力をシームレスに拡張する有望な進歩です。軽量なフィーチャーミキサーの戦略的な追加とトレーニングの効率性とスケーラビリティにより、SCAはコンピュータビジョンと自然言語処理の持続的な課題に対する注目すべき解決策となります。

(Samsung no AI to chippu gijutsu no mirai e no senken no myōyaku)

サムスンエレクトロニクスは、韓国ソウルにあるサムスンの研究開発キャンパスで開催されたサムスンAIフォーラム2023で主役となり、人工知能とコンピュータエンジニアリングの画期的な進歩を披露しました。創造的なAIと持続可能な開発を重視した2日間のカンファレンスは、業界のエキスパート、学者、研究者、学生を一堂に集め、AIと半導体技術の未来を形作る意義深い議論の場を提供しました。創造的なAI技術の台頭サムスンリサーチが主導するフォーラムでは、創造的なAI技術の急速な進歩について深く探求され、日常生活と仕事の両方を再定義するとされています。基調講演者であるサムスンリサーチグローバルAIセンターエグゼクティブバイスプレジデントの金大炫氏は、サムスンが創造的なAI研究で業界と学界をサポートし、協力することにコミットしていると述べました。著名なプレゼンテーションには、OpenAIのHyung Won Chung博士が大規模言語モデル（LLM）の課題と将来の軌跡について述べ、Jason Wei氏がLLMによってもたらされるパラダイムシフトを探求しました。マルチモーダルAI技術のトレンド韓国大学教授の徐弘錫氏は、テキストや画像などさまざまなデータタイプを同時に処理できるマルチモーダルAI技術についての洞察を共有しました。午後のセッションでは、国内の主要な大学の院生が国際AIジャーナルに掲載された論文を発表しました。ソウル大学は効率的なコード生成と検索技術を披露し、韓国科学技術院（KAIST）と延世大学のチームは、言語モデルの細かい評価能力およびテキストからイメージの生成技術を実演しました。 Samsung Gaussの公開最後のセッションでは、伝説的な数学者カール・フリードリッヒ・ガウスにちなんで名付けられた包括的な創造的なAIモデルであるSamsung Gaussが公開されました。このモデルは、世界的な現象と知識を参照して消費者の生活を向上させることを目的としています。Samsung Gauss Languageはメールの作成やコンテンツの翻訳などのタスクを容易にし、Samsung Gauss Codeは社内ソフトウェア開発を最適化し、Samsung Gauss Imageはクリエイティブな編集や解像度向上が可能な生成画像モデルです。 Samsung Gaussの将来の応用現在は従業員の生産性向上に活用されていますが、Samsung Gaussは様々なSamsung製品への応用拡大が予想され、新しいユーザーエクスペリエンスを約束しています。この記事では、SamsungのAI技術の開発と安全なAIの利用に焦点を当てています。AIレッドチームを通じて、SamsungはAIプロセス全体でセキュリティとプライバシーの問題に積極的に取り組んでおり、倫理的な原則に従っています。私たちの意見サムスンAIフォーラム2023が終了するにつれて、創造的なAIとSamsung…

Note This translation conveys the same meaning as the original English phrase, which refers to going from a state of poverty to wealth.

大規模言語モデル（LLM）が世界中を席巻している中、ベクトル検索エンジンも同行していますベクトルデータベースは、LLMの長期記憶システムの基盤を形成しています...

この人工知能（AI）の研究では、SAMを医療用2D画像に適用するための最も包括的な研究である、SAM-Med2Dを提案しています

医用画像セグメンテーションは、異なる組織、臓器、または関心領域を認識して分離することにより、医用画像の研究に不可欠です。正確なセグメンテーションを使用することで、診断と治療をより正確に行うため、臨床医は病変領域を特定し、正確に特定するのに役立ちます。また、医用画像の定量的および質的な解析により、さまざまな組織や臓器の形態、構造、機能に関する詳細な洞察を提供し、疾患の研究を可能にします。医用画像の特異性（多岐にわたるモダリティ、複雑な組織および臓器の構造、注釈付きデータの不在など）のため、既存のアプローチのほとんどは特定のモダリティ、臓器、または病理学に制約があります。この制約のため、アルゴリズムはさまざまな臨床的な文脈で一般化および修正するのが困難です。最近、大規模なモデルに向けた取り組みがAIコミュニティで注目を集めています。ChatGPT2、ERNIE Bot 3、DINO、SegGPT、SAMなどの一般的なAIモデルの開発により、さまざまなタスクに単一のモデルを使用することが可能になりました。SAMを使用すると、最新の大規模ビジョンモデルであるSAMを使用して、ユーザーはインタラクティブなクリック、境界ボックスの描画、口頭の手がかりを使用して、特定の関心領域のマスクを作成できます。そのゼロショットおよび少数ショットの能力には、さまざまな分野で自然な写真に対して大きな注目が集まっています。 SAMのゼロショット能力に関しては、医用画像の文脈での適用も研究が行われています。しかし、SAMはマルチモーダルおよびマルチオブジェクトの医用データセットに対して一般化することが困難であり、データセット間で変動するセグメンテーションのパフォーマンスを引き起こします。これは、自然な画像と医用画像の間に相当なドメインの隔たりがあるためです。その原因は、データの収集に使用される方法に関連しています。特定の臨床目的のため、医用画像は特定のプロトコルとスキャナを使用して取得され、さまざまなモダリティ（電子、レーザー、X線、超音波、核物理学、磁気共鳴）で表示されます。そのため、これらの画像はさまざまな物理学的特徴とエネルギー源に依存しているため、実際の画像から大きく逸脱しています。図1に示すように、自然な画像と医用画像はピクセル強度、色、テクスチャ、およびその他の分布特性において大きく異なります。SAMは自然な写真のみで訓練されているため、医療画像に関する専門的な情報がさらに必要です。したがって、医療分野に直接適用することはできません。医療情報をSAMに提供することは、注釈付けのコストの高さと一貫性のない注釈付けの質のために困難です。医療データの準備には専門的な知識が必要であり、このデータの品質は施設や臨床試験によって大きく異なります。これらの困難により、医療画像および自然な画像の量は大きく異なります。図1の棒グラフは、公開されている自然な画像データセットと医用画像データセットのデータボリュームを比較しています。例えば、医療領域で最も大規模なセグメンテーションデータセットであるTotalsegmentorは、Open Image v6およびSA-1Bと比較しても大きなギャップがあります。本研究では、四川大学と上海AI研究所の研究者が提案した、医療2D画像へのSAMの適用に関する最も包括的な研究であるSAM-Med2Dを紹介します。

OpenAIのCEOであるSam Altman氏：AIの力が証明されるにつれて、仕事に関するリスクが生じる

OpenAIのCEOであるSam Altmanは、特に彼の作品であるChatGPTに関するAIの潜在的な危険性について公言してきました。最近のインタビューで、AltmanはAIが仕事や人類全体に与える影響について詳しく語りました。一部の人々はAIが人間の努力を補完するだけだと考えていますが、Altmanは異なる見解を持ち、技術の進歩によって仕事が消失すると主張しています。Altmanの視点とAIと人間の共存の興味深い未来を探求しましょう。また読む：人工知能の急速な台頭が仕事を奪う：テックセクターに数千人が影響を受ける AIの仕事の置き換えに対する懸念 ChatGPTのようなAIツールの台頭は、一般の人々やテクノロジーの専門家の間で懸念の波を引き起こしました。恐れられているのは、AIが様々な産業で人間の労働者を置き換える可能性があり、大規模な仕事の置き換えが起こることです。AltmanのAIチャットボットの潜在的な危険性に対する懸念は、これらの不安をさらに煽り立てました。また読む：AIの急増：Stability AIのCEOが2年以内にインドの開発者の仕事の喪失を予測 Shopifyの例：未来の一端 AIによる仕事の置き換えに対する懸念は単なる理論的なものではありません。Shopifyが一部の従業員を置き換えるためにAIを使用しているという現実の例が既に明るみに出ています。Shopifyの従業員が非開示契約（NDA）を破り、会社の物議を醸す行動と戦略的な方向性を明らかにしました。この衝撃的な暴露は、仕事市場へのAIの影響に対する懸念が高まっている中で加わりました。もっと知る：Shopifyの従業員がAIによる解雇と顧客サービスの危機を暴露 Sam Altmanの大胆な主張：仕事は消えていく最近のインタビューで、Sam AltmanはAIの未来と人間の仕事との関係について大胆な立場を取りました。彼はAIが人間の努力を補完するだけだという考えを否定し、技術の進歩によって仕事が確実に消えるだろうと主張しました。AIの雇用への影響は「いつ」ではなく、「いずれ」の問題です。 Altmanは、AIの進歩によって仕事が必然的に失われると予測していますが、同時に未来の予測不可能性も認識しています。可能性は広範であり、AIと人間の共存は予想外の結果をもたらす可能性があります。それはプラスの側面も困難な側面も含めてです。また読む：OpenAIの従業員が新しい機会を求めてGoogle DeepMindに集まる進歩と準備のバランス Altmanは、OpenAIはChatGPTよりもさらに強力なAIツールを作成することができたかもしれないが、それをリリースしないことを選んだことを明らかにしました。この決定の背後にある理由は、社会の準備状態への懸念です。Altmanは、強力な新しい知性が人間と共存するという考えについて、社会が十分に受け入れるための時間を与えることの重要性を強調しました。ChatGPTは、AIの進歩の潜在的な影響を一般の人々に紹介するための優しい「警告射撃」でした。また読む：AIでは代替できない仕事私たちの意見 Sam AltmanのAIが仕事と人類に与える影響に関する洞察は、技術の進歩の複雑さを浮き彫りにしています。AIは産業と人間の生活を革命的に変える可能性がある一方、仕事の置き換えという重大なリスクも伴います。この変革期を航海するにあたり、進歩と準備のバランスを取ることが重要であり、社会がAIの力を責任を持って受け入れる準備が整っていることを確認する必要があります。未来は不確かですが、懸念事項に対処し、協力してAIの軌道をより明るい人間との共存に向けることができます。

UCサンタクルーズとSamsungの研究者が、ナビゲーションの決定にChatGPTのようなLLM（言語モデル）で共通センスを活用するゼロショットオブジェクトナビゲーションエージェントであるESCを紹介しました

オブジェクトナビゲーション（ObjNav）は、未知の環境で物理エージェントを事前に決められた目的のオブジェクトに案内するものです。目的のオブジェクトにナビゲートすることは、他のナビゲーションベースのエンボディドタスクにおいて重要な前提条件となります。環境内の部屋とオブジェクトを識別する（意味的なシーン理解）ことと、コモンセンスの推論を使用して目標オブジェクトの場所を推測する（コモンセンス推論）ことは、成功したナビゲーションに不可欠な2つのスキルです。しかし、現在のゼロショットオブジェクトナビゲーション手法は、コモンセンスの推論能力に欠けており、この要件に十分に対応していません。既存の手法は、探索に対して単純なヒューリスティックを使用するか、他の目標指向型ナビゲーションタスクや周囲のトレーニングを必要とします。最近の研究は、大規模な事前学習モデルがゼロショット学習と問題解決に優れていることを示しています。この知見に触発され、カリフォルニア大学サンタクルーズ校とサムスン研究は、Exploration with Soft Commonsense constraints（ESC）と呼ばれるゼロショットオブジェクトナビゲーションフレームワークを提案しました。このフレームワークは、事前学習済みモデルを使用して、馴染みのない設定やオブジェクト種に自動的に適応します。チームはまず、GLIPというビジョンと言語のグラウンディングモデルを使用して、現在のエージェントの視点のオブジェクトと部屋の情報を推測するためのプロンプトベースの手法として利用します。GLIPは、画像とテキストのペアに対する広範な事前学習により、最小限のプロンプティングで新しいオブジェクトに対して容易に一般化することができます。次に、部屋とオブジェクトのデータをコンテキストとして使用する事前学習済みのコモンセンス推論言語モデルを使用して、両者の関連性を推測します。しかし、LLMから推論されたコモンセンス知識を具体的な手順に変換する際には、まだ空白があります。また、物事のつながりの間にあるある程度の不確実性があることも珍しくありません。確率的ソフトロジック（PSL）を使用することで、このような障害を克服するために、「ソフト」コモンセンス制約をモデル化するESCのアプローチが使用されます。フロンティアベースの探索（FBE）は、これらの柔らかいコモンセンス制約を使用して、次の探索対象のフロンティアに焦点を当てる従来の戦略です。以前のアプローチでは、共通の感覚を暗黙的に刷り込むためにニューラルネットワークトレーニングに頼っていましたが、提案された手法では、ソフトロジック述語を使用して連続値空間で知識を表現し、それを各フロンティアに与えることで、より効率的な探索を促進します。システムの効果をテストするために、研究者たちはさまざまな家のサイズ、建築スタイル、テクスチャ特徴、オブジェクトタイプを持つ3つのオブジェクト目標ナビゲーションベンチマーク（MP3D、HM3D、RoboTHOR）を使用します。調査結果は、MP3DではCoWに比べてSPL（長さによる重み付けされたSPL）およびSR（成功率）で約285％、RoboTHORでは約35％とSR（成功率）でアプローチが優れていることを示しています。この手法は、HM3Dのデータセットでのトレーニングを必要とするZSONと比較して、MP3Dでは相対的なSPLで196％、HM3Dでは相対的なSPLで85％優れています。提案されたゼロショットアプローチは、MP3Dデータセットにおいて他の最先端の教師ありアルゴリズムと比較して最も高いSPLを達成しています。

Learn more about Search Results SAM