この人工知能（AI）の研究では、SAMを医療用2D画像に適用するための最も包括的な研究である、SAM-Med2Dを提案しています

This research proposes SAM-Med2D as the most comprehensive study to apply SAM to medical 2D images in the field of artificial intelligence (AI).

医用画像セグメンテーションは、異なる組織、臓器、または関心領域を認識して分離することにより、医用画像の研究に不可欠です。正確なセグメンテーションを使用することで、診断と治療をより正確に行うため、臨床医は病変領域を特定し、正確に特定するのに役立ちます。また、医用画像の定量的および質的な解析により、さまざまな組織や臓器の形態、構造、機能に関する詳細な洞察を提供し、疾患の研究を可能にします。医用画像の特異性（多岐にわたるモダリティ、複雑な組織および臓器の構造、注釈付きデータの不在など）のため、既存のアプローチのほとんどは特定のモダリティ、臓器、または病理学に制約があります。

この制約のため、アルゴリズムはさまざまな臨床的な文脈で一般化および修正するのが困難です。最近、大規模なモデルに向けた取り組みがAIコミュニティで注目を集めています。ChatGPT2、ERNIE Bot 3、DINO、SegGPT、SAMなどの一般的なAIモデルの開発により、さまざまなタスクに単一のモデルを使用することが可能になりました。SAMを使用すると、最新の大規模ビジョンモデルであるSAMを使用して、ユーザーはインタラクティブなクリック、境界ボックスの描画、口頭の手がかりを使用して、特定の関心領域のマスクを作成できます。そのゼロショットおよび少数ショットの能力には、さまざまな分野で自然な写真に対して大きな注目が集まっています。

SAMのゼロショット能力に関しては、医用画像の文脈での適用も研究が行われています。しかし、SAMはマルチモーダルおよびマルチオブジェクトの医用データセットに対して一般化することが困難であり、データセット間で変動するセグメンテーションのパフォーマンスを引き起こします。これは、自然な画像と医用画像の間に相当なドメインの隔たりがあるためです。その原因は、データの収集に使用される方法に関連しています。特定の臨床目的のため、医用画像は特定のプロトコルとスキャナを使用して取得され、さまざまなモダリティ（電子、レーザー、X線、超音波、核物理学、磁気共鳴）で表示されます。そのため、これらの画像はさまざまな物理学的特徴とエネルギー源に依存しているため、実際の画像から大きく逸脱しています。

• このAI研究は、「ComCLIP：組成画像とテキストの整列におけるトレーニングフリーな方法」を公開しています
• 「UCSCとTU Munichの研究者が、余震を予測するための新しいディープラーニングベースのモデルであるRECASTを提案する」
• 「ハロー効果：AIがサンゴ礁保護に深く関与する」

図1に示すように、自然な画像と医用画像はピクセル強度、色、テクスチャ、およびその他の分布特性において大きく異なります。SAMは自然な写真のみで訓練されているため、医療画像に関する専門的な情報がさらに必要です。したがって、医療分野に直接適用することはできません。医療情報をSAMに提供することは、注釈付けのコストの高さと一貫性のない注釈付けの質のために困難です。医療データの準備には専門的な知識が必要であり、このデータの品質は施設や臨床試験によって大きく異なります。これらの困難により、医療画像および自然な画像の量は大きく異なります。

図1の棒グラフは、公開されている自然な画像データセットと医用画像データセットのデータボリュームを比較しています。例えば、医療領域で最も大規模なセグメンテーションデータセットであるTotalsegmentorは、Open Image v6およびSA-1Bと比較しても大きなギャップがあります。本研究では、四川大学と上海AI研究所の研究者が提案した、医療2D画像へのSAMの適用に関する最も包括的な研究であるSAM-Med2Dを紹介します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!