FastSAMとは、最小限の計算負荷で高性能のセグメンテーションを実現する画期的なリアルタイムソリューションです

FastSAMは、計算負荷を最小限に抑えながら高性能なセグメンテーションを実現する画期的なリアルタイムソリューションです

セグメントアニシングモデル（SAM）は、この分野での新しい提案です。これは画像のセグメント化を正確に行うために、複数のユーザー参加プロンプトを利用する可能性があるビジョンの基礎コンセプトであり、画期的とされています。SA-1Bデータセットで広範にトレーニングされたトランスフォーマーモデルを使用することで、SAMはさまざまな状況とオブジェクトを簡単に扱うことができます。つまり、SAMのおかげでセグメントアニシングが可能になりました。このタスクは、その汎用性のため、さまざまな将来のビジョンの課題の基礎としての役割を果たす可能性があります。

これらの改善とSAMおよびその後のモデルのセグメントアニシングタスクの有望な結果にもかかわらず、その実用的な実装はまだ改善が必要です。SAMのアーキテクチャの主な課題は、畳み込みのアナログと比較してトランスフォーマーモデル（ViT）の高い処理要件です。商業アプリケーションからの増加する需要に触発され、中国の研究者チームはセグメントアニシングの問題に対するリアルタイムな解答を作成しました。研究者たちはそれをFastSAMと呼んでいます。

この問題を解決するために、研究者はセグメントアニシングタスクを2つのパートに分割しました：全インスタンスセグメンテーションとプロンプトによる選択ガイド。最初のステップでは、畳み込みニューラルネットワーク（CNN）に基づいた検出器を使用します。画像内の各インスタンスのセグメンテーションマスクが生成されます。次のステージでは、入力に対して一致する関心領域を表示します。彼らは、畳み込みニューラルネットワーク（CNN）の計算効率を利用することで、任意のデータセグメントのリアルタイムモデルが実現可能であることを示しています。彼らはまた、このアプローチが商業環境で基本的なセグメンテーションプロセスの広範な使用を可能にする可能性も示しています。

• もし、口頭および書面によるコミュニケーションが人間の知能を発展させたのであれば… 言語モデルは一体どうなっているのでしょうか？
• Webスケールトレーニング解放：DeepMindがOWLv2とOWL-STを紹介、未知語彙物体検出の革新的ツール、前例のない自己学習技術によって駆動されます
• 製造品の品質におけるコンピュータビジョンの欠陥検出を、Amazon SageMaker Canvasを使用したノーコード機械学習で民主化する

提案されたFastSAMの基礎となるオブジェクト検出器であるYOLOv8-segを使用して、YOLACTアプローチを使用しています。研究者たちはまた、SAMの包括的なSA-1Bデータセットも使用しています。このCNN検出器は、SA-1Bデータセットのわずか2％（1/50）のみを使用して直接トレーニングされているにもかかわらず、SAMと同等のパフォーマンスを実現し、計算およびリソースの制約が大幅に減少しているため、リアルタイムアプリケーションが可能です。彼らはまた、それをさまざまなダウンストリームのセグメンテーションタスクに適用することで、その一般化性能を示しています。

リアルタイムのセグメントアニシングモデルには、産業界での実用的な応用があります。それにはさまざまな可能性があります。提案された手法は、幅広いビジョンの課題に対する新しい実装可能な回答を提供するだけでなく、非常に高速であり、従来のアプローチよりも数十倍または数百倍速いことが多いです。大規模なモデルアーキテクチャに関する新しい視点も歓迎されます。私たちの研究は、特化したモデルが最も効率と精度のバランスを提供するケースがまだあることを示唆しています。そして、私たちの手法は、モデルを実行するために必要な計算コストを大幅に最小化するために、構造の前に人工的なものを挿入する経路の実現可能性を示しています。

チームは、主な貢献を以下のようにまとめています：

• セグメントアニシングの課題は、高い処理要件を犠牲にせずに劇的に減少させる、革命的なリアルタイムCNNベースの手法を導入することで解決されます。
• この記事では、複雑なビジョンのタスクにおける軽量CNNモデルのポテンシャルについての洞察が示されており、CNN検出器をセグメントアニシングの課題に初めて適用した研究も含まれています。
• 提案された手法のセグメントアニシング領域におけるメリットと短所は、さまざまなベンチマークでのSAMとの比較を通じて明らかにされています。

総合的には、提案されたFastSAMは、SAMと同等のパフォーマンスを持ちながら、それぞれ50倍と170倍速く実行できます。その高速なパフォーマンスは、道路の障害物の識別、ビデオのインスタンス追跡、写真編集など、産業アプリケーションに利益をもたらす可能性があります。FastSAMは、いくつかの写真で巨大なオブジェクトのためのより高品質なマスクを生成することができます。提案されたFastSAMは、セグメント化された画像から弾力性と効率性のある関心領域を選択することにより、リアルタイムのセグメント操作を実現することができます。彼らは、FastSAMをSAMに対してエッジ認識、プロポーザル生成、インスタンスセグメンテーション、テキストプロンプトによる位置特定の4つのゼロショットタスクで比較する経験的な調査を実施しました。結果は、FastSAMがSAM-ViT-Hと比較して実行時間が50倍速く、リアルタイムで多くのダウンストリームジョブを効率的に処理できることを示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!