中国のこのAI論文は、HQTrackというビデオ内のあらゆるものを高品質で追跡するためのAIフレームワークを提案しています

This Chinese AI paper proposes an AI framework called HQTrack for high-quality tracking of everything in videos.

ビジュアルオブジェクトトラッキングは、ロボットビジョンや自動運転など、コンピュータビジョン内の多くのサブフィールドの基盤です。この仕事は、ビデオシーケンス内のターゲットオブジェクトを信頼性を持って特定することを目指しています。最先端のアルゴリズムがビジュアルオブジェクトトラッキング（VOT）のチャレンジで競い合っており、トラッキングフィールドで最も重要な競技の1つです。

ビジュアルオブジェクトトラッキングおよびセグメンテーション競技（VOTS2023）は、従来のVOTチャレンジで課せられた制約の一部を取り除き、参加者がオブジェクトトラッキングについてより広く考えることができるようにしています。その結果、VOTS2023では、単一のターゲットの短期および長期のモニタリング、および多数のターゲットの追跡を、位置指定としてターゲットセグメンテーションのみを使用して組み合わせています。これには、正確なマスクの推定、複数のターゲットの軌跡追跡、およびオブジェクト間の関係の認識など、新たな困難が生じます。

中国の大連理工大学とアリババグループのDAMOアカデミーによる新しい研究では、HQTrackと呼ばれるシステムが紹介されています。HQTrackは、High-Quality Trackingの略です。このシステムは、主にビデオマルチオブジェクトセグメンターやマスクリファイナーなどで構成されています。複雑な設定で微小なオブジェクトを認識するために、研究者はDeAOTの改良版であるVMOSを使用し、1/8スケールでゲート付き伝搬モジュール（GPM）を連鎖させます。さらに、異なるタイプのオブジェクトを区別する能力を向上させるために、フィーチャーエクストラクタとしてIntern-Tを使用しています。VMOSでは、研究者は長期記憶に最近使用されたフレームのみを保持し、古いフレームは破棄してスペースを作ります。ただし、トラッキングマスクを改善するために大規模なセグメンテーションモデルを適用することは有用です。複雑な構造を持つオブジェクトは、特にSAMにとって予測が難しく、VOTSチャレンジでは頻繁に現れます。

• 『Stack OverflowがOverflowをリリース：開発者コミュニティとAIの統合』
• Scikit-Learnのパイプラインを使用して、機械学習モデルのトレーニングと予測を自動化する
• 適切なバランスを取る：機械学習モデルにおける過学習と過小適合の理解

事前にトレーニングされたHQ-SAMモデルを使用することで、チームはトラッキングマスクの品質をさらに向上させることができます。最終的なトラッキング結果は、VMOSとMRから選ばれ、予測されたマスクの外側の囲むボックスをボックスプロンプトとして使用して、オリジナルの画像とともにHQ-SAMに供給され、改善されたマスクを取得します。HQTrackは、テストセットで品質スコア0.615でVOTS2023競技会で2位になります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!