マイクロソフトとETHチューリッヒの研究者がLightGlueを紹介

Microsoft and ETH Zurich researchers introduce LightGlue.

コンピュータビジョンの領域では、画像間の対応点のマッチングは、カメラトラッキングや3Dマッピングなどのアプリケーションで重要な役割を果たしています。しかし、これらの方法には制約があり、そこで新しいディープネットワークであるLightGlueが登場します。

ETH ZurichとMicrosoftの共同研究の成果であるLightGlueは、画像マッチングと外れ値の排除を組み合わせたディープネットワークを活用しています。この革新的なアプローチでは、Transformerモデルを組み込んでおり、広範なデータセットを活用して、難しい画像ペアのマッチングを学習します。このアプローチは、屋内外の環境の両方で驚くべき頑健性を実証しています。

LightGlueは、困難な条件下での視覚的な位置特定に優れ、航空写真のマッチング、オブジェクトの姿勢推定、魚の再識別などのタスクでも有望なパフォーマンスを発揮します。この新しいアプローチは、「SuperGlue」の制約を解決することを目指しており、計算効率の低下と大量の計算リソースの需要という問題に苦しんでいました。

• マイクロソフトAI研究は、分子システムの平衡分布を予測するためにDistributional Graphormer（DiG）という新しいディープラーニングフレームワークを紹介しました
• 「「AI-トクラシー」がどのように生まれるか」
• 「生成AIが新しいタンパク質の構造を想像する」

この問題を解決するために、チームはLightGlueをより正確で効率的かつ訓練しやすい代替手法として開発しました。緻密なアーキテクチャの修正と限られたリソースで高性能なディープマッチをトレーニングするためのレシピの絞り込みを通じて、チームはわずかなGPU日で最先端の正確性を達成しました。

LightGlueはパレート最適な解を提供します。つまり、効率と正確性の理想的なバランスを取ることができます。従来の手法とは異なり、LightGlueは各画像ペアの難易度に適応します。これは、各計算ブロックの後に対応関係を予測し、さらなる計算のための信頼性を評価することで行われ、マッチングできないポイントは早期に破棄されます。

これにより、関心のある領域に計算リソースを集中させ、効率を向上させることができます。これまでの実験結果は、LightGlueの既存の疎なマッチングや密なマッチングよりも優れていることを示しています。また、ランタイムを大幅に削減しながら、局所特徴からのマッチングを提供します。

LightGlueの開発により、同時位置特定とマッピング（SLAM）などのレイテンシに敏感なアプリケーションでのディープマッチの展開が可能になります。また、クラウドソーシングされたデータからより大規模なシーンの再構築も可能です。

興味深いことに、LightGlueのモデルとトレーニングコードは、許容ライセンスのもとで一般に公開されます。このリリースにより、研究者や実践者がLightGlueの機能にアクセスできるだけでなく、効率的かつ正確な画像マッチングを必要とするコンピュータビジョンの応用の進展に向けた貢献を奨励します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!