このAI論文では、コンピュータビジョンの基盤について包括的な分析を紹介し、事前学習モデルの強みと弱点を明らかにします

『このAI論文では、コンピュータビジョンの基盤に関する包括的な分析を紹介し、事前学習モデルの長所と短所を明らかにします』

コンピュータビジョンにおいて、バックボーンは多くのディープラーニングモデルの基本的なコンポーネントです。分類、検出、セグメンテーションなどの下流の処理は、バックボーンによって抽出された特徴に依存しています。ここ数年で、新しい事前トレーニング戦略とバックボーンのアーキテクチャが急激に増えています。その結果、実践者は自分の特定の活動およびデータセットに最適なバックボーンを選ぶことに課題を抱えています。

バックボーンの戦い（BoB）は、多くの人気のある公開された事前トレーニングチェックポイントとランダムに初期化されたベースラインをさまざまな下流タスクで比較する大規模なベンチマークです。ニューヨーク大学、ジョンズホプキンス大学、メリーランド大学、ジョージア工科大学、Inria、Meta AI Researchの研究者が開発しました。BoBの調査結果は、さまざまなバックボーンのトポロジーと事前トレーニング戦略の相対的な利点を明らかにします。

この調査では、以下のような興味深い結果が得られました：

• このAI論文は、オープンエンドのシナリオでの大規模言語モデルのスケーラブルな評価のための新しいアプローチ、JudgeLMを紹介しています
• このAI論文では、GraphGPTフレームワークを紹介しています大規模な言語モデルのテクニックを使って、優れたゼロショット学習のパフォーマンスを実現するために、グラフニューラルネットワークを強化しています
• Luma AIがGenieを発売：テキストから3Dオブジェクトを作成できる新しい3D生成AIモデル

• 事前トレーニングされた教師あり畳み込みネットワークは、通常、トランスフォーマーよりも優れたパフォーマンスを示します。これは、教師あり畳み込みネットワークは容易にアクセス可能で、大規模なデータセットでトレーニングされるためです。一方、同じサイズのデータセット間で結果を比較すると、自己教師ありモデルのほうが教師ありの類似物よりも優れたパフォーマンスを示します。
• CNNに比べて、ViTはパラメータ数や事前トレーニングデータの量に対してより敏感です。これは、ViTのトレーニングにはCNNのトレーニングよりも多くのデータと処理能力が必要になる可能性があることを示しています。バックボーンのアーキテクチャを決定する前に、精度、計算コスト、データの利用可能性に対するトレードオフを検討する必要があります。
• タスクパフォーマンス間の相関度は高いです。最良のBoBバックボーンはさまざまなシナリオで優れた機能を発揮します。
• エンドツーエンドの調整は、密な予測ジョブにおいてはCNNよりもトランスフォーマーに効果があります。これは、トランスフォーマーがCNNよりもタスクおよびデータセットに依存する可能性があることを示しています。
• CLIPモデルと他の有望な先進的なアーキテクチャを使用したビジョン言語モデリング。CLIPの事前トレーニングは、ImageNet-21kでトレーニングされたバックボーンと比較しても優れています。このデータは、ビジョン言語の事前トレーニングがコンピュータビジョンのタスクの結果を改善することができることを示しています。著者は、CLIPを介して利用可能な事前トレーニング済みバックボーンを調査することを専門家に勧めています。

BoBにはコンピュータビジョンフレームワークの最先端がマッピングされています。ただし、この分野は新しいアーキテクチャと事前トレーニング技術の進歩が継続しているため、パフォーマンスを向上させるために新しいインフラストラクチャを常に評価・比較し、見つける方法を見つけることが重要だとチームは考えています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!