3Dインスタンスセグメンテーションにおける境界の打破：改善された疑似ラベリングと現実的なシナリオを備えたオープンワールドアプローチ

3Dインスタンスセグメンテーションにおける境界の打破：改善された疑似ラベリングと現実的なシナリオを備えたオープンワールドアプローチの美しさとファッションの専門性' (3Dインスタンスセグメンテーションにおける境界の打破：改善された疑似ラベリングと現実的なシナリオを備えたオープンワールドアプローチの美しさとファッションの専門性)

オブジェクトインスタンスレベルの分類と意味的なラベリングを提供することにより、3D意味インスタンスセグメンテーションは、点群またはメッシュで表される与えられた3Dシーン内のアイテムを識別しようとするものです。ロボット、拡張現実、自動運転など、3D空間でのオブジェクトのセグメンテーションの能力に依存する多くのビジョンアプリケーションがあります。深度データの収集に使用されるセンサーの進歩に伴い、文献で説明されているインスタンスレベルの注釈の付いた多数の3Dデータセットがあります。大規模な3Dデータセットの利用可能性と深層学習技術の進歩を受けて、最近では多くの3Dインスタンスセグメンテーションの戦略が提案されています。

公にアクセス可能なデータセットへの依存度による3Dインスタンスセグメンテーションシステムの主な欠点は、事前に決められたアイテムラベル（ボキャブラリー）の学習です。しかし、実際の世界にはたくさんのオブジェクトクラスがあり、推論には多くの未知または不明なクラスが含まれる可能性があります。未知のクラスは現在の技術では学習セットには含まれず、またバックグラウンド要素として扱われます。これにより、知識のある識別アルゴリズムは、背景要素ではない未識別または異常な物体を認識することができません。最近の研究では、未知のアイテムの検出の重要性により、2Dオブジェクト識別のためのオープンワールド学習の設定が調査されています。

モデルはオープンワールド環境で未知のアイテムを認識することを目指しています。新しいクラスにラベルが付けられると、新しいセットは再学習せずに徐々に学習されることが望ましいです。以前のアプローチは主にオープンワールド2Dオブジェクト識別に推奨されてきましたが、3D領域ではまだ調査されていません。アイテムが3Dでどのように見え、背景と他のオブジェクトカテゴリから分離されるかを理解することが最大の課題です。図1の3Dインスタンスセグメンテーションは、オープン環境で未知のオブジェクトを認識し、これらの新しいクラスのアノテーションについてオラクルに質問することができるため、モデルにより柔軟性が提供されます。さらなるトレーニングのため。

• このAI論文は、概念関連伝播（CRP）を用いて、「どこ」や「何」を解き明かすための深層学習モデルの理解に新たなアプローチを提案しています
• 「Amazon SageMaker Feature Storeを使用して、あなたの生成型AIアプリケーションをパーソナライズしましょう」
• 「Amazon SageMakerを使用して、マルチモダリティモデルを用いた画像からテキストへの生成型AIアプリケーションを構築する」

図1: オープンワールド3Dインスタンスセグメンテーション。モデルは各反復学習フェーズで新しいアイテムを発見し、人間オペレーターはこれらのいくつかにラベルを割り当てて現在の知識ベースに追加し、引き続きトレーニングします。

しかし、この戦略にはいくつかの欠点があります。優れた擬似ラベリング手法が必要な要素が3つあります：（i）未知のクラスの注釈の欠如、（ii）既知のクラスと未知のクラスの予測された特徴の類似性、および（iii）3Dポイントクラウドのための優れたオブジェクト性スコアリング方法の必要性。この研究では、Mohamed Bin Zayed University of Artificial Intelligence（MBZUAI）、Aalto University、Australian National University、およびLinköping Universityの研究者が、オープンワールド屋内3Dインスタンスセグメンテーションと呼ばれる独自の問題設定を調査します。これにより、新しいクラスを徐々に追加しながら、未知のクラスのオブジェクトをセグメンテーションしようとします。彼らは3Dインスタンスセグメンテーションのオープンワールド環境での調査では、彼らの技術とオラクルとのパフォーマンスギャップを埋めるための提案されたソリューションの価値を多数のテストで証明しています。

彼らの研究には以下の主な貢献があります：

• 彼らは、特定の機構を持つオープンワールド3D屋内インスタンスセグメンテーション手法を提供し、3D未知のアイテムを正確に識別するための特別な自動ラベリング手法を使用します。トレーニング中に既知のクラスラベルと分からないクラスラベルを区別するための擬似ラベルを生成するために、確率的に補正された未知のクラスラベルを使用します。また、オブジェクト性スコアの分布に基づいて未知のクラスの可能性を修正することにより、推論時の擬似ラベルの品質をさらに向上させます。

• オープンワールド3D屋内セグメンテーションの徹底的な評価のために、彼らは知られたクラスと未知のクラス、および200以上のコースにわたるインクリメンタル学習を持つ慎重に選択されたオープンワールド分割を提示します。彼らの提案された分割では、オブジェクトクラスの固有分布（頻度ベース）、室内空間を探索する際の異なるクラスタイプ（領域ベース）、および外部世界でのオブジェクトクラスのランダム化など、さまざまな現実的な状況が使用されています。多くのテストは、彼らの手法とオラクルとのパフォーマンスギャップを縮めるための提案されたソリューションの価値を証明しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!