「PUGに会ってください：メタAIによるアンリアルエンジンを使用したフォトリアルで意味的に制御可能なデータセットを用いた堅牢なモデル評価に関する新しいAI研究」

New AI research on robust model evaluation using a photorealistic and semantically controllable dataset with Unreal Engine powered by meta AI Meet PUG.

データの表現を学び、タスク間で応用できるようにすることは、機械学習における高い目標です。評価とトレーニングのための大量の制御可能な現実的なデータの入手は、この目標を達成し、進捗を監視するために不可欠です。これは、実用的な設定で使用されるモデルにとって、単なる正確さだけでなく、堅牢性と公正性も重要な要素です。しかし、プライバシー、偏見、著作権侵害への懸念があるため、そのような情報を得ることは困難です。一般に公開されている画像データベースのほとんどは、粗い画像の拡張を超えて編集することが困難で、詳細なメタデータが欠けています。

生成されたシーンに影響を与えるすべてのパラメータが正確に制御される合成画像データを使用することで、関連する豊富な因子のラベルを簡単に取得することができます。この方法により、訓練されたディープニューラルネットワークの完全な機能、堅牢性などを評価することができます。潜在的な可能性にもかかわらず、多くの既存の合成画像データセットは、現実的さが不足していたり、通常は限られた範囲しか持っていないため、一般的な画像表現学習の研究には向いていない場合があります。

この問題を解決するために、Meta AI (FAIR)、Mila-Quebec AI Institute、およびモントリオール大学の研究者らは、表現学習の研究コミュニティを念頭に置いて作成された新しい合成フォトリアリスティックアンリアルグラフィックス（PUG）データセットのコレクションを提供しています。これらのデータセットは、現在の公共ドメインで利用可能なものよりもはるかにリアルな画像を特徴としています。ビデオゲームやエンターテイメント業界で広く利用されているリアリズムの高さで評価されるUnreal Engine [EpicGames] を使用して環境を作成しました。また、TorchMultiverse Pythonパッケージも導入しており、静的な画像データセットの事前レンダリングに加えて、任意のPUG環境からの簡単な制御可能なデータセットの生成を可能にするシンプルなPythonインターフェースを提供しています。これらの方法を使用して、彼らは4つの追加のデータセットを追加し、それらがさまざまな研究分野に適用可能であることを示しています：

• USCとMicrosoftの研究者は、UniversalNERを提案します：ターゲット指向の蒸留で訓練され、13,000以上のエンティティタイプを認識し、43のデータセット上でChatGPTのNER精度を9%F1上回る新しいAIモデルです
• インフォグラフィックスでデータ可視化をどのように使用するか？
• 「データの可視化を改善するための4つの必須リソース」

1. 記号空間の研究とOOD汎化の文脈での基礎モデル研究のための動物。
2. ImageNetの背景、サイズ、テクスチャ、照明など、因子の変化の包括的なセットは、ImageNetの追加の堅牢性テストセットとして機能します。
3. 言語ビジョンモデルのテストに使用するSPAR。これを使用して、人工データが既存のベンチマークの問題を回避する方法を示します。
4. PUG: SPARを補完するためのビジョン言語モデルの微調整のベンチマークであるPUG: AR4Tも導入します。

 PUGデータセットは、人工的な画像データの制御と写実性の新たな基準を設定しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!