オムニヴォアに会ってください：産業デザイナーがアートとOpenUSDを組み合わせて、AIトレーニング用の3Dアセットを作成します

Please meet Omnivore Industrial designers combining art and OpenUSD to create 3D assets for AI training.

編集者注：この投稿は、NVIDIA OmniverseとOpenUSDを使用して3Dワークフローを加速し、仮想世界を作成する個々のクリエイターと開発者を紹介するMeet the Omnivoreシリーズの一部です。

オーストラリアのクイーンズランド工科大学（QUT）の学生であるエミリー・ボーマーは、クリエイティブな芸術または科学を追求するか迷っていました。

そして彼女は産業デザインを見つけ、研究とコーディングに没頭しながら、スケッチ、アニメーション、3Dモデリングなどの可視化ワークフローを探求することができました。

• 「アメリカのトップ10のデータサイエンススタートアップ企業」
• データサイエンスによる在庫最適化：Pythonによるハンズオンチュートリアル
• このAIニュースレターは、あなたが必要とするすべてです＃65

今、ボーマーはドイツ・ミュンヘンのBMW Group Technology Officeでデザインインターンとして彼女のスキルを活かしています。チームはNVIDIA Omniverse（3Dツールとアプリケーションの開発および接続のためのプラットフォーム）およびUniversal Scene Description（OpenUSDとも呼ばれる）を使用して、合成データ生成パイプラインを強化しています。

ボーマーは、BMW Group、Microsoft、およびNVIDIAが公開したSORDI.aiと呼ばれる産業用合成オブジェクト認識データセットを使用して、リアルな3Dアセットを作成しています。SORDI.aiは開発者や研究者がAIの訓練を効率化し加速するためのものです。画像の自動生成を自動化するために、チームはOmniverse Replicatorに基づいた拡張機能を開発しました。Omniverse Replicatorは、カスタムの合成データ生成ツールを作成するためのソフトウェア開発キットです。

SORDI.aiチームの一員として、ボーマーはBlenderとAdobe Substance Painterを使用して、物理的な正確さと写実性の高い3Dアセットをデザインし、合成データが効率的にAIモデルの訓練に使用できるようにしています。

ボーマーが作成するすべてのアセットは、NVIDIA Isaac Simプラットフォームで自律ロボットのテストとシミュレーションに使用されます。NVIDIA Isaac Simは、写真のようなリアルな物理的な正確性を持つバーチャル環境を提供するための合成データ生成機能のスイートを開発者に提供します。

AIの訓練のためのリアルな3Dアセットの作成

デザインインターンとして、ボーマーの主なタスクはアニメーションと3Dモデリングです。プロセスは、対象物の写真を撮影することから始まります。次に、Blenderの3Dモデルと2Dの写真を参照して、それらを合わせます。

3Dオブジェクトは数千のポリゴンで構成されることがありますので、ボーマーはアセットの低ポリゴン版と高ポリゴン版の2つを作成します。高ポリゴン版の詳細は、低ポリゴンモデルに焼き付けることができ、アセットがリアルに見えるように詳細を保持するのに役立ちます。

3Dアセットが作成されたら、ボーマーはモデルを使ってシーンを組み立てます。彼女がOmniverseプラットフォームのお気に入りの側面は、USDの柔軟性です。それにより、3Dモデルを簡単に変更することができます。

USDワークフローにより、BMW Groupのデザインチームは、Omniverse Nucleusに保存されているすべてのUSDファイルに簡単にアクセスできるため、さまざまなシーンを作成することができます。シーンの一部を作成する際には、ボーマーはSORDI.aiから数十のUSDモデルを引用し、それらを他のデザイナーが大規模な工場シーンを組み立てるためのシーンに追加します。

ボーマーは、元のアセットのUSDファイルを更新するだけで、それを含むすべての参照ファイルに自動的に変更を適用するだけで済みます。

彼女は言いました。「BlenderとSubstance Painterの両方でUSDサポートを見るのは素晴らしいです。USDを使用して3Dアセットを作成すると、それらが配置されるシーンで予想通りに見えることが保証されます」。

合成データを使用した工場シーンの構築

Isaac Simプラットフォームは、SORDI.aiチームのワークフローの重要な部分です。このプラットフォームは、ジェネレーティブAIと手順的アルゴリズムを使用して、3Dシーンの生成パイプラインを開発するために使用されます。チームはまた、合成イメージの生成時にシーン内のランダム化を自動化するために、Omniverse Replicatorに基づいた拡張機能を開発しました。

ボーマーは言いました。「私のようなデザインインターンの役割は、Isaac Simで構築されるシーンに使用されるアセットをリアルにモデリングしてテクスチャリングすることです。アセットがリアルになるほど、合成イメージはリアルになり、実際のシナリオのためのAIモデルの訓練により効果的に使用できます」。

データアノテーションは、画像、テキスト、音声、ビデオなどのデータに関連するタグを付けるプロセスであり、AIがデータを理解するのを容易にしますが、大量のコンテンツに対しては手作業が非常に時間がかかる場合があります。SORDI.aiは、合成データを使用してAIをトレーニングすることで、これらの課題に対処しています。

Omniverseにアセットをインポートし、ファイルのUSDバージョンを作成する際、Boehmerは適切なデータラベルでそれらにタグを付けます。これらのアセットがシーンに組み合わされた後、彼女はOmniverse Replicatorを使用して、元のラベルを使用して自動的に注釈付きの画像を生成することができます。

そして、SORDI.aiを使用することで、デザイナーはシーンをセットアップし、わずか1クリックで数千の注釈付き画像を生成することができます。

Boehmerは、9月20日水曜日にOmniverseのライブストリームにゲスト出演し、合成画像生成パイプラインでBlenderとSubstance PainterをOmniverseでどのように使用するかをデモンストレーションします。

創造に参加しましょう

誰でも自分自身のOmniverse拡張機能やコネクタを作成して、3Dのワークフローとツールを強化することができます。クリエイターや開発者は、Omniverseを無料でダウンロードすることができ、エンタープライズチームはプラットフォームを3Dプロジェクトに使用することができます。

他の「Omnivores」のアートワークをチェックし、ギャラリーにプロジェクトを提出してみてください。最新のOpenUSD All Starsで、クリエイターがOpenUSDを使用してさまざまな3Dワークフローを加速している方法をご覧ください。さらに、Adobe、Autodesk、Blender、Epic Games、Reallusionなどのソフトウェアを使用して、ワークフローをOmniverseに接続することもできます。

NVIDIA Omniverseをダウンロードして、標準ライセンスを無料で入手して始めましょう。また、Omniverse Enterpriseを使用してチームを接続する方法も学びましょう。開発者は、Omniverseリソースを活用して始めることができ、OpenUSDについても学ぶことができます。Omniverseに接続された3Dツールの成長するエコシステムを探索してください。

ニュースレターの購読や、NVIDIA OmniverseのInstagram、Medium、Twitterのフォローによって、プラットフォームの最新情報を確認することができます。さらに、Omniverseコミュニティに参加し、Omniverseフォーラム、Discordサーバー、Twitch、YouTubeチャンネルもチェックしてください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!