「CityDreamerと出会う：無限の3D都市のための構成的生成モデル」

Meeting CityDreamer A Constructive Generation Model for Infinite 3D Cities

近年、3D自然環境の作成は多くの研究の対象となっています。3D都市、3Dシナリオ、3Dアバターなど、さまざまな種類の3Dオブジェクトの作成において、大きな進歩がありました。都市は、都市計画、環境シミュレーション、ゲーム作成などの分野で、3Dコンポーネントとして重要な役割を果たしています。

GANCraftやSceneDreamerなどのモデルは、3Dシーン内の画像を体積ニューラルレンダリングアルゴリズム、3D座標、および意味ラベルを使用して生成しています。これらの技術は、SPADEの偽の正解写真を使用して、3D自然環境の作成において有望な結果を示しています。しかし、3D自然環境の作成はいくつかの制約があります。都市の作成は、自然の風景の作成よりも基本的に複雑です。なぜなら、建物は同じクラスのオブジェクトに属しているにもかかわらず、木などの自然の風景要素と比べてはるかに多様な外観を持っているからです。

これらの課題を克服するために、CityDreamerというユニークなアプローチが導入されました。これにより、よりアクセス可能でリアルな3D都市の開発が可能になりました。CityDreamerは、無制限の3D都市のために特別に作成された合成的な生成モデルです。通常、都市には道路、公園、水の特徴など、他の背景要素も存在しますが、CityDreamerは建物のインスタンスの作成を他の要素から分離するというユニークな戦略を採用しています。この分割は、モデル内の複数のモジュールを介して達成されました。

• Google AIは、高いベンチマークパフォーマンスを実現するために、線形モデルの特性を活用した長期予測のための高度な多変量モデル、TSMixerを導入します
• ジャクソン・ジュエットは、より少ないコンクリートを使用する建物の設計をしたいと考えています
• 「YaRNに会ってください：トランスフォーマーベースの言語モデルのコンテキストウィンドウを拡張するための計算効率の高い方法で、以前の方法よりもトークンが10倍少なく、トレーニングステップが2.5倍少なくて済みます」

また、OSMとGoogleEarthという2つの大規模データセットが作成され、生成された3D都市のレイアウトと美的外観の信憑性を向上させるために使用されました。これらのデータベースには実際の都市の画像が大量に含まれています。実際の世界からの特徴と違いを追加することで、構築される3D都市のリアリズムを高めることを試みています。CityDreamerは、試行とレビューを通じて、3D都市開発の分野での先端技術に優れていることを証明しています。都市の複雑さや正確で高品質な結果の要求といった困難を克服し、さまざまなリアルな3D都市を作成する能力を示しました。

CityDreamerプロジェクトの主な貢献は次のとおりです。

1. CityDreamerモデル：この研究の中心的な貢献は、CityDreamerモデルの導入です。このモデルは、無制限の3D都市の生成に特化しています。建物のインスタンスの生成を道路、緑地、水などの他の背景オブジェクトから分離するというユニークなアプローチを採用しており、モデル内の異なるモジュールを使用してより正確な制御と向上したリアリズムを実現しています。

1. データセットの構築：最初のデータセットであるOSMは、OpenStreetMapからデータを取得することでより現実的な都市のレイアウトを提供しています。道路、建物、緑地、水の位置に関する貴重な情報をセマンティックマップと高さフィールドで提供します。2番目のデータセットであるGoogleEarthは、Google Earth Studioでキャプチャされた画像を含んでおり、マルチビューの一貫性を備えており、より包括的で現実的な都市環境の表現が可能です。

1. 定量的および定性的評価：CityDreamerのパフォーマンスは、定量的および定性的な評価を通じて評価されています。大規模で多様な3D都市の生成能力を示すために、既存の最先端の3D生成モデルと比較されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!