MVDreamによる3Dモデル生成の革命化

MVDreamによる3Dモデル生成の革命化' (Revolutionizing 3D model generation with MVDream)

最初に louisbouchard.ai で公開され、私のブログでは2日前に読まれました!

ビデオをご覧ください:

この新しいAIモデルを皆さんと共有できることをとても嬉しく思っています!テキスト生成や画像生成については、さまざまな新しいアプローチが見られましたが、ますます進化しています。また、テキストからビデオや3Dモデルを生成するための素晴らしい初期の作品も見られました。たった一文しか持っていない状況で、現実世界のオブジェクトのように見えるものを生成するというタスクの複雑さを想像してみてください。さて、ここには単なる初歩的なステップではなく、テキストから3Dモデルを生成するための大きな進歩があります:MVDreamです!

テキスト:Mormookieeのスタイルでbaby yodaを生成した結果の比較(MVDreamは完全右側)。論文からの画像。

MVDreamは物理を理解できているようですね。以前のアプローチと比較して、それを理解しています。どの視点から見ても、実際の耳が2つであるべきであり、どの視点からも可能性のある耳が2つあるべきではありません。たったこの一文のテキストから非常に高品質な3Dモデルを生成することになります!これはどれほどクールなことでしょう!しかし、さらにクールなのは、その仕組みです… それでは、さっそく見ていきましょう!

3Dモデルを見ると、最大の課題は、それを見ている視点から現実的で高品質な画像を生成することです。そして、それらの視点は空間的に一貫している必要があります。前述した4つの耳のヨーダや多顔の被写体のように、イメージデータセットでは背面の人物がほとんど存在しないため、モデルはなんとしてでも顔を見たがる傾向があります。3Dモデルを生成する主なアプローチのひとつは、カメラからの視点角度をシミュレートし、その視点から見えるものを生成することです。これは2Dリフティングと呼ばれています。つまり、通常の画像を生成し、それらを組み合わせて完全な3Dシーンを作成します。その後、オブジェクトの周りから可能なすべての視点を生成します。そのため、このモデルは一度に1つの視点を生成しようとしており、3D空間での全体的なオブジェクトを十分に理解していないため、これらのような奇妙なアーティファクトが見られるのです。さて、MVDreamはこの方向性で大きな進歩を遂げました。彼らは…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

『DeepHowのCEO兼共同創業者、サム・ジェン氏によるインタビューシリーズ』

ディープハウのCEO兼共同創設者であるサム・ジェンは、著名な投資家から支持される急速に進化するスタートアップを率いていま...

人工知能

「UVeyeの共同設立者兼CEO、アミール・ヘヴェルについてのインタビューシリーズ」

アミール・ヘヴァーは、UVeyeのCEO兼共同創設者であり、高速かつ正確な異常検出により、自動車およびセキュリティ産業に直面...

人工知能

Diginiのスマートセンスの社長、ガイ・イエヒアブによるインタビューシリーズ

ガイ・イハイアヴ氏は、ビジネスの成功に最も重要な資産を保護するためにインターネット・オブ・シングス(IoT)の力を活用す...

人工知能

アーティスの創設者兼CEO、ウィリアム・ウーによるインタビューシリーズ

ウィリアム・ウーは、Artisseの創設者兼CEOであり、ユーザーの好みに基づいて写真を精密に変更する技術を提供していますそれ...

AIニュース

OpenAIのCEOであるSam Altman氏:AIの力が証明されるにつれて、仕事に関するリスクが生じる

OpenAIのCEOであるSam Altmanは、特に彼の作品であるChatGPTに関するAIの潜在的な危険性について公言してきました。最近のイ...

人工知能

「ゲイリー・ヒュースティス、パワーハウスフォレンジクスのオーナー兼ディレクター- インタビューシリーズ」

ゲイリー・ヒュースティス氏は、パワーハウスフォレンジックスのオーナー兼ディレクターであり、ライセンスを持つ私立探偵、...