「テキストから具体的なものへ：3D-LLMが言語モデルを3D世界に解き放つ」

Text to Concrete 3D-LLM unleashes language models into the 3D world.

最初の3D-LLMの概要

元記事はlouisbouchard.aiで公開され、私のブログでは2日前に読めます！

ビデオを視聴する

大規模な言語モデルを見てきました。テキストやコード、画像と一緒に動作させることもありますが、それらが私たちの世界での動作に欠けているものがあります。それは、私たちが見るように私たちの世界を理解する能力です。テキストと画像だけでは、私たちの世界を説明するための2つの具体的な方法に過ぎません。さて、今日は、3D-LLMによって大きな進歩を遂げます。

3D-LLMは、私たちの世界を理解することができる新しいモデルです。それはまだ全体の一部ですが、私たちの生活で経験するものの非常に重要な部分である3次元とテキストを理解することができます。上記および下記の例で見るように、環境に関連する任意の質問をすることができ、通常のLLMに備わっている非常に優れた常識的な推論に基づいて回答します。もちろん、完璧ではありませんが、ChatGPTから知っているように、感動的です。世界を見て質問に答えるだけでなく、見える世界と対話したり、特定の部屋やオブジェクトへの経路を探したりするように依頼することもできます。特定のオブジェクトについて尋ねたり、物事を指したりすることができます。これは、私の知る限りでは、私たちが生活する世界と実際に対話する最初のLLMです。かなりクールですね。

見ての通り、その世界はかなり醜いです。これは、モデルがポイントクラウドと言語の理解しかできないためです。ポイントクラウドは、物体や環境の空間座標を表す3Dデータポイントの集合です。AIにおける3Dシーンでは、ポイントクラウドは効率的なデータ表現として使用されます。自動運転、ロボティクス、または拡張現実などで頻繁に使用され、AIモデルが認識や対話を行うことが可能になります。

• 「機械学習の方法の比較：従来の方法と費用削減の代替方法 – 本当に効果があるのはどれか？」
• 「大規模言語モデルの謎解き：インフルエンス関数とそのスケーラビリティの深い探求」
• ロボットの再定義：パデュー大学の革新的なマシンビジョンソリューション

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!