「3D-GPT（3D-指示駆動型モデリングのための人工知能フレームワーク）に会ってください 大規模な言語モデル（LLM）を利用した指示駆動型3Dモデリングのための人工知能フレームワーク」

「最新の3D-GPT（3D-指示駆動型モデリングのためのAIフレームワーク）をチェック！大規模言語モデル（LLM）を活用した指示駆動型3Dモデリングのための最強AIフレームワーク」

細心緻密的模型在元宇宙時代的3D內容製作中，重新定義了遊戲、虛擬現實和電影行業中的多媒體體驗。然而，設計師們在耗時的3D建模過程中往往需要幫助，從基本形狀（如立方體、球體或圓柱體）開始使用諸如Blender之類的工具進行精確輪廓、細節和紋理修飾。渲染和后處理使這種勞動密集型製作工作完成並產生精緻的最終模型。儘管可變參數和基於規則的系統使程序式生成在自動化內容開發方面非常有效，但這需要對生成規則、算法框架和個體參數有深入的了解。

當這些過程與客戶的創意愿望協調時，增加了更多的復雜性，需要高效的溝通。這強調了在元宇宙時代使傳統的3D建模方法更加簡化以使創作者事半功倍的重要性。語言遷移模型(LLM)展示了卓越的計劃和工具使用能力以及理解能力。此外，LLM在表徵結構和紋理等對象特性方面表現出色，能夠根據基本描述改進細節。他們還擅長理解複雜的代碼功能和解析簡短的文本素材，同時輕鬆實現有效的用戶互動。他們探索了這些卓越能力在程序式3D建模中的新用途。

他們的主要目標是充分利用LLM的潛力，以滿足用戶需求，對3D創意軟件進行控制。為了實現這一目標，澳大利亞國立大學、牛津大學和北京人工智能研究院的研究人員介紹了3D-GPT，一個旨在促進以指令驅動的3D內容合成的框架。通過將3D建模過程分為更小、更可管理的段落，並決定何時、何地和如何完成每個段落，3D-GPT使LLM能夠扮演解決問題的代理人。概念化代理、3D建模代理和工作派發代理是組成3DGPT的三個主要代理。通過調整3D生成函數，前兩個代理一起工作以滿足3D概念化和3D建模的職責。

• 「ファストテキストを使用したシンプルなテキスト分類」となります
• 「16/10から22/10までの週のトップ重要なコンピュータビジョン論文」
• 「前例のない緊急事態下でのオンライン機械学習による流水下水の influent（流入）流量予測」

第三個代理通過接受第一個文本輸入，管理後續命令並促進第一個和第二個代理之間的高效溝通，從而控制系統。在此過程中，他們實現了兩個重要目標。首先，它通過指向更深入且與上下文相關的形式改善初始場景描述，然後根據進一步的指示修改文本輸入。其次，它使用程序生成，這是一種與3D軟件進行交互的方法，它使用可變參數和基於規則的系統，而不是直接創建3D材料的每個組件。他們的3D-GPT可以從改進的文本中推導出相關參數值，並理解程序生成程序。通過使用用戶的書面描述作為指南，3D-GPT提供準確且可定制的3D創作。

在具有多個不同元素的複雜場景中，手動指定程序式創作中的每個可控參數可以減少工作量。此外，3D-GPT提高了用戶參與度，簡化了創作過程並把用戶放在首位。此外，3D-GPT與Blender無縫集成，使用戶可以使用各種操作工具，包括網格編輯、物理運動模擬、對象動畫、材質變更和基本圖元添加等。根據他們的測試，他們聲稱LLM可以處理更複雜的視覺信息。

以下是他們貢獻的總結：

• 提出3D-GPT，一個用於3D場景創建的框架，提供免費培訓。他們的方法利用LLM內置的多模態推理能力，提高最終用戶的程序性3D建模的生產力。

• 探索了一種文本到3D生成的替代方法，其中他們的3D-GPT創建Python程序來操作3D軟件，可能為現實應用提供更大的靈活性。

• 實證研究表明LLM在創建3D材料時具有很大的潛力，可以思考、計劃和使用工具。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!