Learn more about Search Results Discord - Page 15

AIは自己を食べるのか？このAI論文では、モデルの崩壊と呼ばれる現象が紹介されており、モデルが時間の経過とともに起こり得ないイベントを忘れ始める退行的な学習プロセスを指します

安定した拡散により、言葉だけで画像を作ることができます。GPT-2、GPT-3（.5）、およびGPT-4は、多くの言語の課題で驚異的なパフォーマンスを発揮しました。この種の言語モデルについての一般の知識は、ChatGPTを通じて最初に公開されました。大規模言語モデル（LLM）は恒久的なものとして確立され、オンラインテキストおよび画像エコシステム全体を大幅に変えることが期待されています。大量のWebスクレイピングデータからのトレーニングは、十分な考慮が与えられた場合にのみ維持できます。実際に、LLMが生成したコンテンツをインターネットから収集したデータに含めることで、システムとの真の人間の相互作用に関する取得されたデータの価値は高まるでしょう。 英国とカナダの研究者は、モデルの崩壊が、あるモデルが他のモデルによって生成されたデータから学習すると発生することを発見しました。この退化的なプロセスにより、モデルは時間の経過とともに真の基盤となるデータ分布の追跡を失い、変化がない場合でも、誤って解釈されるようになります。彼らは、ガウス混合モデル、変分オートエンコーダー、および大規模言語モデルの文脈でモデルの失敗の事例を提供することによって、この現象を説明しています。彼らは、獲得された行動が世代を超えて推定値に収束し、この真の分布に関する知識の喪失が尾の消失から始まる方法を示し、この結果が機能推定エラーがないほぼ最適な状況でも不可避であることを示しています。 研究者たちは、モデルの崩壊の大きな影響について述べ、基盤となる分布の尾の場所を特定するために生データにアクセスすることがどれだけ重要かを指摘しています。したがって、LLMとの人間の相互作用に関するデータがインターネット上で大規模に投稿される場合、データ収集を汚染し、トレーニングに使用することがますます役立つようになるでしょう。 モデル崩壊とは何ですか？ 学習済みの生成モデルの一世代が次の世代に崩壊するとき、後者は汚染されたデータでトレーニングされるため、世界を誤解することになり、破綻的な忘却過程とは対照的に、このアプローチでは、時間を通じて多くのモデルを考慮することを考慮しています。モデルは以前に学習したデータを忘れないで、彼らのアイデアを強化することで彼らが実際に現実であると認識するものを誤って解釈するようになります。これは、様々な世代を通じて組み合わされた二つの異なる誤り源によって起こるため、過去のモデルから生じるものであり、この特定の誤りメカニズムが最初の世代を超えて生き残る必要があります。 モデル崩壊の原因 モデルの失敗の基本的および二次的な原因は以下の通りです。 最も一般的なエラーは統計的近似の結果であり、有限のサンプルがあると起こりますが、サンプルサイズが無限に近づくにつれて減少します。 関数近似器が十分に表現力がない（または元の分布を超えて過剰に表現力がある場合がある）ために引き起こされる二次的なエラーを機能近似エラーと呼びます。 これらの要因は、モデル崩壊の可能性を悪化または緩和することができます。より良い近似力は、統計的ノイズを増幅または減衰させることができるため、基盤となる分布のより良い近似をもたらす一方で、それを増幅することもできます。 モデル崩壊は、再帰的にトレーニングされた生成モデルすべてで発生すると言われており、すべてのモデル世代に影響を与えます。彼らは実際のデータに適用されると崩壊する基本的な数学モデルを作成することができますが、興味のある値の解析方程式を導くために使用することができます。彼らの目標は、様々なエラータイプの影響を元の分布の最終近似に置く数値を示すことです。 研究者たちは、別の生成モデルからのデータでトレーニングすることによってモデル崩壊が引き起こされることがわかり、分布のシフトが生じるため、モデルがトレーニング問題を誤って解釈するようになると示しています。長期的な学習には、元のデータソースにアクセスし、LLMsによって生成された他のデータを時間をかけて利用する必要があります。LLMsの開発と展開に参加するすべての当事者が、証明問題を解決するために必要なデータを伝達し、共有するためにコミュニティ全体で調整することが1つのアプローチです。技術が広く採用される前にインターネットからクロールされたデータまたは人間によって提供されたデータにアクセスすることができるため、LLMsの後続バージョンをトレーニングすることがますます簡単になる可能性があります。 以下をチェックしてください： 論文と参考記事。 24k+ ML SubReddit、Discordチャンネル、および電子メールニュースレターに参加することを忘れないでください。そこでは、最新のAI研究ニュース、クールなAIプロジェクトなどを共有しています。上記の記事に関する質問がある場合や、何か見落としがあった場合は、お気軽に[email protected]までメールでお問い合わせください。

オムニバースへ：マーベラスデザイナーのためのUniversal Scene Descriptionサポートにより、ユーザーは3Dキャラクターのためのデジタルアセットや衣服をカスタマイズできます

注記：この記事は、アーティスト、開発者、企業が、Universal Scene DescriptionおよびNVIDIA Omniverseの最新の進歩を利用して、ワークフローを変換する方法に焦点を当てた月刊シリーズであるInto the Omniverseの一部です。 魚のヒレをアニメーションさせたり、デジタルキャラクターのおしゃれな衣装を作ったりする場合でも、クリエイターは、Marvelous Designerソフトウェアを利用して、3Dワークフローのためのアセット、衣服、その他の素材を作成および調整することができます。 Marvelous Designerは最近、Omniverse Connectorを発売しました。これは、そのソフトウェアとNVIDIA Omniverseの間で行われる協働ワークフローを強化するツールであり、3Dツールおよびアプリケーションを接続および構築するための開発プラットフォームであるNVIDIA Omniverseとの連携を図っています。 Connectorは、3Dツール間で共通の言語であるUniversal Scene DescriptionフレームワークであるOpenUSDをサポートするため、設計プロセスを大幅にスピードアップし、簡易化することができます。 通常のコンピューターグラフィックスパイプラインでは、アーティストは、作品を完成させるためにソフトウェア間を行き来する必要があります。新しいOmniverse Connectorにより、Marvelous DesignerのOpenUSDを介した改良されたインポートおよびエクスポート機能により、クリエイターは時間を節約することができます。 最近のライブストリームで、3DデザイナーのBrandon Yuは、新しいConnectorとOpenUSDを使用して、協働ワークフローを改善し、生産性を向上させ、創造的な可能性を拡大し、デザインプロセスを合理化する方法を共有しました。 MH Tutorials YouTubeチャンネルで15万人以上の登録者を持つMike…

テクニカルアーティストがNVIDIA Omniverse USD Composerを使用して、優れたウールリーマンモスを構築しました今週の「In the NVIDIA Studio」

Editor’s note: この記事は、週刊NVIDIA Studioシリーズの一環であり、注目のアーティストを紹介し、クリエイティブなヒントやトリックを提供し、NVIDIA Studioテクノロジーがクリエイティブなワークフローを改善する方法を示しています。 3Dを専門とするシニアテクニカルアーティストのKeerthan Sathyaは、信じられないほど詳細で、熟練した作り方で作られ、見事な美しさを誇るアニメーション「Tiny Mammoth」で、NVIDIA Studioの中で勝利した。 Sathyaは、Adobe Substance 3D Modeler、Painter、Autodesk 3ds Maxなどの人気のある3Dアプリのコレクションをプロジェクトで使用し、ステージング、環境の準備、ライティング、レンダリングは、NVIDIA OmniverseのUSD Composerアプリで完了しました。 さらに、3Dの服を作成、編集、再利用するためのMarvelous Designerソフトウェアが、NVIDIA Omniverse Connectorで発売されました。 Universal Scene Description（OpenUSD）フレームワークは、ブリッジとして機能し、ユーザーがOmniverse…

無料のフルスタックLLMブートキャンプ

LLMについて詳しく学び、クールなLLMパワードアプリケーションを作成したいですか？この無料のフルスタックLLMブートキャンプが必要なすべてです！

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us