Learn more about Search Results ChipNeMo

テストに合格する：NVIDIAがMLPerfベンチマークでジェネラティブAIのトレーニングをターボチャージします

NVIDIAのAIプラットフォームは、最新のMLPerf業界ベンチマークにおいて、AIトレーニングとハイパフォーマンスコンピューティングの基準を引き上げました。 多くの新記録やマイルストーンの中で、ジェネラティブAIの分野で特に注目されているのは、NVIDIA Eosです。これは、驚異的な10752基のNVIDIA H100 Tensor Core GPUとNVIDIA Quantum-2 InfiniBandネットワーキングを搭載したAIスーパーコンピュータで、GPT-3モデルに基づいた1750億個のパラメータを持つ1億トークンのトレーニングベンチマークをたったの3.9分で完了しました。 これは、約3倍の速さで、NVIDIAがわずか6か月前に記録した10.9分を大幅に上回るものです。 このベンチマークは、人気のChatGPTサービスのフルGPT-3データセットの一部を使用しており、推定によれば、Eosはたった8日間でトレーニングを完了させることができます。これは、512基のA100 GPUを使用した従来の最先端システムに比べて73倍高速です。 トレーニング時間の短縮は、コスト削減、エネルギー節約、およびマーケット投入までの時間短縮につながります。大規模な言語モデルを広く利用できるようにする重要な取り組みであり、NVIDIA NeMoといったツールを使用して、すべての企業がカスタマイズ可能なLLMを採用できるようにしています。 今回の新しいジェネラティブAIのテストでは、1024基のNVIDIA HopperアーキテクチャGPUが、2.5分でStable Diffusion text-to-imageモデルに基づいたトレーニングベンチマークを完了し、この新たなワークロードにおいてハイバーな成績を収めました。 これらの二つのテストを採用することで、MLPerfはAIのパフォーマンスを測定する業界の標準としてのリーダーシップを強化しており、ジェネラティブAIが現在の私たちの時代で最も変革的な技術であることを裏付けています。 システムの拡張が飛躍 今回の最新の結果は、MLPerfベンチマークに適用されたアクセラレータがこれまでで最も多く使用されたことによるものです。10752基のH100 GPUは、今年6月のAIトレーニングでNVIDIAが使用した3584基のHopper GPUを大幅に上回りました。 GPU数の3倍のスケーリングが、パフォーマンスの2.8倍のスケーリングをもたらしたことで、ソフトウェアの最適化にも一部助けられ、93%の効率率を実現しました。…

このAI研究により、チップデザインに適した言語モデルの独自な手法が紹介されています

ChipNeMoは、市販のLLMに頼らずに、ドメイン適応技術を用いた産業用チップデザインにおけるLLMの利用を探求しています。これらの技術には、カスタムのトークナイゼーション、ドメイン適応の事前学習、ドメイン特化のガイダンスを用いた教師付き微調整、およびドメイン適応型の検索モデルが含まれます。この研究では、チップデザインにおけるこれらの手法を3つのLLMの応用によって評価し、一般的なモデルと比較して注目すべき性能向上をもたらしました。これにより、さまざまな設計タスクにおいてモデルサイズを大幅に削減し、同等または改善されたパフォーマンスを実現するとともに、ドメイン適応型LLMのさらなる改良の可能性を示しました。 この研究では、LLMのドメイン特化応用に焦点を当てながら、さまざまなドメインにおける特許データの存在を強調しています。知識集約型の自然言語処理(NLP)とコード生成タスクの向上を目指し、疎な検索および密な検索手法を組み合わせた検索拡張型生成に探求します。従来のチップデザインの研究では、Verilogコード生成などのタスクにおいてドメイン特化のデータにオープンソースのLLMを微調整することでパフォーマンスが向上しています。また、チップデザインにおけるドメイン適応型LLMアプローチのさらなる探求と改善を呼びかけています。 電子設計自動化（EDA）ツールは、チップデザインの生産性を向上させていますが、いくつかの時間を要する言語関連のタスクはまだ完了する必要があります。LLMは、チップデザインにおけるコード生成、エンジニアリング応答、分析、およびバグトライアージを自動化することができます。以前の研究では、LLMを使用したRTLおよびEDAスクリプトの生成について探求されています。ドメイン特化のLLMは、ドメイン特化のチップデザインタスクにおいて優れたパフォーマンスを発揮します。目標は、モデルのサイズを減らしながらLLMのパフォーマンスを向上させることです。 チップデザインのデータは、カスタムトークナイザを通じて処理され、分析に適した状態に最適化されました。ドメイン適応型の継続的事前学習手順は、プリトレーニングされた基礎モデルを微調整し、チップデザインのドメインに合わせるために行われました。教師付き微調整は、ドメイン特化と一般的なチャットインストラクションデータセットを活用してモデルのパフォーマンスを改善しました。ドメイン適応型の検索モデルは、TF-IDFとBM25などの疎な検索手法、および事前学習モデルを使用した密な検索手法を包括し、情報検索と生成を向上させるために活用されました。 ChipNeMoにおけるドメイン適応技術は、エンジニアリングチャットボット、EDAスクリプト生成、およびバグ分析などのチップデザインのLLMにおいて注目すべき性能向上をもたらしました。これらの手法はモデルサイズを大幅に削減するだけでなく、さまざまな設計課題でパフォーマンスを維持または向上させました。ドメイン適応型の検索モデルは、一般的なモデルを凌駕し、注目すべき改善を示しました。教師なしモデルと比較して2倍の改善を達成し、Sentence Transformerモデルと比較して30倍のパフォーマンス向上を示しました。マルチチョイスのクエリとコード生成の評価基準により、モデルの正確性と効果を数値化した洗練された評価が提供されました。 まとめとして、カスタムトークナイゼーション、ドメイン適応型の事前学習、ドメイン特化の教師付き微調整、およびドメイン適応型の検索モデルなどのドメイン適応型技術は、チップデザインのLLMのパフォーマンスを大幅に向上させるものです。ChipNeMoモデル（ChipNeMo-13B-Chatなど）は、エンジニアアシスタントチャットボット、EDAスクリプト生成、およびバグ分析のタスクにおいてベースモデルと比較して同等または優れた結果を示し、より強力なLLaMA2 70Bモデルとのパフォーマンス差を縮めています。

Nvidiaは、エンジニア向けに生成AIを試験運用しています

Nvidiaのビル・デリー氏は、同社が生成的人工知能を利用してチップ設計者の生産性を向上させることができるかどうかをテストしていると述べました

シリコンボレー：デザイナーがチップ支援のために生成AIを活用

今日公開された研究論文によれば、生成AIは、最も複雑なエンジニアリングプロジェクトの1つである半導体設計を支援できる方法を示しています。 この研究では、高度な専門分野の企業が、内部データを使用して大規模な言語モデル（LLM）を訓練し、生産性を向上させるアシスタントを作成することができることが示されています。 半導体設計は非常に困難な職業の一つです。最先端のチップであるNVIDIA H100 Tensor Core GPU（上記）は、人間の髪の毛の1万分の1の幅の通りよりも10,000倍細いストリート上に接続された数百億のトランジスタで構成された計画された都市のように見えます。 数多くのエンジニアリングチームが2年以上にわたり協力し、これらのデジタルメガシティを構築しています。 一部のグループはチップの全体的なアーキテクチャを定義し、他のグループはさまざまな超小型回路を作成・配置し、さらに別のグループはその作業をテストします。それぞれの作業には専門的な方法、ソフトウェアプログラム、コンピュータ言語が必要です。 LLMに向けた広範なビジョン 「私は大規模な言語モデルが時間の経過とともに、あらゆるプロセスを支援することになると考えています」と、筆頭著者であるNVIDIA ResearchのディレクターであるMark Ren氏は述べています。 NVIDIAの最高科学責任者であるBill Dally氏は、この論文をサンフランシスコで開催された年次の電子設計自動化（EDA）に関する国際会議で発表しました。 「この取り組みは、特に高度な専門分野でも、内部データを使用して有用な生成AIモデルを訓練することができることを示しています。これは、半導体設計の複雑な作業にLLMsを適用するための重要な一歩です」とDally氏は述べました。 ChipNeMoの登場 この論文では、NVIDIAのエンジニアが、社内データを使用して会社の内部データを生成し最適化するためのカスタムLLMであるChipNeMoを作成した方法について詳しく説明されています。 長期的には、エンジニアはチップ設計の各段階に生成AIを適用し、全体的な生産性を大幅に向上させることを期待しています。Ren氏はEDA分野で20年以上のキャリアを持つエンジニアの一人です。 NVIDIAのエンジニアによる可能なユースケースの調査の結果、研究チームは3つのユースケースを開始することを選びました：チャットボット、コード生成器、および分析ツールです。 初期のユースケース 後者は、既知のバグの維持に関連する時間のかかるタスクを自動化するツールであり、これまでで最も好評を得ています。 GPUアーキテクチャとデザインに関する質問に回答するプロトタイプチャットボットは、早期のテストで多くのエンジニアが技術文書を迅速に見つけるのに役立ちました。 コード生成ツールは、チップ設計のソフトウェアの一部を書くのに役立ちます。…

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us