シリコンボレー：デザイナーがチップ支援のために生成AIを活用

シリコンバレーのデザイナーたちがAIを活用してチップ支援を行う

今日公開された研究論文によれば、生成AIは、最も複雑なエンジニアリングプロジェクトの1つである半導体設計を支援できる方法を示しています。

この研究では、高度な専門分野の企業が、内部データを使用して大規模な言語モデル（LLM）を訓練し、生産性を向上させるアシスタントを作成することができることが示されています。

半導体設計は非常に困難な職業の一つです。最先端のチップであるNVIDIA H100 Tensor Core GPU（上記）は、人間の髪の毛の1万分の1の幅の通りよりも10,000倍細いストリート上に接続された数百億のトランジスタで構成された計画された都市のように見えます。

数多くのエンジニアリングチームが2年以上にわたり協力し、これらのデジタルメガシティを構築しています。

• バイデン大統領がAI実行命令を発布し、安全評価、市民権のガイダンス、労働市場への影響に関する研究を要求しています
• コロンビア大学とAppleの研究者が『フェレット』を紹介します画像の高度な理解と説明のための画期的な多モーダル言語モデルです
• 「NYUの研究者たちはゲノミクスのためのニューラルネットワークを作成し、それが予測にどのように辿り着くかを説明できることを示しました」

一部のグループはチップの全体的なアーキテクチャを定義し、他のグループはさまざまな超小型回路を作成・配置し、さらに別のグループはその作業をテストします。それぞれの作業には専門的な方法、ソフトウェアプログラム、コンピュータ言語が必要です。

LLMに向けた広範なビジョン

「私は大規模な言語モデルが時間の経過とともに、あらゆるプロセスを支援することになると考えています」と、筆頭著者であるNVIDIA ResearchのディレクターであるMark Ren氏は述べています。

NVIDIAの最高科学責任者であるBill Dally氏は、この論文をサンフランシスコで開催された年次の電子設計自動化（EDA）に関する国際会議で発表しました。

「この取り組みは、特に高度な専門分野でも、内部データを使用して有用な生成AIモデルを訓練することができることを示しています。これは、半導体設計の複雑な作業にLLMsを適用するための重要な一歩です」とDally氏は述べました。

ChipNeMoの登場

この論文では、NVIDIAのエンジニアが、社内データを使用して会社の内部データを生成し最適化するためのカスタムLLMであるChipNeMoを作成した方法について詳しく説明されています。

長期的には、エンジニアはチップ設計の各段階に生成AIを適用し、全体的な生産性を大幅に向上させることを期待しています。Ren氏はEDA分野で20年以上のキャリアを持つエンジニアの一人です。

NVIDIAのエンジニアによる可能なユースケースの調査の結果、研究チームは3つのユースケースを開始することを選びました：チャットボット、コード生成器、および分析ツールです。

初期のユースケース

後者は、既知のバグの維持に関連する時間のかかるタスクを自動化するツールであり、これまでで最も好評を得ています。

GPUアーキテクチャとデザインに関する質問に回答するプロトタイプチャットボットは、早期のテストで多くのエンジニアが技術文書を迅速に見つけるのに役立ちました。

開発中のコード生成ツール（上記のデモ）は、チップ設計者が使用する2つの特化した言語で約10-20行のソフトウェアのスニペットを作成します。これは既存のツールと統合される予定であり、エンジニアは進行中の設計に便利なアシスタントを手にすることができます。

NVIDIA NeMoを使用したAIモデルのカスタマイズ

この論文では、チームがデザインデータを収集し、それを使用して特化された生成AIモデルを作成するための作業に焦点を当てています。このプロセスは、どの産業にも応用可能です。

チームは基礎モデルとしてNVIDIA NeMoを使用し、NVIDIA NeMoを使用してカスタマイズしました。これは、NVIDIA AI Enterpriseソフトウェアプラットフォームに含まれる生成AIモデルの構築、カスタマイズ、展開を可能にするフレームワークです。選択されたNeMoモデルは430億のパラメータを持ち、パターンを理解する能力の尺度です。それはテキストやソフトウェア中の単語や記号である1兆トークン以上を使用して訓練されました。

チームは、内部の設計データを約240億トークン分使用して行われた最初のトレーニングラウンドと、約130,000件の会話とデザインの例を組み合わせた2番目のトレーニングラウンドで、モデルを洗練させました。

これらの取り組みは、半導体業界における生成型AIのいくつかの研究および概念の証明の例の一つであり、実験室から初めて現れ始めたものです。

学んだ教訓の共有

Renのチームが学んだ最も重要な教訓の一つは、カスタム化されたLLMの価値です。

チップデザインのタスクでは、13 billionパラメーターを持つカスタムChipNeMoモデルは、70 billionパラメーターを持つより大型の汎用LLMであるLLaMA2と同等またはそれ以上のパフォーマンスを発揮します。一部のユースケースでは、ChipNeMoモデルの方が大幅に優れていました。

Renは、ユーザーがデータを収集し、トレーニングに使用する際には慎重に注意する必要があると述べています。

最後に、Renはユーザーに対して、作業を迅速かつ簡単にする最新のツールに常に注意を払うようアドバイスしています。

NVIDIA Researchには、AI、コンピュータグラフィックス、コンピュータビジョン、自動運転車両、ロボティクスなどのトピックに特化した何百人もの科学者とエンジニアが世界中に存在しています。半導体分野での最近のプロジェクトには、AIを使用してより小型で高速な回路を設計することや、大型ブロックの配置を最適化することが含まれています。

独自のカスタムLLMを構築したい企業は、GitHubとNVIDIA NGCカタログで入手可能なNeMoフレームワークを使用して、今日から始めることができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!