このAI研究により、チップデザインに適した言語モデルの独自な手法が紹介されています

AI研究により、チップデザインに最適な言語モデルの独自な手法が紹介されました' (AI けんきゅう に より、 チップデザインに さいてきな げんごモデルの どくじな しゅほうが しょうかいされました)

ChipNeMoは、市販のLLMに頼らずに、ドメイン適応技術を用いた産業用チップデザインにおけるLLMの利用を探求しています。これらの技術には、カスタムのトークナイゼーション、ドメイン適応の事前学習、ドメイン特化のガイダンスを用いた教師付き微調整、およびドメイン適応型の検索モデルが含まれます。この研究では、チップデザインにおけるこれらの手法を3つのLLMの応用によって評価し、一般的なモデルと比較して注目すべき性能向上をもたらしました。これにより、さまざまな設計タスクにおいてモデルサイズを大幅に削減し、同等または改善されたパフォーマンスを実現するとともに、ドメイン適応型LLMのさらなる改良の可能性を示しました。

この研究では、LLMのドメイン特化応用に焦点を当てながら、さまざまなドメインにおける特許データの存在を強調しています。知識集約型の自然言語処理(NLP)とコード生成タスクの向上を目指し、疎な検索および密な検索手法を組み合わせた検索拡張型生成に探求します。従来のチップデザインの研究では、Verilogコード生成などのタスクにおいてドメイン特化のデータにオープンソースのLLMを微調整することでパフォーマンスが向上しています。また、チップデザインにおけるドメイン適応型LLMアプローチのさらなる探求と改善を呼びかけています。

電子設計自動化（EDA）ツールは、チップデザインの生産性を向上させていますが、いくつかの時間を要する言語関連のタスクはまだ完了する必要があります。LLMは、チップデザインにおけるコード生成、エンジニアリング応答、分析、およびバグトライアージを自動化することができます。以前の研究では、LLMを使用したRTLおよびEDAスクリプトの生成について探求されています。ドメイン特化のLLMは、ドメイン特化のチップデザインタスクにおいて優れたパフォーマンスを発揮します。目標は、モデルのサイズを減らしながらLLMのパフォーマンスを向上させることです。

• オックスフォード大学の研究者たちは、DynPointという人工知能アルゴリズムを開発しましたこのアルゴリズムは、自由な単眼ビデオの新しい視点を迅速に合成することを目的としています
• 中国の研究者たちは、複雑な現実世界の課題を解決するために、大規模言語模型（LLM）がマルチモーダルツールを利用できるようにする人工知能フレームワークであるControlLLMを紹介しました
• マイクロソフトの研究者が「LoRAShear LLMの構造的な剪定と知識の回復に対する画期的な人工知能効率的アプローチ」を紹介

チップデザインのデータは、カスタムトークナイザを通じて処理され、分析に適した状態に最適化されました。ドメイン適応型の継続的事前学習手順は、プリトレーニングされた基礎モデルを微調整し、チップデザインのドメインに合わせるために行われました。教師付き微調整は、ドメイン特化と一般的なチャットインストラクションデータセットを活用してモデルのパフォーマンスを改善しました。ドメイン適応型の検索モデルは、TF-IDFとBM25などの疎な検索手法、および事前学習モデルを使用した密な検索手法を包括し、情報検索と生成を向上させるために活用されました。

ChipNeMoにおけるドメイン適応技術は、エンジニアリングチャットボット、EDAスクリプト生成、およびバグ分析などのチップデザインのLLMにおいて注目すべき性能向上をもたらしました。これらの手法はモデルサイズを大幅に削減するだけでなく、さまざまな設計課題でパフォーマンスを維持または向上させました。ドメイン適応型の検索モデルは、一般的なモデルを凌駕し、注目すべき改善を示しました。教師なしモデルと比較して2倍の改善を達成し、Sentence Transformerモデルと比較して30倍のパフォーマンス向上を示しました。マルチチョイスのクエリとコード生成の評価基準により、モデルの正確性と効果を数値化した洗練された評価が提供されました。

まとめとして、カスタムトークナイゼーション、ドメイン適応型の事前学習、ドメイン特化の教師付き微調整、およびドメイン適応型の検索モデルなどのドメイン適応型技術は、チップデザインのLLMのパフォーマンスを大幅に向上させるものです。ChipNeMoモデル（ChipNeMo-13B-Chatなど）は、エンジニアアシスタントチャットボット、EDAスクリプト生成、およびバグ分析のタスクにおいてベースモデルと比較して同等または優れた結果を示し、より強力なLLaMA2 70Bモデルとのパフォーマンス差を縮めています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!