黄さんの法則に留意する：エンジニアたちがどのように速度向上を進めているかを示すビデオ

黄さんの法則を遵守する：エンジニアたちが速度向上を進める方法を示すビデオ

話の中で、NVIDIAのチーフサイエンティストであるビル・ダリー氏が、モーアの法則時代後のコンピュータパフォーマンスの提供方法における大きな変革を説明しました。 オンラインでご覧いただけます。

彼は、新しいプロセッサは、新鮮な要素の発明と検証に工夫と努力が必要であり、チップとシステムエンジニアの毎年の集まりであるHot Chipsでの最近の基調講演で述べています。それは、エンジニアが本質的にはますます小型かつ高速なチップの物理に頼る一世代前とは根本的に異なります。

NVIDIA Researchのリーダーであるダリー氏が率いる300人以上のチームは、過去10年間に単一のGPUパフォーマンスでAI推論を1000倍向上させるのに貢献しました（以下のグラフを参照）。

その驚異的な増加は、NVIDIAの創設者兼CEOであるジェンセン・ファン氏にちなんでIEEE Spectrumが最初に「ファンの法則」と名付け、後にウォールストリートジャーナルのコラムによって一般化されました。

• 「研究者が量子コンピューティングのためのトポロジカル超伝導体を進展させる」
• 多種多様なロボットタイプ間での学習のスケーリングアップ
• MITとCUHKの研究者たちは、LLM（Long Context Large Language Models）に対して効率的なファインチューニングAIアプローチであるLongLoRA（Long Low-Rank Adaptation）を提案しています

この進歩は、年々桁違いに成長している大規模な言語モデル（生成AIに使用される）の驚異的な上昇に対応したものです。

「それは私たちにとってハードウェア業界でのペースメーカーとなっているものです」とダリー氏は述べました。

彼の話の中で、ダリー氏は1000倍の利益をもたらした要素について詳細に説明しました。

その中で最も大きなものである16倍の利益は、コンピュータが計算を行う際に使用する数値をよりシンプルに表現する方法を見つけることから生まれました。

新しい数学

最新のNVIDIA Hopperアーキテクチャーは、Transformer Engineを使用し、8ビットおよび16ビットの浮動小数点および整数演算の動的な組み合わせを行います。これは、今日の生成AIモデルのニーズに合わせてカスタマイズされています。ダリー氏は、新しい数学がもたらすパフォーマンスの向上とエネルギーの節約について詳細を示しました。

別途、彼のチームは、GPUが自身の作業をどのように組織するかを伝える高度な命令を作成することによって12.5倍の飛躍を達成しました。これらの複雑なコマンドは、より少ないエネルギーでより多くの作業を実行するのに役立ちます。

結果として、コンピュータは「専用アクセラレータと同じ効率性を持ちながら、GPUのすべてのプログラム可能性を保持することができる」と彼は述べました。

さらに、NVIDIA Ampereアーキテクチャーには、AIモデルの重みを単純化する革新的な方法である構造的疎結合性が追加されました。この技術により、さらに2倍のパフォーマンス向上がもたらされ、将来的な進歩も約束されています。

ダリー氏は、システム内のGPU間のNVLink相互接続とシステム間のNVIDIAネットワーキングが、単一のGPUパフォーマンスの1000倍の利益をもたらすことを説明しました。

タダ飯はない  

ただし、ダリー氏は、10年間にわたってNVIDIAが28nmから5nmの半導体ノードにGPUを移行したとしても、その技術は総利益のうち2.5倍しか占めていないと指摘しています。

これは、コンピュータデザインがモーアの法則の下で一世代前に行われたときの大きな変化です。モーアの法則は、チップがますます小型かつ高速になるにつれ、パフォーマンスが2年ごとに倍増するという観察結果でした。

これらの利益は、IBMの科学者ロバート・デナードが共同執筆した1974年の論文で定義された物理学の公式であるデナードスケーリングによって一部説明されました。残念ながら、縮小の物理学は、ますます小さくなり、速くなるデバイスが耐えられる熱の量など、自然の限界に達しました。

明るい見通し

Dally氏は、ムーアの法則からの得られる利益が減少しても、黄の法則が続くという自信を表明しました。

たとえば、数値の表現をさらに単純化し、AIモデルの疎集を増やし、より優れたメモリと通信回路を設計するためのいくつかの機会を示しました。

各新しいチップとシステムの世代は新しいイノベーションを求めており、「コンピュータエンジニアであることは楽しい時です」と彼は述べました。

Dally氏は、コンピュータデザインの新たなダイナミクスがNVIDIAのエンジニアにとって最も望ましい3つの機会を提供していると信じています。それは、勝利チームの一員であり、優れた人々と働き、影響力のあるデザインに取り組むことです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!