「加速、効率的なAIシステムの新しいクラスがスーパーコンピューティングの次の時代を示す」

「スーパーコンピューティングの次世代を示す、加速・効率的なAIシステムの新しいクラス」

エヌビディアは、今日のSC23で、科学や産業の研究センターを新たなパフォーマンスとエネルギー効率のレベルに引き上げる次世代のテクノロジーを発表しました。

同社の高性能コンピューティングおよびハイパースケールデータセンター事業の副社長であるイアン・バックは、この会議での特別なスピーチで、「エヌビディアのハードウェアとソフトウェアのイノベーションは、新しいAIスーパーコンピュータのクラスを創り出しています」と述べました。

これらのシステムの一部は、メモリ強化型のNVIDIA Hopperアクセラレータを搭載し、他のシステムは新しいNVIDIA Grace Hopperシステムアーキテクチャを搭載しています。すべてのシステムは、拡張された並列処理を使用して、生成AI、HPCおよびハイブリッド量子コンピューティングのためのスタックを実行するための加速ソフトウェアを使用します。

バックは新しいNVIDIA HGX H200を「世界最高のAIコンピューティングプラットフォーム」と表現しました。

• 「SEINEをご紹介します：シーン間のスムーズでクリエイティブなトランジションがある高品質な拡張ビデオのためのショートトゥロングビデオ拡散モデル」
• 「ユーザーとの対話により、RAG使用例でのLLM応答を改善する」
• ジェンAIの活用：攻撃型AIに対するサイバー強靭性の構築

このGPUは、最初のAIアクセラレータとして超高速技術を使用した141GBのHBM3eを搭載しています。GPT-3などのモデルを実行する場合、NVIDIA H200 Tensor Core GPUsは前世代のアクセラレータに比べて18倍のパフォーマンス向上を提供します。

ほかの生成AIベンチマークの中でも、彼らはLlama2-13Bの大規模な言語モデル(LLM)で1秒あたり12,000トークンを処理します。

バックは、4つのNVIDIA GH200 Grace Hopper SuperchipsをNVIDIA NVLinkで接続したサーバープラットフォームも発表しました。このクアッド構成では、1つのコンピュートノードに288個のArm Neoverseコアと16ペタフロップのAIパフォーマンス、最大2.3テラバイトの高速メモリを搭載しています。

性能の効率性を示すために、デュアルソケットのx86 CPUシステムに比べて、1つのGH200 SuperchipはNVIDIA TensorRT-LLMオープンソースライブラリを使用して100倍高速であり、X86 + H100 GPUサーバーよりもエネルギー効率が2倍高いです。

バックは、「加速コンピューティングは持続可能なコンピューティングです」と述べました。「加速コンピューティングと生成AIのパワーを利用することで、私たちは環境への影響を軽減しながら、さまざまな産業にイノベーションをもたらすことができます。」

エヌビディアが新たなTOP500システムのうち38を駆動

最新のTOP500リストは、加速およびエネルギー効率の高いスーパーコンピューティングへの移行を反映しています。

NVIDIA H100 Tensor Core GPUsを搭載した新しいシステムにより、エヌビディアはこれらの世界最先端のシステム全体で2.5エクサフロップス以上のHPCパフォーマンスを提供しており、5月のランキングの1.6エクサフロップスから向上しています。トップ10だけでも、エヌビディアの寄与はHPCでは約1エクサフロップス、AIパフォーマンスでは72エクサフロップスに達しています。

新しいリストには、NVIDIAの技術を使用したシステム数が最も多く、5月の372に対して379台が含まれています。新しいスーパーコンピューターのうち49台のうち38台がリストに掲載されています。

Microsoft Azureは、H100 GPUを使用したNDv5インスタンスのEagleシステムでNo. 3に561ペタフロップスを達成し、新参者をリードしています。バルセロナのMare Nostrum5はNo. 8にランク付けされ、NVIDIA EosはNo. 9にランクインしました。最近、MLPerfベンチマークで新しいAIトレーニングの記録を樹立したNVIDIA EosもNo.9です。

NVIDIAのGPUは、Green500の上位30のシステムのうち23台を駆動しており、エネルギー効率を示しています。また、ニューヨークのフラットアイアン研究所向けのH100 GPUベースのHenriシステムでは、65.09ギガフロップス/ワットの性能を実現し、No. 1の座を維持しています。

Gen AIがCOVIDを探索

アルゴンヌ国立研究所は、バイオ分子LLMのための生成AIプラットフォームであるNVIDIA BioNeMoを使用して、実世界の新しいコロナウイルスのバリアントに似た遺伝子配列を生成できるモデルであるGenSLMsを開発しました。NVIDIAのGPUと150万件のCOVIDゲノムシーケンスのデータを使用して、新しいウイルスの変異を迅速に特定することもできます。

この作業は昨年、ゴードン・ベル特別賞を受賞し、アルゴンヌのPolarisシステム、米国エネルギー省のPerlmutter、NVIDIAのSeleneなどのスーパーコンピューターで訓練されました。

「これは氷山の一角に過ぎません。生成AIは科学的探索の景色を再定義し続ける中で、未来は可能性に満ちています」とNVIDIAのヘルスケア担当バイスプレジデントのキンバリー・パウエルは特別講演で述べています。

時間、費用、エネルギーの節約

最新の技術を使用することで、加速されたワークロードでは、システムのコストとエネルギー使用量が桁違いに削減されることがあります、バックさんは述べています。

たとえば、Siemensは、新しい電気EQE車の空力および関連する音響を分析するためにMercedesと協力しました。CPUクラスターで数週間かかったシミュレーションは、最新のNVIDIA H100 GPUを使用することで大幅に高速化されました。さらに、Hopper GPUを使用することで、コストを3倍削減し、エネルギー消費量を4倍削減することもできました（以下参照）。

次年度に200エクサフロップスの導入開始

科学的および産業的な進歩は、最新のシステムが展開されている世界のあらゆる場所から生まれるでしょう。

バックさんは言います、「2024年には、組み合わせで合計200エクサフロップスのAIがGrace Hopperスーパーコンピューターで生産されるのをすでに見ています」と。これには、ドイツのJülichセンターの巨大なJUPITERスーパーコンピューターも含まれています。JUPITERは、AIトレーニングに93エクサフロップス、HPCアプリケーションに1エクサフロップスの性能を提供し、消費電力はわずか18.2メガワットです。

JUPITERは、EvidenのBullSequana XH3000液体冷却システムをベースにしており、NVIDIAのクアッドGH200システムアーキテクチャとNVIDIA Quantum-2 InfiniBandネットワークを使用して、気候や天候予測、薬物探索、ハイブリッド量子コンピューティング、デジタルツインなどの分野で活用されます。JUPITERクアッドGH200ノードは864GBの高速メモリで構成されます。

SC23でNVIDIAが発表したいくつかの新しいスーパーコンピュータの1つであるGrace Hopperを使用しています。

ヒューレット・パッカード・エンタープライズのHPE Cray EX2500システムは、来年にオンラインで稼働する多くのAIスーパーコンピュータの動力源となるクアッドGH200を使用します。

たとえば、HPEはクアッドGH200を使用して、筑波大学と東京大学が共有する日本の高度なHPCシステムであるOFP-IIや、米国のナショナル・スーパーコンピューティング・アプリケーションズの計算能力を3倍にするDeltaAIシステムの動力源として使用しています。

HPEはまた、Los Alamos National Laboratory向けにVenadoシステムを構築しており、これは米国で最初に展開されるGH200です。さらに、HPEは中東、スイス、イギリスでもGH200スーパーコンピュータを構築しています。

Texasおよびその他の地域でのGrace Hopper

テキサス高度計算センター（TACC）では、デルテクノロジーズがNVIDIA Grace HopperとGrace CPU Superchipsを使用してVistaスーパーコンピュータを構築しています。

Buck氏によれば、NASA Ames Research CenterやTotal Energiesを含む100以上の世界の企業や組織が既にGrace Hopperの早期アクセスシステムを購入しています。

これには、SoftBankやブリストル大学、イタリアのCinecaコンソーシアム向けに1万4000のNVIDIA A100 GPUを備えた巨大なLeonardoシステムなど、以前に発表されたGH200のユーザーも加わっています。

スーパーコンピューティングセンターの視点

世界中のスーパーコンピューティングセンターの指導者たちは、最新のシステムについての計画と進行中の作業を共有しました。

「私たちはメテオスイスECMWPとETH EXCLAIMの科学者と協力して、ビッグデータ分析と極限スケールのコンピューティングの全ての側面において限界を押し進めるインフラストラクチャを作成しています」と、スイス国立スーパーコンピューティングセンターのディレクターであるトーマス・シュルテスは、アルプススーパーコンピュータの作業について述べました。

TACCのエグゼクティブディレクターであるダン・スタンジオーネは、Vistaについて、「スタック全体で本当に印象的なエネルギー効率の向上があります」と述べました。

「本当に、これまで行ってきた種類のシステムから新しいGrace Arm CPUとHopper GPUの緊密に結びついた組み合わせを見るためのステップストーンです。Horizonを２、３年後に展開する際には、Vistaで展開しているものと比べて10倍から15倍のスケールアップを目指しています」と述べました。

量子ジャーニーの加速

研究者たちは、現在の加速システムを使用して明日のスーパーコンピュータへの道を開拓しています。

ドイツでは、「JUPITERは、気候、材料、薬物探索、量子コンピューティングのあらゆる分野で科学研究を革新します」と、クリステル・ミヒェルソン氏がジュリッヒの量子情報処理の研究グループを率いて語りました。

「JUPITERのアーキテクチャは、量子アルゴリズムと並列HPCアルゴリズムをシームレスに統合することも可能であり、これは効果的な量子HPCハイブリッドシミュレーションに必須です」と述べました。

CUDA Quantumによる進歩の推進

特別なアドレスでは、NVIDIA CUDA Quantum（CPU、GPU、および量子コンピュータをプログラミングするためのプラットフォームで、QPUsとも呼ばれています）が量子コンピューティングの研究を推進していることも示されました。

たとえば、世界最大の化学会社であるBASFの研究者たちは、有害な金属から人間を保護する化学物質のシミュレーションに新しいハイブリッドな量子・古典的メソッドを先駆的に開発しました。また、ブルックヘブン国立研究所とHPEの研究者たちは、CUDA Quantumによる科学のフロンティアを別々に押し進めています。

NVIDIAはまた、量子プログラミングツールの開発者であるClassiqとの協力を発表し、イスラエル最大の教育病院であるテルアビブ・ソウラスキー医療センターに生命科学の研究センターを創設します。このセンターでは、ClassiqのソフトウェアおよびCUDA QuantumがNVIDIA DGX H100システムで動作します。

別々に、Quantum Machinesは科学分野全体での進歩を促進するために、Israel National Quantum Centerに最初のNVIDIA DGX Quantumを導入する予定です。このシステムはGrace Hopper Superchipsを使用しており、Quantwareによって提供される超伝導QPUと、ORCA Computingによって提供されるフォトニックQPUによって接続されます。両方のQPUはCUDA Quantumで動作します。

バック（Buck）氏は、「わずか2年で、NVIDIAの量子計算プラットフォームはパートナーを120以上集め、そのオープンで革新的なプラットフォームの証です」と述べました。

様々な発見の分野を網羅するこの業務全体は、NVIDIAのフルスタックのイノベーションとデータセンタースケールでの加速コンピューティングを組み合わせた新しいトレンドを示しています。

彼は「加速コンピューティングは、驚異的な技術だけでなく、より持続可能で有益な未来をもたらす進歩を提供し、持続可能なコンピューティングへの道を開拓しています」と結論づけました。

NVIDIAのSC23特別声明を以下でご覧ください。

 

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!