『ジェネラティブAIの電力消費の定量化』

『ジェネラティブAIの電力消費の定量化について』

2027年までに、スペインの消費にカザフスタンを合わせる？

更新日：2023年12月11日 – AMDの試算に基づいた販売の倍増を反映するために、付録の分析が改訂されました

生成AIにはグラフィックスプロセッシングユニット（GPU）が必要です-数多くのGPUが必要とされます。機械学習に関与する計算は、数十億のパラメータを持つ大規模なモデルを操作することを必要とし、それを効率的に処理するためには、GPUだけが提供できる数千の並列プロセッサを使用するのが最適な方法です。

前回このようなGPUコンピューティングパワーへの需要の急増が発生したのは、仮想通貨の領域でした。ビットコインは最初にGPUを使用してマイニングされ、その後専用のチップ（ASIC）が開発されました。一方、イーサリアムは鉱業プロセスを廃止するまで、大規模なGPUの倉庫を使用し続けました。イーサリアムは後にProof-of-Stake（PoS）と呼ばれる方法に移行しました。

• 『たった10行のコードで任意のGPUに適合するLLMを作成します』
• 「プロンプトチューニングとは何ですか？」
• 「2024年に注目すべきサイバーセキュリティAIのトレンド」

仮想通貨の場では、通貨の生成率が「難易度」と呼ばれる指標の上昇とともに変動するため、エネルギー消費量を定量化することが可能でした。最新の生成AIブームでは、そのような指標は利用できないため、難しさがあります。

生成AIインフラストラクチャは急速に成長しています

AIインフラストラクチャの購入が急速に成長していることについては、多くの事例証拠が存在しています。Elon MuskのX.AI社がNvidiaのGPUを1万台購入したという報告や、Inflection AIが(Nvidia) H100を22,000台保有するクラスタを構築したという報告があります。

Alex de Vriesの論文²による学術的な分析もあり、ニュース記事や企業の発表から得られた情報を組み合わせたボトムアップの手法を用いて、可能な消費電力を考慮しています。

GPUハードウェアの主要なベンダーは、間違いなくNvidiaであり、AMDとの競争が存在します。これらの企業はいずれも公開企業であり、四半期ごとに現在の販売状況を詳細に報告し、将来の予測を株主や一般の人々に伝える必要があります。

GPUが主力製品ではない企業の活動は目に見えにくく、Googleは独自のAIチップを製造しており、マイクロソフトも同様に動向を発表しています。ARMもこの方向性で動いており、競争する予定のスタートアップ企業も多数存在していますが、その規模は推測するしかありません。本分析からはこれらの企業を除外しました。

販売の予測を追う

チップの主要な製造業者であるNvidiaは、将来の需要を予測するために最も適していると言えるでしょう。彼らの販売予測は検証に値します。

Nvidiaは2023年5月の第1四半期の業績発表の中で、総収益が71.92億米ドル（うちデータセンターカテゴリが42.84億米ドル）であることを報告しました。これは非常に成功した四半期であり、同社はGenerative AIとOpenAIによる最近のChatGPTのリリースに大きく貢献したと述べました。彼らは2023年のフルイヤーにおけるデータセンターカテゴリへの売上高が150億米ドルに達すると予測し、これは株式市場を驚かせました。

これらの素晴らしい結果は、第2四半期において同カテゴリの売上高が103億米ドルに達し、第3四半期では145億米ドルにまで上昇したことでさらに拡大しました。同じ期間におけるAMDの結果は控えめであり、3つの四半期ごとに売上高が10億ドル程度でしたが、第4四半期にMI300の発売を予定しているため、この状況が変わることを期待しています。

以下の表はこれらの結果を要約し、第4四半期の推測によって2023年のフルイヤーには約500億ドル相当のGPUが販売されると推定されています — ChatGPTのリリース後の最初の年です。

将来を見据えると、Nvidiaの第1四半期の報告書プレゼンテーション(スライド42)では、AIエンタープライズソフトウェアの将来市場規模は年間1500億ドル（2023年の予測の10倍）と推定されています。この推定は、競合他社のAMDも2四半期の決算発表で裏付けられ、彼らは「AIアクセラレータの市場規模が2027年までに1500億ドルに達すると予想しています」と述べています。

上記の表には、2023年の500億ドルから2027年の予測の1500億ドルまでのドルベースの直線的な成長を示す行を追加しました。もし2023年末に購入されたハードウェアが2027年にまだ稼働していると仮定すると、この時点では、この2つの主要ベンダーによる生成AIで動作しているGPUのインストール基盤は総額5000億ドルに相当する費用がかかります。

それがエネルギーの使用にどのような影響を与えるか

5年間にわたって販売されるGPUは、さまざまな世代のハードウェアの組み合わせです。Nvidiaは2023年にH100カードの出荷を開始しました。彼らは2023年5月に新しいGrace Hopper（GH200）チップのサンプリングを行い、B100は2024年にいつかやってくるでしょう。同様に、AMDも同じ期間にInstinctプロセッサ（MI100、MI200、MI300）の全範囲を出荷します。

私たちのエネルギーの見積もりでは、5年間のGPU支出のすべてがNvidia H100と類似の特性を持つカードに費やされると仮定します。これは単純化された見積もりですが、ドルごとの処理能力と消費されたkWhあたりの処理能力は上昇するでしょうが、同じ金額が費やされ、似たような電力が消費されます。

H100カードの価格は33,000ドルですが、割引や需要が押し上げたり、下がったりする可能性があります。

H100のピーク消費電力は700 Wです。これらのデバイスの小規模クラスタのオペレータは、トレーニングと推論の間で負荷が移動するため、ピークと谷があります。しかし、販売の大部分はハイパースケーラーや大規模施設の運営者に行くため、研究⁶によれば、スケジューリングが良好な場合、これらのデバイスは常に最大容量（そして従って最大消費電力）の80％以上で運用されることがよくあります。

今度は次の単純な計算を行います：

US＄33,000のコスト価格でH100の1億ドルの支出 = 30,300台

30,300台* 0.7Kw *（365 * 24）時間 => 0.185テラワット時/年

1億ドルで30,300台のGPUを購入し、年間0.185テラワット時の電力を消費することができると結論付けることができます。

以下の表は、これらの消費電力の数値と、前述の販売予測を組み合わせたものです。

NvidiaとAMDによって販売されたGPUは、2023年末に年間9テラワット時を消費し、これは米国エネルギー情報庁の最新（2021年）の数字を使用したケニアの年間消費電力に相当します。2027年には、この数字は10倍に増え、2000万人の国、カザフスタンの消費量とほぼ同等になります。

ビットコインマイニングとの比較

比較のために、ケンブリッジビットコインインデックスウェブサイト⁴によると、ビットコインは2021年1月初旬にこのレベル（93TWh）の消費量に達しました。執筆時点（2023年12月）、ビットコインの消費量は156TWhに上昇し、これはこの数字のほぼ2倍になります。ビットコインマイナーは安価な電力を利用する強い動機を持っているため、彼らはしばしば「困難な立場」の地域を使用し、彼らの支持者は、これによって電力生産が環境への影響が少ないことが多いと主張しています。しかし、生成AIによって使用されるエネルギーの場合、それは当てはまりません。

多くの人々が、ビットコインマイニングによるこれほどの大量の電力使用は何の意味もなく、この活動から人類へのほとんどの利益はほとんどないと主張しています。一方、いくつかの研究では、生成的AIが労働者のパフォーマンスを最大40%向上させることが示唆されています。もしこれが本当だとすれば、多くの人々はこのエネルギー消費を非常に有意義と考えるかもしれません。

結論

我々は、生成的AIによる現在および将来の電力消費について非常に簡素な分析を採用しました。2023年には、生成的AIのためのGPUチップの販売が電力使用量の9 TWhに相当する可能性があります – ケニアの消費量に相当します。産業リーダーであるNvidiaとAMDの最良の販売予測が正しい場合、2027年までにこれはカザフスタンの消費量に相当する93 TWhへと上昇するでしょう。これは現在のビットコインマイニングの消費量の60%に過ぎません。生成的AIの利点はおそらくこのような消費量を正当化するでしょうが、これが本当にそうであることを保証するためには、このような大量のエネルギー消費の進展に注目することが重要です。

付録 – 2023年12月6日のAMD最新予測を含めた改訂版

人工知能の分野では、物事は長くは変わりません。2023年12月6日、AMDは『Advancing AI⁷』というイベントを開催し、彼らのMI300製品を発表しました。CEOのLisa Su博士は、AIアクセラレータの総需要市場（TAM）の以前の予測が控え目すぎたと述べ、この市場の成長率を年率70%以上にすべきだと決定しました。これにより、2027年までに売上高が4000億ドルにまで増加すると見込まれています。これは以前の見積もりの倍以上になります。私たちはこれらの新しい数字を使って同じ分析を繰り返し、結果を以下に示します。

GPUやその他のAIアクセラレータの累積販売は、今後の5年間で1兆ドルを超えると予測されています。

これを電力消費に換算すると、2027年までに208 TWhの電力消費が予測されています。これはスペインのような主要な国の電力消費に近いもので、スペインは世界でトップ20の経済国です。

AMDは電力効率に自信を持っており、彼らが発売する製品はNvidiaのH100と同等の電力を提供すると主張しています。これは状況を改善するかもしれませんが、総需要市場に展開されるチップはNvidia、AMD、Google、Microsoft、Amazon、Intelなどの製品の組み合わせになる可能性が高いため、最初の見積もりの基盤は変わりません。

参考文献

1. O’Dwyer, Karl J.、およびDavid Malone。「Bitcoin mining and its energy footprint」、25th IET Irish Signals & Systems Conference 2014および2014 China-Ireland International Conference on Information and Communications Technologies（ISSC 2014 / CIICT 2014）、2014年、280-285頁。
2. de Vries, A.（2023）。The growing energy footprint of artificial intelligence. Joule, 7(10), 2191–2194。
3. EIA米国エネルギー情報管理局国際エネルギーダッシュボード2017-2021、https://www.eia.gov/international/data/world/electricity/electricity-consumption?pd=2&p=0000002&u=0&f=A&v=mapbubble&a=-&i=none&vo=value&t=C&g=00000000000000000000000000000000000000000000000001&l=249-ruvvvvvfvtvnvv1vrvvvvfvvvvvvfvvvou20evvvvvvvvvvnvvvs0008&s=1609459200000&e=1609459200000&
4. University of Cambridge, Judge Business School, Cambridge Bitcoin Electricity Consumption Index, https://ccaf.io/cbnsi/cbeci
5. Somers, M, How generative AI can boost highly skilled workers’ productivity, MIT Sloan School of Management, https://mitsloan.mit.edu/ideas-made-to-matter/how-generative-ai-can-boost-highly-skilled-workers-productivity
6. Hu, Q., Sun, P., Yan, S., Wen, Y. and Zhang, T., 2021, November. Characterization and prediction of deep learning workloads in large-scale gpu datacenters. In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (pp. 1–15).
7. Tom’s Hardware、AMD Advancing AI Event Live Blog: Instinct MI300 Launch, Ryzen 8000 “Hawk Point” Expected, December 6th, 2023、https://www.tomshardware.com/live/news/amd-advancing-ai

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!