「GPT-4の炭素フットプリント」
GPT-4の炭素フットプリント
最近のリーク情報により、初めてOpenAIのGPT-4のトレーニングによる炭素排出量を推定することが可能になりました
最近のニュースによると、世界の平均気温が上昇し続けていることが警告されています[1]。これにより、私たちが地球温暖化やその他の気候変動に貢献している炭素排出量を持つ活動の多くを思い出すことが重要です。これは一般的なデジタル技術やAIにも当てはまります。この記事は、OpenAIの大規模言語モデルGPT-4のトレーニングにおける炭素排出量を推定することで、そのことを再確認するものです。
このような推定を行うためには、以下の情報が必要です：
- GPT-4のトレーニングに使用された電力量
- 電力の炭素排出量、つまり1 KWhの電力を生成するのに必要な炭素排出量
さあ、始めましょう。
私の紹介リンクでVoAGIに参加してください – Kasper Groes Albin Ludvigsen
VoAGIメンバーとして、あなたの会費の一部があなたが読んでいる作家に寄付され、すべてのストーリーに完全アクセスできます…
kaspergroesludvigsen.medium.com
GPT-4の電力消費量
まず、GPT-4のエネルギー消費量を見積もりましょう。未検証の情報リークによると、GPT-4は約25,000のNvidia A100 GPUsを90〜100日間にわたってトレーニングしていたとされています[2]。
ここで、各々8つのGPUをホストできるNvidia HGXサーバーにGPUが搭載されていると仮定しましょう。つまり、25,000 / 8 = 3,125台のサーバーが必要でした。
この情報から電力消費量を計算するには、Nvidia HGXサーバーの熱設計電力（TDP）を知る必要があります。
残念ながら、Nvidiaはこの情報を公開していないため、代わりに類似のNvidia DGXサーバーのTDPを使用しましょう。それは6.5 kWです[3]。したがって、Nvidia DGXサーバーが1時間フルパワーで稼働した場合、6.5 KWh消費されることになります。
GPT-4のトレーニングには90〜100日かかったと推定されています。つまり、1つのサーバーあたり2,160〜2,600時間かかります。それを6.5 kWで乗じると、各サーバーがトレーニング中に14,040〜16,900 KWhの電力を消費した可能性があります。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
