機械学習エンジニアリングチームの炭素排出量’ (Kikai Gakushū Enjiniaringu Chīmu no Tanso Hatsu shutsuryō)

美容・ファッションのエキスパートがお教えする！機械学習エンジニアリングチームの炭素排出量対策' (Biyō · Fasshon no Ekisupāto ga oshie suru! Kikai Gakushū Enjiniaringu Chīmu no Tanso Hatsu shutsuryō Taisaku)

本当に重要な開発の隠れたコスト

人間の活動による地球温暖化による気候危機は、誰もが認識しています。壊滅的な結果を防ぐためには、世界は温室効果ガスの排出量を大幅に削減する必要があります。多くの国が2050年までにネットゼロ排出を目標に設定しています[1]。

近年のAIの技術ブームは、その環境への影響についても懸念が高まっています。直接的な貢献だけを見ると、電力の使用による訓練とモデルの動力化がその費用として現れます。例えば、ChatGPT-3の1,750億パラメータの訓練には、驚異的な502トンの二酸化炭素当量排出（tCO2e）が発生しました[2]。新しい人気者であるLlama2も、その4つのモデルの訓練において同様の539 tCO2eを排出します[3]。これらのそれぞれは、ニューヨークからサンフランシスコへの片道フライトを500回行う際の排出量に相当します。

私は機械学習エンジニアリングチームで働いており、この問題にも常に注意を払っています。私たちは電力消費を通じてどれだけの二酸化炭素排出を引き起こしているのでしょうか？それを削減する方法はあるのでしょうか？そして、私たち自身によるカーボンアカウンティングの初めての試みが始まります。

方法

私たちの電力消費、そしてそれによる炭素への影響を正確に測定するための単一かつ直接的な方法はありません。それは、私たちが使用しているプラットフォームやサービスの多様性に起因しています。技術的な実装については詳しく触れませんが、高いレベルでは3つの方法で構成されています。

• AIブームがクラウドサービスに与える影響の調査
• ファインチューニングLLM パラメータ効率の改善 (PEFT) — LoRA および QLoRA — パート1
• (Juriya o ukeireru shoutaijou)

1. 提供されたデータ：正確な炭素排出量の数字は既に私たちのために計算されています。これはクラウドサービスプロバイダー（CSP）から提供されました。
2. ツール：Powermetrics、Nvidia-SMI、Turbostatなどのソフトウェアツールを使用して、私たちのノートパソコンやオンプレミスサーバーのCPUとGPUの計算に関わる電力を測定しました。
3. 自己計算：上記が不可能な場合は、代理方法を使用して計算します。これには、計算時間の記録、チップの利用率の推定、各チップタイプの熱設計電力（TDP）の把握などが含まれます。他のプラットフォームはこの方法で計算されます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!