「人工知能の炭素足跡」

AI's carbon footprint

人工知能（AI）の利用は、自動運転車を可能にするモデルから、ストリーミングやeコマースサイトでの推奨事項を提供するモデル、そしてより自然で直感的な人間と機械の相互作用を作り出すために使用される言語モデルまで、社会のあらゆる側面で明らかになっています。しかし、これらの技術的な成果にはコストが伴います。具体的には、AIアルゴリズムのトレーニングに必要な膨大な電力、これらのアルゴリズムが実行されるハードウェアの構築と運用、およびそのハードウェアの寿命全体を通じての動作と保守に必要な電力です。

電力のコストだけが影響を与えるわけではありません。化石燃料（および一部の地熱プロセス）を使用して電力を生成する従来の発電所は、太陽光や風力、または原子力発電所などの再生可能エネルギー源と比較して、比較的高い量の二酸化炭素（CO 2 ）を排出します。この排出されるCO 2 は環境に直接的な影響を及ぼします。（詳細はAndrew Chienのコラムを参照してください。）

トップに戻る

炭素フットプリントを定量化するのはなぜ困難なのか

すべてのソフトウェアには炭素フットプリントがありますが、大規模で複雑なAIモデルは重要な環境コストを持ち、ますます注目されています。AIアルゴリズムはAIデータセンターでトレーニングおよび実行されますが、これらのデータセンターは計算時間とグラフィックス処理ユニット（GPU）の種類（データ並列性、メモリ使用量、パフォーマンスレベルに基づいて異なるエネルギー消費量があります）に応じて、一定量のCO 2 排出量を負担します。また、電力の源、およびコンピュートインフラストラクチャの構築と展開に使用される電力の量も影響を与えます。アルゴリズムの開発や使用中に消費される電力と生成されるCO 2 に加えて、AIアルゴリズムが実行されるハードウェアとデータセンターに使用される地球からの原材料の抽出プロセス、このハードウェアを構築、組み立て、輸送、設置するために使用される製造プロセス、およびこのハードウェアが寿命を終えた後の廃棄物処理のコストが、AIアルゴリズムの総合的な炭素フットプリントに貢献します。

• コンピュータ支援証明が流体の流れに取り組む
• エネルギーフォレンジックスにおける高度なAIアルゴリズムの開発：消費パターンを通じたスマートグリッド盗難検出のためのTransformerモデルのPythonガイド
• 「健康経済学とアウトカム研究における数字の力の解放」

「AIの炭素フットプリントを考慮する最も安全な方法は、AIの炭素フットプリントを全体的なICT（情報通信技術）の炭素フットプリントの一部として考えることです。2020年時点で広く推定されているICTの炭素フットプリントは、1.8%〜2.8%です」と、国際的なテクノロジー研究およびアドバイザリーファームであるISGの主任コンサルタントであり、持続可能性リードであるマット・ワーバートン氏は述べています。彼は、2021年のPatternsの記事を参照し、AIの炭素フットプリントの他の推定値は、総温室効果ガス（GHG）排出量の2.1%〜3.9%の範囲に及ぶことも指摘しました。「その影響は、製造業や交通などのより汚染の多い産業と比較してわずかです」とワーバートン氏は述べています。米国環境保護庁（EPA）によると、2020年の総GHG排出量のうち、輸送（27%）と産業（24%）が重要な割合を占めていました（ http://bit.ly/3KNoWJl ）。

この総合的なアプローチでは、各個別のモデルの炭素フットプリントは考慮されません。これは、多くの大規模AIモデルのエネルギー消費に関する詳細なデータが不足しているため、正確に把握することが困難だからです。ただし、AIスタートアップのHugging Faceは、自社のAIモデルの炭素フットプリントを考慮に入れた論文（ http://bit.ly/3xJgnar ）を公開しました。この論文では、モデルの全生命サイクルで生じる排出物を考慮に入れて、単にトレーニング中に生じる排出物だけでなく、算出または推定された一連の変数（スーパーコンピュータでモデルをトレーニングするために使用されるエネルギー量、スーパーコンピュータのハードウェアの製造と計算インフラストラクチャの維持に必要なエネルギー、およびトレーニング後にBLOOMを実行するために必要なエネルギーなど）を計算しました。研究者たちは、18日間にわたってリアルタイムでBLOOMが生成したCO 2 の排出量を追跡するソフトウェアツールであるCodeCarbon（ https://codecarbon.io/ ）を使用して、最後の部分を計算しました。

Hugging Faceは、BLOOMのトレーニングによって25メトリックトンのCO 2 排出量が生じたと推定しました。これには、トレーニングに使用されるコンピューター装置の製造、より広範な計算インフラストラクチャ、およびBLOOMのトレーニング後に必要なエネルギーによって生じる排出物も含まれます。

AIモデルのトレーニング時間を短縮するために、より速くまたは効率的なハードウェアを使用することは可能ですが、トレーニングされるモデルの全体的なサイズと複雑さがCO2排出量に最も大きな影響を与えます。大きなモデルは一般的により複雑で、より多くの電力を消費するため、より小さなモデルよりも多くの電力を消費します。例えば、GPT-1（2018年6月）は約120億のパラメータを含み、GPT-2（2019年2月）は約150億のパラメータを含み、GPT-3（2020年5月）は約1750億のパラメータを含むため、複雑さが増すにつれて炭素の影響も増します。ただし、これらはいくつかの技術によって軽減することができます。

AIモデルのトレーニング時間を短縮するために、トレーニングされるAIモデルの全体的なサイズと複雑さがCO2排出量に最も大きな影響を与えます。

モデルに含まれる各パラメータのビット幅を減らすテクニックである圧縮は、モデルのサイズを減少させ、エネルギー消費量を減少させることができます。他の技術には、データの量子化と剪定（モデルから冗長なパラメータと接続子を削除するもの）、蒸留（大きなモデルの知識を使用して小さなモデルをトレーニングし、より効率的なモデルを作成するもの）、および転移学習（小さなモデルで使用される学習をオーバーレイして大きなモデルのトレーニングをスタートさせるもの）があります。これらのすべての技術はトレーニング時間を短縮し、消費される電力量を減らすことを目的としています。

CO2排出量の決定要因である最大の要素は電力の源です。Hugging FaceのBLOOMモデルは、主に原子力エネルギーで動作するフランスのスーパーコンピュータでトレーニングされました。原子力エネルギーは二酸化炭素の排出を引き起こしません。エネルギーグリッドが主に化石燃料に依存している地域でトレーニングされるモデルは、より多くの汚染物質を排出し、より大きな炭素の足跡を持つ可能性があります。例えば、OpenAIのGPT-3とMetaのOPTアルゴリズムは、トレーニング中にそれぞれ500トン以上および75トンの二酸化炭素を排出すると推定されています（ただし、GPT-3のはるかに高いCO2排出量は、古いより効率の低いハードウェアでトレーニングされたため、部分的に説明できます）。

他の研究者もAIモデルの比較的大きな炭素の足跡についての論文を発表しています。Allen Institute for AIとMicrosoftは、ヘブライ大学、カーネギーメロン大学、およびHugging Faceと共同で、Azure AIの運用における炭素排出量を測定しました。炭素排出量は、データセンターを動かすグリッドの炭素強度にクラウドワークロードのエネルギー消費を乗じることで算出されます。研究者たちは、60億パラメータの言語モデルが、アメリカの一般家庭が一年間に消費するCO2よりも多くのCO2を排出したことを発見しました。ただし、このモデルは完全なトレーニング容量に到達するために必要な時間の13％しかトレーニングされていません。モデルを完全にトレーニングする場合、Allen Institute for AIは、完全なトレーニングランを「桁違いに多くの排出物を出す」と推定しています。研究コミュニティと商業AI開発者は、持続可能性よりもパフォーマンスに重点を置いているため、いくつかの業界の観察者が懸念しています。

「AI開発者が新しいシステムを作成するとき、彼らはパフォーマンス、精度、またはモデルの機能性を向上させようとしており、効率にはあまり焦点を当てていません」とAllen Institute for AIの研究科学者であるJesse Dodge氏は語ります。「営利目的のAI研究開発会社から出てきた最近のモデルでは、意図的に透明性を欠いています。彼らはトレーニングに費やしたGPU時間やモデルのトレーニングについて一般に公表したくありません。それは彼らに競争上の優位性を提供するからです。」

Dodge氏は、AIの炭素の足跡を理解する上で最大の障害はこの透明性の欠如であり、彼はそれを克服するために何らかの透明性や排出物削減に関する法律が必要であると考えています。「それには少し時間がかかると思いますが、いずれ何らかの規制が出ることを期待しています」とDodge氏は述べています。「欧州のAI法案では、CO2排出に関する透明性の要件などの情報を含むことが検討されましたが、最終的な公表法案には盛り込まれませんでした。」

また、科学研究コミュニティ以外では、AIの炭素排出への影響についての一般的な認識の欠如が見られます。「AIをクラウド上で動いているこの非物質的なものとして見る人が多いと思います」とHugging Faceの研究科学者であるSasha Luccioni氏は語ります。「認知バイアスの側面もあると思います。’Siriには物理的な形がないので、環境への影響があるはずがない’という考え方です。」

Luccioni氏は、アルゴリズムの真の炭素足跡を評価する際の主要な困難を強調し、データサイエンティストの透明性の不透明性の他にも、GPUメーカーやデータセンターのハードウェアプロバイダー、およびそれらの部品サプライヤーなど、コンピューティングインフラストラクチャの供給業者がCO2排出の責任を転嫁する傾向があることを指摘しています。

“ハードウェアベンダーの人々と話をしたことがありますが、彼らは言います。「数千のサプライヤーが数百の製品を作っている」と。だから、彼らにとってはそれぞれを追跡して「持続可能性報告書はどこですか？」と言うことは本当に難しいのです。” とルチオーニは言います。

ドッジは、利益を追求するAI開発企業の透明性の欠如が、AIの炭素フットプリントを理解する上で最大の障害であると述べています。

AIモデルの炭素フットプリントを追跡または計算すること以上に、この記事の専門家たちは、AIが環境に与える影響を減らすために取るべき手段を考慮することがより重要だと合意しています。

ルチオーニは、紙上でモデルの炭素フットプリントを減らすのに役立つカーボンオフセットクレジットの購入は、実際には排出される炭素の量を本当に減らすわけではないと指摘し、「もし非常に炭素集約型のエネルギーセンターを使用してモデルを200万時間トレーニングし、その後再生可能エネルギークレジットを大量に購入しているなら、それはまったく同じではありません。」と述べています。

ウォーバートンは、モデルの構築とトレーニングの前に、AIモデルの最終目的と、持続可能性と公共の善に焦点を当てているかどうかを考慮するべきだと述べています。「AIの持続可能性を評価するには、それが生み出す結果の文脈で考慮する必要があります。」とウォーバートンは言います。「コンクリートの排出量を半減させる化学物質の発見を加速するAIは、妥協が許容されない範囲で明らかにより持続可能ですが、仮想通貨のマイニングにAIを使用することよりも持続可能です。」

ドッジも同様で、いくつかの石油大手企業がAIシステムを使用して石油の採掘率を上げていることを指摘しています。「効率良くトレーニングできるかもしれませんが」とドッジは言いますが、「それからAIを使って地中からより多くの石油を抽出するのであれば、それは長期的にはより多くの排出をもたらすことになります。」

実施しやすい解決策の一つは、低炭素密度の地域にあるクラウドサービスでアルゴリズムをトレーニングすることと、アルゴリズムで使用されるパラメータの数を適切に設定することです。ルチオーニは、彼女は、単に最もパワフルなデータセンターでモデルをトレーニングすることを選択するAI開発者もいると述べていますが、そのモデルには大きな炭素フットプリントがある必要はありません。これらのデータセンターの多くは、発電に化石燃料を大量に使用するアメリカや他の国にあり、その結果、大きな炭素フットプリントを持つモデルになります。

「現在、人々はトレーニングジョブを立ち上げるときにそれを考える必要はありません。」とルチオーニは言います。さらに、「アルゴリズムが大きければ大きいほど良いという研究もありますが、それは結論的なものではありません。10億のパラメータを追加することで正確さが1%向上するわけではありません。」

ドッジも同様に同意し、彼の研究では、モデルのトレーニングに使用される電力から計算されたCO 2 の排出量が多かったと述べています。「モデルのトレーニングを行う地域を選ぶことや、モデルを本番環境に配置することは、かなり大きな影響を与える可能性があります。」とドッジは言います。「最も炭素密度が低い地域でトレーニングすることは、最も炭素密度が高い地域と比較して、排出量を3分の2から3分の1に減らすことができます。」

さらなる読み物

ルチオーニ、A.S. et al. Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model. November 2022. https://arxiv.org/pdf/2211.02001.pdf

Frietag, C. et al. The real climate and transformative impact of ICT: A critique of estimates, trends, and regulations. Patterns , Volume 2, Issue 9, September 2021. https://www.sciencedirect.com/science/article/pii/S2666389921001884#!

Buchanan, W. and Dodge, J. Measuring and Mitigating Carbon Intensity Allen Institute for AI, June 13, 2022, https://bit.ly/3kiTLKZ

Video: チップ企業は炭素フットプリントよりも速度に重点を置いている：https://www.youtube.com/watch?v=2Z6Sv_ZldMM

トップに戻る

著者

Keith Kirkpatrickは、ニューヨーク、アメリカに拠点を置く4K Research & Consulting, LLCの主任です。

©2023 ACM 0001-0782/23/8

個人または教室での使用のために、この作品の一部または全部をデジタルまたは印刷物として複製することは、利益または商業上の利点を得るために複製物を作成または配布することなく、無料で許可されます。また、複製物にはこの通知と最初のページに完全な引用を表示する必要があります。ACM以外の所有者が所有するこの作品の構成要素の著作権は尊重されなければなりません。クレジットとともに抄録化は許可されています。それ以外の場合は、許可と/または料金を事前に要求する必要があります。許可を求めるには、[email protected] またはファックス (212) 869-0481 までお問い合わせください。

デジタルライブラリは、Association for Computing Machineryによって出版されています。Copyright © 2023 ACM, Inc.

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!