CO2排出量と🤗ハブ：リーディング・ザ・チャージ

'CO2排出量とハブ：リーディング・ザ・チャージ'

CO2排出量とは何であり、なぜ重要なのか？

気候変動は私たちが直面している最大の課題の一つであり、二酸化炭素（CO2）などの温室効果ガスの排出削減はこの問題に取り組む上で重要な役割を果たします。

機械学習モデルのトレーニングとデプロイメントには、コンピューティングインフラストラクチャのエネルギー使用によりCO2が排出されます。GPUからストレージまで、すべてが機能するためにエネルギーを必要とし、その過程でCO2を排出します。

写真：最近のTransformerモデルとそのCO2排出量

• 教育のためのHugging Faceをご紹介します 🤗
• Habana GaudiでのTransformersの始め方
• KiliとHuggingFace AutoTrainを使用した意見分類

CO2の排出量は、実行時間、使用されるハードウェア、エネルギー源の炭素密度など、さまざまな要素に依存します。

以下に説明するツールを使用することで、自身の排出量を追跡および報告することができます（これは私たちのフィールド全体の透明性を向上させるために重要です！）また、モデルを選択する際にはそのCO2排出量に基づいて選択することができます。

Transformersを使用して自動的に自分のCO2排出量を計算する方法

始める前に、システムに最新バージョンのhuggingface_hubライブラリがインストールされていない場合は、以下を実行してください：

pip install huggingface_hub -U

Hugging Face Hubを使用して低炭素排出モデルを見つける方法

モデルがハブにアップロードされたことを考慮して、エコ意識を持ってハブ上のモデルを検索する方法はありますか？それには、huggingface_hubライブラリに新しい特別なパラメータemissions_thresholdがあります。最小または最大のグラム数を指定するだけで、その範囲内に含まれるすべてのモデルが検索されます。

たとえば、最大100グラムで作成されたすべてのモデルを検索できます：

from huggingface_hub import HfApi

api = HfApi()
models = api.list_models(emissions_thresholds=(None, 100), cardData=True)
len(models)
>>> 191

かなり多くありました！これにより、トレーニング中に通常のより少ない炭素を放出した小型モデルを見つけるのにも役立ちます。

しきりに近くで見てみると、しきりが私たちの閾値に合っていることがわかります：

model = models[0]
print(f'モデル名：{model.modelId}\nトレーニング中に発生したCO2：{model.cardData["co2_eq_emissions"]}')

>>> モデル名：esiebomajeremiah/autonlp-email-classification-657119381
    トレーニング中に発生したCO2：3.516233232503715

同様に、最小値を検索して、トレーニング中に多くのCO2を排出した非常に大きなモデルを見つけることもできます：

models = api.list_models(emissions_thresholds=(500, None), cardData=True)
len(models)
>>> 10

さて、これらのうちの1つがどれだけCO2を排出したかを見てみましょう：

model = models[0]
print(f'モデル名：{model.modelId}\nトレーニング中に発生したCO2：{model.cardData["co2_eq_emissions"]}')

>>> モデル名：Maltehb/aelaectra-danish-electra-small-cased
    トレーニング中に発生したCO2：4009.5

それはたくさんのCO2です！

ご覧のように、わずか数行のコードで環境に配慮し、使用したいモデルを素早く評価することができます！

Transformersを使用して炭素排出量を報告する方法

transformersを使用している場合、codecarbonの統合により、炭素排出量を自動的に追跡および報告することができます。マシンにcodecarbonをインストールしている場合、Trainerオブジェクトはトレーニング中にCodeCarbonCallbackを自動的に追加し、トレーニング中に炭素排出データを保存します。

したがって、次のようなものを実行すると…

from datasets import load_dataset
from transformers import AutoModelForSequenceClassification, AutoTokenizer, Trainer, TrainingArguments
​
ds = load_dataset("imdb")
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=2)
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
​
def tokenize_function(examples):
    return tokenizer(examples["text"], padding="max_length", truncation=True)
​
​
small_train_dataset = ds["train"].shuffle(seed=42).select(range(1000)).map(tokenize_function, batched=True)
small_eval_dataset = ds["test"].shuffle(seed=42).select(range(1000)).map(tokenize_function, batched=True)
​
​
training_args = TrainingArguments(
    "codecarbon-text-classification",
    num_train_epochs=4,
    push_to_hub=True
)
​
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset,
)
​
trainer.train()

…codecarbon-text-classification ディレクトリ内に emissions.csv という名前のファイルが作成されます。このファイルは、異なるトレーニング実行間の炭素排出量を追跡します。そして、準備ができたら、最終モデルをトレーニングするために使用した実行の炭素排出量を取得し、モデルカードに含めることができます。📝

モデルカードの上部にこのデータが含まれる例は以下の通りです：

co2_eq_emissions のメタデータ形式の詳細については、ハブのドキュメントを参照してください。

さらなる参考文献

• Rolnick et al. (2019) – Tackling Climate Change with Machine Learning
• Strubell et al. (2019) – Energy and Policy Considerations for Deep Learning in NLP
• Schwartz et al. (2020) – Green AI

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!