「グリーンAIへの道：ディープラーニングモデルを製品化する際に効率的にする方法」

Efficient Ways to Commercialize Deep Learning Models for Green AI

The Kaggle Blueprints

学界から産業へ：機械学習の持続可能性のための予測性能と推論ランタイムの最適なトレードオフを見つける

この記事は、「2023 Kaggle AI Report」コンペティションへのエントリーとして、2023年7月5日にKaggleで最優秀賞を獲得したものです。Kaggleのコンペティションのライトアップをレビューする特別版「The Kaggle Blueprints」シリーズです。

はじめに

「巨大なモデルの時代は終わりに近づいていると思います。他の方法でモデルを改善していくでしょう」と、OpenAIのCEOであるSam Altmanは、GPT-4のリリース直後に述べました。この発言は多くの人々を驚かせました。なぜなら、GPT-4はその前身であるGPT-3（1750億パラメータ）よりも10倍大きい（1760兆パラメータ）と推定されているからです。

「巨大なモデルの時代は終わりに近づいていると思います。他の方法でモデルを改善していくでしょう。」— Sam Altman

2019年、Strubellら[1]の研究によると、自然言語処理（NLP）パイプラインのトレーニングと実験を含めた推定によると、約35トンの二酸化炭素相当物質が発生するとされています。これは、平均的なアメリカ市民の年間消費量の2倍以上です。

• 「生成型AI：CHATGPT、Dall-E、Midjourneyなどの背後にあるアイデア」
• ピクセルを説明的なラベルに変換する：TensorFlowを使ったマルチクラス画像分類のマスタリング
• 「Pythonデコレーターは開発者のエクスペリエンスをスーパーチャージします🚀」

さらに具体的に言えば、情報技術は2019年において、世界全体のCO2排出量の3.7%を生み出しました。これは、世界の航空（1.9%）と船舶（1.7%）の排出量を合わせたものよりも大きいです！

深層学習モデルは、さまざまな分野で最先端のパフォーマンスを実現しています。これらのパフォーマンスの向上は、しばしばより大きなモデルの結果です。しかし、より大きなモデルを構築するには、トレーニング段階と推論段階の両方でより多くの計算が必要です。さらに多くの計算は、より大きなハードウェアとより多くの電力を必要とし、それによってより多くのCO2を排出し、より大きな炭素フットプリントを残すことになります。これは環境にとって良くありません。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!