「グリーンAIへの道:ディープラーニングモデルを製品化する際に効率的にする方法」

Efficient Ways to Commercialize Deep Learning Models for Green AI

The Kaggle Blueprints

学界から産業へ:機械学習の持続可能性のための予測性能と推論ランタイムの最適なトレードオフを見つける

Making s’mEARTHs at the GPU bonfire (Image hand-drawn by the author)

この記事は、「2023 Kaggle AI Report」コンペティションへのエントリーとして、2023年7月5日にKaggleで最優秀賞を獲得したものです。Kaggleのコンペティションのライトアップをレビューする特別版「The Kaggle Blueprints」シリーズです。

はじめに

「巨大なモデルの時代は終わりに近づいていると思います。他の方法でモデルを改善していくでしょう」と、OpenAIのCEOであるSam Altmanは、GPT-4のリリース直後に述べました。この発言は多くの人々を驚かせました。なぜなら、GPT-4はその前身であるGPT-3(1750億パラメータ)よりも10倍大きい(1760兆パラメータ)と推定されているからです。

「巨大なモデルの時代は終わりに近づいていると思います。他の方法でモデルを改善していくでしょう。」— Sam Altman

2019年、Strubellら[1]の研究によると、自然言語処理(NLP)パイプラインのトレーニングと実験を含めた推定によると、約35トンの二酸化炭素相当物質が発生するとされています。これは、平均的なアメリカ市民の年間消費量の2倍以上です。

さらに具体的に言えば、情報技術は2019年において、世界全体のCO2排出量の3.7%を生み出しました。これは、世界の航空(1.9%)と船舶(1.7%)の排出量を合わせたものよりも大きいです!

深層学習モデルは、さまざまな分野で最先端のパフォーマンスを実現しています。これらのパフォーマンスの向上は、しばしばより大きなモデルの結果です。しかし、より大きなモデルを構築するには、トレーニング段階と推論段階の両方でより多くの計算が必要です。さらに多くの計算は、より大きなハードウェアとより多くの電力を必要とし、それによってより多くのCO2を排出し、より大きな炭素フットプリントを残すことになります。これは環境にとって良くありません。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

マイクロソフトの研究者たちは、FP8混合精度トレーニングフレームワークを公開しました:大規模な言語モデルのトレーニング効率を超高速化します

大型言語モデルは、言語生成と理解の能力において以前に類を見ない優れた能力を示しており、論理学、数学、物理学、他の領域...

人工知能

偉大さの開放:アレクサンダー大王の創造的AIとの旅 (Idai-sa no kaihō Arekusandā Taio no sōzō-teki AI to no tabi)

「生成型AI(GAI)はコーチングの効果を高めるためにどのように使用できるのか、また生成型AI(GAI)をコーチングツールとし...

データサイエンス

「データと人工知能を利用して、国連の持続可能な開発目標への進捗を追跡する」

「データコモンズは、SDGsへの進捗状況を追跡するために、国連とONEと協力しています」

人工知能

「Azureプロジェクト管理のナビゲーション:効率的な運用と展開についての深い探求」

「エキスパートのストラテジーを使用して、シームレスな操作と成功した展開に必要なキーワードを明らかにし、Microsoft Azure...

AI研究

「新しいAI研究は、3D構造に基づいたタンパク質表現学習のためのシンプルで効果的なエンコーダーを提案する」

細胞のエネルギーであるタンパク質は、材料や治療など、さまざまなアプリケーションに関与しています。タンパク質はアミノ酸...

機械学習

「AIセキュリティへの6つのステップ」

ChatGPTの登場に伴い、すべての企業がAI戦略を考えようとしており、その作業にはすぐにセキュリティの問題が浮かび上がります...