「グリーンAIへの道:ディープラーニングモデルを製品化する際に効率的にする方法」

Efficient Ways to Commercialize Deep Learning Models for Green AI

The Kaggle Blueprints

学界から産業へ:機械学習の持続可能性のための予測性能と推論ランタイムの最適なトレードオフを見つける

Making s’mEARTHs at the GPU bonfire (Image hand-drawn by the author)

この記事は、「2023 Kaggle AI Report」コンペティションへのエントリーとして、2023年7月5日にKaggleで最優秀賞を獲得したものです。Kaggleのコンペティションのライトアップをレビューする特別版「The Kaggle Blueprints」シリーズです。

はじめに

「巨大なモデルの時代は終わりに近づいていると思います。他の方法でモデルを改善していくでしょう」と、OpenAIのCEOであるSam Altmanは、GPT-4のリリース直後に述べました。この発言は多くの人々を驚かせました。なぜなら、GPT-4はその前身であるGPT-3(1750億パラメータ)よりも10倍大きい(1760兆パラメータ)と推定されているからです。

「巨大なモデルの時代は終わりに近づいていると思います。他の方法でモデルを改善していくでしょう。」— Sam Altman

2019年、Strubellら[1]の研究によると、自然言語処理(NLP)パイプラインのトレーニングと実験を含めた推定によると、約35トンの二酸化炭素相当物質が発生するとされています。これは、平均的なアメリカ市民の年間消費量の2倍以上です。

さらに具体的に言えば、情報技術は2019年において、世界全体のCO2排出量の3.7%を生み出しました。これは、世界の航空(1.9%)と船舶(1.7%)の排出量を合わせたものよりも大きいです!

深層学習モデルは、さまざまな分野で最先端のパフォーマンスを実現しています。これらのパフォーマンスの向上は、しばしばより大きなモデルの結果です。しかし、より大きなモデルを構築するには、トレーニング段階と推論段階の両方でより多くの計算が必要です。さらに多くの計算は、より大きなハードウェアとより多くの電力を必要とし、それによってより多くのCO2を排出し、より大きな炭素フットプリントを残すことになります。これは環境にとって良くありません。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「人工知能の暗黒面」

この記事では、AIを恐れるべきなのか、あるいは有名人からの警告は根拠がないのかという問いについて探っています

機械学習

PyTorch LSTM — 入力、隠れ状態、セル状態、および出力の形状

「PyTorchでは、LSTM(nn.LSTM()を使用)を使用するために、入力時系列を表すテンソル、隠れ状態ベクトル、セル状態ベクトル...

AI研究

「ジョンズ・ホプキンス大学の研究者たちは、がんに関連するタンパク質フラグメントを正確に予測することができる深層学習技術を開発しました」

ジョンズ・ホプキンス大学のエンジニアとがん研究者は、最先端の深層学習技術を駆使して、個別のがん治療における画期的な突...

人工知能

フロントエンド開発のトレンド

最先端の進歩や最高水準のイノベーションが、現在ウェブ開発の世界を形作っている様子について、私たちと一緒に深く掘り下げ...

人工知能

AI/MLを活用した観測性の向上

「AIOpsの世界でのパフォーマンス分析の変革について詳しく学び、AI/MLとAIOpsの融合が観測性の新時代をもたらした方法につい...

AI研究

インテルの研究者たちは、CPU上でLLMs(Large Language Models)をより効率的に展開するための新しい人工知能のアプローチを提案しています

大型言語モデル(LLM)は、その驚異的なパフォーマンスと多様なタスクでの潜在能力により、世界中で話題となっています。テキ...