このAI論文は、「パーシウス」という画期的なフレームワークを紹介していますこれにより、大規模な機械学習やAIモデルのトレーニング時のエネルギー浪費を最大30%削減することが可能です

「パーシウス」という画期的なフレームワークにより、AIモデルのトレーニング時のエネルギー浪費を最大30%削減!

大きな言語モデル(GPT-3など)は、トレーニングと推論中の計算ニーズにより、相当なエネルギーを必要とします。エネルギー使用量は、モデルのサイズ、タスクの複雑さ、ハードウェアの仕様、および運用時間などの要素によって大きく異なります。

これらのモデルのトレーニングには、高性能なGPUやTPUを使用するなど多くの計算リソースが必要とされ、長期にわたる相当なエネルギー消費を伴います。GPT-3のような大規模な言語モデルのトレーニングには、数日または数週間にわたる複数の家庭の消費電力に相当するエネルギーが使われるとの推定があります。

エネルギー消費の最適化は重要であり、モデルの効率を損なうことなく行われる必要があります。研究者は、大規模な言語モデルのトレーニングにおいてスループットの喪失を伴わない削減可能なエネルギー消費を目指しています。各パイプラインの計算量の問題は、分散実行計画において重要な問題です。ディープニューラルネットワーク(DNN)は、計算量が異なる粗粒度のテンソル操作ですので、すべてのステージをバランス良く調整するのは不可能です。

ミシガン大学とワシントン大学の研究者たちは、トレーニング中に消費されるエネルギーのすべてが直接エンドツーエンドのトレーニングスループットに貢献するわけではなく、トレーニングを遅くすることなく大幅に削減できることを発見しました。彼らはエネルギーの膨張の内的および外的な要因を発見し、Perseusという単一の最適化フレームワークを提案しています。

内的なエネルギーパフォーマンスの喪失は、計算の不均衡性によるものであり、外的なエネルギーパフォーマンスの喪失は、複数のパイプラインが並列で実行され、大量のデータセットでトレーニングをスケールアウトさせるためのものです。遅れているパイプラインよりも早く実行されるパイプラインは速く、全体のトレーニングスループットに影響を与えないエネルギーを無駄に消費します。

Perseusは、通常の運用条件下で内的なエネルギーパフォーマンスの喪失を最小限に抑えるため、イテレーション全体の時間エネルギーを効率的に事前特性化します。さらに、エネルギーを効率的に削減することにより、外的なエネルギーパフォーマンスの喪失を緩和します。非遅れているパイプラインにおいて適切なイテレーションタイミングを見つけることで、パイプライン内の計算を正確に遅くすることができます。

研究者は、ハイブリッド並列処理で大規模なモデルのトレーニングを行い、さまざまな強いスケーリング構成で遅れるパイプラインをシミュレーションしました。エネルギーパフォーマンスの喪失量とPerseusの外的なエネルギー節約を測定しました。他の非遅れるパイプラインは、遅れるパイプラインの計算が完了するまで待つため、外的なエネルギーパフォーマンスの喪失が生じます。各パイプラインイテレーションの開始と終了時にマイクロバッチの数やパイプラインバブルの比率を減らすことで、内的なエネルギーパフォーマンスの喪失を除去し、エネルギーを削減します。

Perseusをトレーニングワークフローに統合することは、AIの開発の将来に強い影響を与える可能性があります。彼らの研究は、LLM(Large Language Models)とGenAIの普及における分散トレーニングの持続可能性を大幅に向上させる可能性があります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「ClimSimに出会ってください:機械学習と気候研究の物理学を結びつける画期的なマルチスケール気候シミュレーションデータセット」

数値物理シミュレーション予測は、気候変動政策の指針となる情報の主要な源です。最も高性能なスーパーコンピュータの限界に...

機械学習

印象的なパフォーマンス:TensorRT-LLMを使用したRTXで最大4倍高速化された大規模言語モデル(LLM) for Windows

Generative AIは、個人コンピューティングの歴史で最も重要なトレンドの一つであり、ゲーミング、創造性、ビデオ、生産性、開...

AIニュース

「マイクロソフト、Windows上でのCortanaの終了を発表」

マイクロソフトは重要な動きとして、WindowsでのCortanaのサポート終了を宣言しました。この発表は、Windows Centralによって...

AI研究

「CMUの研究者がBUTD-DETRを導入:言語発話に直接依存し、発話で言及されるすべてのオブジェクトを検出する人工知能(AI)モデル」

画像内のすべての「オブジェクト」を見つけることは、コンピュータビジョンの基礎です。カテゴリの語彙を作成し、この語彙の...

データサイエンス

LLMs (Language Models)による電子メール効率化の次なるフロンティア

紹介 人工知能(AI)は、特に大規模な言語モデル(LLM)の台頭のおかげで、過去数年間で大きく成長しました。豊富な人間の言...

データサイエンス

「木々の中の森を見る:データ保存は鋭い目から始まる」

「成功したデータ保存戦略の開始は、細心の観察と詳細への確固たる焦点にかかっています」