「AWS 研究者がジェミニを紹介：大規模な深層学習トレーニングにおける画期的な高速障害回復」

「AWS 研究者がジェミニを紹介：大規模な深層学習トレーニングでの画期的な高速障害回復」

ライス大学とAmazon Web Servicesの研究者チームが、GEMINIと呼ばれる分散トレーニングシステムを開発しました。このシステムは、大規模な機械学習モデルのトレーニングにおける障害復旧を改善することを目指しています。このシステムは、チェックポイントにCPUメモリを使用することにより、高い可用性を確保し、トレーニングの妨げを最小限に抑えるという課題に取り組んでいます。GEMINIは既存の解決策に比べて大幅な改善を示しており、大規模なディープラーニングモデルのトレーニングにおける有望な進歩となっています。

GEMINIは、大規模モデルのトレーニングにおける障害復旧プロセスの改善を目指して分散トレーニングシステムを導入しました。以前の解決策は、帯域幅とストレージの制約によりチェックポイントの頻度とモデルの精度に影響を与えていました。しかし、PyTorchやTensorFlowなどのディープラーニングフレームワークが提供するチェックポイントインターフェースを使用しても、それらの制約が存在しました。GEMINIのアプローチは、チェックポイントの配置とトラフィックスケジュールを最適化することで、この分野での貴重な進歩となっています。

特に大規模なディープラーニングモデルのトレーニングは、その複雑さと時間の消費のために改善が必要であると認識されています。大規模モデルのトレーニングにおける障害復旧の現行の解決策は、リモートストレージの帯域幅の制約により、著しい障害復旧コストが発生します。GEMINIは、迅速な障害復旧を可能にする革新的なCPUメモリテクニックを導入しています。GEMINIの最適なチェックポイントの配置戦略とトラフィックスケジューリングアルゴリズムにより、既存の解決策よりも著しく速い障害復旧が実現されています。GEMINIは、ディープラーニングの研究領域において注目すべき貢献をしています。

• ミシガン大学の研究者は、AIの心理理論において新領域を開拓し、分類法と厳密な評価プロトコルを明らかにしました
• AIにおける事実性の向上 このAI研究は、より正確かつ反映性のある言語モデルを実現するためのセルフ-RAGを紹介します
• アップルの研究者が提案する「大規模な言語モデル強化学習ポリシー（LLaRP）」：体現された視覚的課題のために汎用的なポリシーとして機能するLLMをカスタマイズするためのAIアプローチ

GEMINIはDeep-Speed上に構築されており、分散トレーニングのためのZeRO-3設定が使用されます。GPUモデルの状態管理にはAmazon EC2 Auto Scaling Groupsが使用されています。チェックポイントはCPUメモリとリモートストレージに保存され、3時間ごとにチェックポイントが行われます。GEMINIは、ほぼ最適なチェックポイント配置戦略を採用し、干渉を減らすトラフィックスケジューリングアルゴリズムを使用しています。評価はNVIDIA GPU上で行われますが、AWS Trainiumなどの他のアクセラレータにも適用されます。

GEMINIは既存の解決策を13倍以上も上回る障害復旧の改善を実現しています。評価結果は、トレーニングスループットに影響を与えることなく、時間の浪費を減らす効果を証明しています。GEMINIの拡張性は、さまざまな障害頻度やトレーニングスケールにわたって示されており、大規模な分散トレーニングの可能性を示しています。GEMINIのトラフィック交錯アルゴリズムは、トレーニングスループットに肯定的な影響を与え、システムの効率をさらに向上させています。

大規模なモデルのトレーニングにおける障害復旧の既存の解決策は、リモートストレージの帯域幅の制約により、高いチェックポイントの頻度を設定することができず、著しい時間の浪費が生じています。この研究は、静的かつ同期的なトレーニングと固定の計算リソースに焦点を当てており、弾力的かつ非同期的なトレーニングメソッドを考慮していません。また、障害復旧以外の目的でチェックポイント履歴を保存するためのCPUメモリサイズの問題は、現在の研究では取り上げられていません。

GEMINIは、高速かつ信頼性のある障害復旧を提供する効率的でスケーラブルな分散トレーニングシステムです。CPUメモリへのチェックポイント保存と先進的な配置戦略により、高いチェックポイントの頻度を実現しています。これにより、トレーニングスループットに影響を与えることなく時間の浪費を減らすことができ、GPUクラスタ上の大規模な分散トレーニングに優れた解決策となっています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!