マイクロソフトの研究者たちは、FP8混合精度トレーニングフレームワークを公開しました：大規模な言語モデルのトレーニング効率を超高速化します

『マイクロソフト研究者がFP8混合精度トレーニングフレームワークを公開』

大型言語モデルは、言語生成と理解の能力において以前に類を見ない優れた能力を示しており、論理学、数学、物理学、他の領域の先進に道を開いています。ただし、LLMのトレーニングは非常に高額です。たとえば、540Bモデルをトレーニングするには、PaLMには6,144個のTPUv4チップが必要であり、GPT-3175Bは事前トレーニングに数千ペタフロップ/秒の計算が必要です。これは、特に次世代の非常に知的なモデルを拡大するために、LLMのトレーニングコストを低くする必要性を示しています。コストを節約するための最も有望なアプローチの1つは、低精度トレーニングです。このアプローチは、高速な処理、少ないメモリ使用量、最小限の通信オーバーヘッドを提供します。現在のほとんどのトレーニングシステム（Megatron-LM、MetaSeq、Colossal-AIなど）は、デフォルトでFP16/BF16のミックス精度またはFP32の完全精度を使用してLLMをトレーニングします。

大規模なモデルの場合、これは完全な精度を得るためのオプションですが、FP8はNvidia H100 GPUの登場により、次世代の低精度表現のデータ型として台頭しています。既存の16ビットと32ビットの浮動小数点ミックス精度トレーニングと比較して、FP8には理論的に2倍の高速化、50％から75％のメモリコスト削減、50％から75％の通信コスト削減の潜在能力があります。これらの結果は、次世代の基礎となるモデルのスケーリングに非常に有望です。残念ながら、FP8トレーニングへのサポートはもっと少なく、時間的に間隔のあるものが必要です。Nvidia Transformer Engineは唯一の実用的なフレームワークですが、GEMM計算にはFP8のみを使用し、マスターウェイトとグラデーションは極めて正確なFP16またはFP32のように維持します。これにより、エンドツーエンドのパフォーマンス向上、メモリの節約、および通信コストの節約は比較的少なくなり、FP8のフルポテンシャルは隠されてしまいます。

Microsoft AzureとMicrosoft Researchの研究者は、この問題を解決するためにLLMのトレーニングに非常に効率的なFP8ミックス精度フレームワークを提供しています。主なコンセプトは、ビッグモデルのトレーニングプロセス中に、計算、ストレージ、通信において低精度FP8を活用することです。これにより、以前のフレームワークと比較して、システム要件を大幅に削減することができます。より具体的には、彼らはFP8を使用して最適化ステージを3つ作成し、オプティマイザ、分散並列トレーニング、8ビットの集合通信を段階的に導入します。より大きな最適化レベルは、LLMのトレーニングプロセスでより多くのFP8が使用されたことを示しています。さらに、彼らのシステムはテンソル、パイプライン、およびシーケンスの並列性を含むFP8低ビット並列性を提供します。これにより、数千のGPUでトレーニングされたGPT-175Bなどの大規模なトレーニングが可能になり、次世代の低精度並列トレーニングの扉が開かれます。

• 「MIT研究者がLILOを導入：プログラム合成のための解釈可能なライブラリを学ぶための神経シンボリックフレームワーク」
• アマゾンの研究者がフォーチュナを紹介：ディープラーニングにおける不確実性量子化のためのAIライブラリ
• 「ハギングフェイスの研究者たちは、Distil-Whisperを紹介しました：高性能でリソースが限られた環境におけるギャップを埋めるコンパクトな音声認識モデル」

FP8を使用したLLMのトレーニングには、作業が必要です。データオーバーフローやアンダーフローなどの問題に起因する固有のダイバージェンスや数値不安定性などの問題が発生します。これらの問題に対処するために、彼らは2つの方法を提案しています。情報の損失を防ぐための自動スケーリングと、重み、勾配、およびオプティマイザーの状態などのパラメータにおけるデータ精度の影響を分離するための精度切り離しです。最初の方法は、非精度に敏感でないコンポーネントの精度を低下させ、テンソルのスケーリング係数の動的調整により、FP8データフォーマット表現範囲内の勾配値を保持することです。これにより、全体の通信中にアンダーフローやオーバーフローの発生が防止されます。

彼らは、検証のために監督付き微調整と事前トレーニングを含むGPTスタイルのモデルトレーニングに提案されたFP8低精度フレームワークを使用します。彼らのFP8手法をよく使用されるBF16ミックス精度トレーニングアプローチと比較すると、実験結果は、実メモリ使用量の27%〜42%の減少や、重み勾配通信オーバーヘッドの63%〜65%の著しい減少など、重要な改善を示しています。FP8でトレーニングされたモデルは、学習率や重み減衰などのハイパーパラメータの調整なしに、BF16の高精度を使用するモデルと同等の性能を示します。GPT-175Bモデルのトレーニングでは、彼らのFP8ミックス精度フレームワークがH100 GPUプラットフォーム上で21%少ないメモリを使用し、TEよりも17%短いトレーニング時間を節約することに注目すべきです。

図1： クラスター内のNvidia H100 GPU with 80G RAMを使用した場合に達成可能な最大モデルサイズの比較。当社のFP8混合精度トレーニング方法とより一般的なBF16方法を使用しています。

さらに重要なことは、Fig. 1に示すようにモデルのスケールが増加すると、低精度のFP8を使用することで得られるコスト削減をさらに向上させることができることです。事前学習されたLLMsをエンドタスクとユーザーの好みにより適合させるために、彼らは指示の微調整とヒューマンインプットによる強化学習にFP8混合精度を使用しています。特に、彼らは公開されているユーザー共有の指示に従うデータを使用して事前学習済みモデルを微調整します。彼らのFP8混合精度で調整されたモデルは、BF16の半精度を使用したモデルと比較して、AlpacaEvalとMT-Benchベンチマークで同様のパフォーマンスを発揮します。さらに、FP8混合精度はトレーニング中に多くのモデルをロードする必要があるRLHFにおいて非常に有望です。

人気のあるRLHFフレームワークであるAlpacaFarmは、トレーニング中にFP8を使用することで、モデルの重量を46%減少させ、オプティマイザの状態のメモリ使用量を62%削減することができます。これは、彼らのFP8低精度トレーニングアーキテクチャの柔軟性と適応性をより一層示しています。彼らが将来の世代のLLM向けのFP8低精度トレーニングの発展に貢献している内容は以下の通りです。• FP8による混合精度トレーニングのための新しいフレームワーク。このフレームワークは使いやすく、8ビットの重み、勾配、オプティマイザ、および分散トレーニングを段階的に解除します。現在の16/32ビット混合精度の代替として、ハイパーパラメータとトレーニングレシピを変更するだけで、この8ビットフレームワークに簡単に切り替えることができます。また、数行のコードで8ビット低精度トレーニングを可能にするPytorchの実装も提供しています。

新しいFP8トレーニングされたGPTスタイルモデル。彼らは提案されたFP8スキームの能力を、7Bから175Bパラメータのモデルに適用することで示しています。彼らは、テンソル、パイプライン、シーケンスの並列処理をFP8に対応させ、大規模な基礎モデルのトレーニングにFP8を使用することを可能にしています。最初のFP8 GPTトレーニングコードベースはMegatron-LMの実装に基づいており、一般に公開されています。彼らは、FP8フレームワークの導入が将来の世代の大規模な基礎モデル向けの低精度トレーニングシステムの新たな標準を提供すると予想しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!