Gradient Checkpointing、LoRA、およびQuantizationを使用して、単一のGPUにLLMをフィットさせてください

Gradient Checkpointing、LoRA、Quantizationを使って、単一のGPUにLLMをフィットさせてください

大規模な言語モデルの微調整を試みたことがある人は、GPUメモリを扱うのがいかに困難かを知っています。

「ランタイムエラー：CUDAエラー：メモリ不足」

このエラーメッセージは私の夜を悩ませています。

3B、7B、または13Bのパラメータモデルは大きく、微調整は時間がかかります。トレーニング中にメモリが不足すると、イライラする上にコストがかかることもあります。

しかし、心配しないでください、私が手助けします！

この記事では、次の3つのテクニックを使って、知っておく必要があるか、既に使っているかもしれない方法について説明します：Gradient Checkpointing、Low-Rank Adapters、およびQuantization

これらは、トレーニング中にメモリが不足するのを防ぎ、多くの時間を節約するのに役立ちます。

もしLLMの微調整に慣れていない場合は、私がBloom-3Bを「指輪物語」の本に対して微調整する過程を解説した記事があります。

個人データでLLMを微調整：「指輪物語」のストーリーテラーを作ろう

VoAGI.com

さあ、始めましょう！

Gradient Checkpointingは、ニューラルネットワークのトレーニング中に、最小限の層のみを保持するために動的計算を使用する技術です。

このプロセスを理解するためには、逆伝播がどのように行われ、プロセス全体でレイヤーがGPUメモリに保存されるかを理解する必要があります。

フォワード伝播とバックワード伝播は、ディープニューラルネットワークのトレーニングの2つのフェーズです。

フォワードパスでは、入力がベクトル化され（画像をピクセルに変換し、テキストを埋め込みに変換する）、各要素は線形積和と活性化の連続を通じてニューラルネットワーク全体で処理されます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

93 out of 132 found this helpful