DLノート：勾配降下法

ステップサイズまたは学習率と正確な結果を得るために使用するエポック数の間には相互作用があります。

たとえば、以下に示すパラメトリック実験の結果を見てみましょう。これらの画像は、Mike X Cohen氏によるオンラインコース「A Deep Understanding of Deep Learning」から取得したもので、Deep LearningとPyTorchの使用に興味を持つ人に強くお勧めします。科学的なアプローチに従います。

この場合、Mikeは、学習率と学習エポック数を独立して変更した場合の勾配降下法の結果をテストする方法を示しました（異なる値のグリッド上での1つのパラメータの時間的な変更）。これらのパラメータがこの特定のケースにどのように結果に影響を与えるかを見ることができます。

関数の真のグローバル最小値は約-1.4です。学習率が小さい場合、その結果に収束するまでにより多くの学習エポックが必要であることがわかります。したがって、より大きな学習率を使用するだけで計算時間を短縮できるかのように思えます。

しかし、実際には、これは単純な収束速度の問題ではありません。

大きなステップサイズは、非常に遅い収束を引き起こしたり、アルゴリズムが収束しない（ずっと最小値の周りを振動する）ことを防いだり、発散の振る舞いを引き起こす可能性があります。

次の図は、異なる学習率が最適化の結果にどのように影響するかを示しています。ただし、アルゴリズムを同じ位置x = 2で初期化した場合です。

ここでは、大きなステップサイズが収束速度を向上させることが明らかですが、ある程度までです。

学習率を1桁増やすと、アルゴリズムが停滞することがあります。η = 1の場合の結果は、x = 2とx = -2の間を振動していることが左の図の青い水平線で示されています。

いくつかの場合では、大きなステップサイズが実際には結果を無限大に「射出」し、プログラムの数値オーバーフローを引き起こす可能性があります。

一方、小さすぎるステップサイズは非常に遅い収束または収束しない場合があります。

ニューラルネットワークのトレーニングのための勾配降下法

Deep Learningの文脈では、最適化しようとしている関数は損失関数Jです。トレーニングロスは、トレーニングデータセット全体の損失の平均として定義されます：

ただし、Dtrainはトレーニングデータセット中のサンプル数です。

したがって、次のアルゴリズムに基づいて勾配降下法を実装できます。これにより、一定のエポック数の間、トレーニングロスの重みに対する勾配を計算し、モデルの重みを更新します[2]

w = [0, ... ,0]    # 重みを初期化しますfor k = 1,..., num_epochs:       # 必要なイテレーション回数分くり返す  grad = ∇w TrainLoss(w)         # トレーニングロスの勾配   w[k] <-- w[k-1] - η * grad     # モデルの重みを更新します

上記の擬似コードで示される勾配降下法の問題は、速度が遅いことです。

数点と単純な関数のおもちゃの例ではうまく機能するかもしれませんが、ANNを開発し、訓練するために100万のデータポイントがあると想像してください。

勾配降下法を使用してモデルの重みを更新する場合、モデルの重みを1回更新するために訓練データのすべてのサンプルを参照する必要があります。収束するまで、繰り返し行います。エポックあたり1回の重みの更新。

この問題を克服するために、いわゆる確率的勾配降下法（Stochastic Gradient Descent）アルゴリズムを使用することができます。

確率的勾配降下法

「バニラ」勾配降下法の収束が遅い問題を克服するために、訓練セットの各サンプルを基にモデルの重みを更新することができます。利点は、すべてのサンプルをループするまでウェイトを更新する必要がないことです。

トレーニングロスの代わりに個々のサンプルごとに損失関数を使用するため、エポックごとにウェイトを複数回更新することができます。

これが確率的勾配降下法（SGD）アルゴリズムの見た目です。

w = [0, ... ,0]    # ウェイトの初期化for k = 1,..., num_epochs:       for (x, y) ∈ Dtrain:                 grad = ∇w J(x,y,w)                w[k] <--  w[k-1] - η(k) * grad 

ステップサイズはトレーニングのイテレーション回数に依存することに注意してください。アルゴリズムが収束するためには、イテレーション回数が進むにつれてΗが減少する必要があります。MIT 6.036の講義ノート [1]で、次の定理が述べられています。

定理4.1：Jが凸形であり、η(t)が次の条件を満たす場合、SGDは確率1で最適なθに収束する。

人々はトレーニングの進行に応じてηの値を減らすためにさまざまなアプローチを取ります。これはしばしば「アニーリング」と呼ばれます：

• 学習率をトレーニングエポックに比例して変更する（例：η(t) = 1/t）または特定の学習エポックに到達した後、それをより小さい値に設定する。この方法は良好な結果をもたらしますが、モデルパフォーマンスとは無関係です。これは「学習率の減衰」と呼ばれ、この問題を扱う業界の標準です。
• 損失関数の勾配に学習率を乗算する：この方法は問題に適応的であるため、良い結果をもたらしますが、注意深いスケーリングが必要です。これは勾配降下のRMSpropやAdamバリエーションに組み込まれています。
• 損失に学習率を乗算する：利点はこれも問題に適応的であることですが、スケーリングが必要です。

SGDは、データの一部のみを訪問した後でも良好なパフォーマンスを発揮する場合があります。これは比較的大きなデータセットに対して有用です。メモリ使用量を減らし、合計実行時間を「バニラ」勾配降下法の実装と比較して減らすことができます。

「バニラ」実装は、ウェイトを1回更新するために「バッチ」全体を実行する必要があるため、遅いと言えます。SGDは各サンプルで更新を行いますが、更新の品質は低くなります。ノイズのあるデータやANNでフィットさせようとしている非常に複雑な関数があるかもしれません。バッチサイズDtrainを使用することは遅くて正確ですが、サイズ1のバッチは速いですが少し精度が低いです。

その中間には「ミニバッチ」勾配降下法という用語があります。

ミニバッチ勾配降下法

データを同じサイズの小さなバッチに分割すると、それらのミニバッチごとに「バニラ」勾配降下法を実行することができます。

データを100個の小さな部分に分割するとします。データを100ステップで進めることができます。各ステップでは、現在のミニバッチに含まれるデータのトレーニングロスのみを見て、モデルパラメータを改善します。これを繰り返し、再びサイクルを開始するまで続けます。各サイクルはエポックとして知られていますが、最適化中のイテレーション数を指すため、以前は用語をもう少し適用範囲が広い意味で使用していました。

これの利点は、データセット全体を見るのではなく、各ミニバッチでモデルのパラメータを更新することです。私が「バニラ」勾配降下法と呼んでいる手法は、バッチ勾配降下法とも呼ばれ、バッチサイズはトレーニングデータセットの総サンプル数です。ミニバッチ勾配降下法では、ミニバッチのサイズは通常2の累乗です：32サンプル、64、128、256などです。

SGDは、ミニバッチサイズがトレーニングデータセットの1つの例にまで低下した場合の極端なケースです。

最適化プロセスでミニバッチ勾配降下法を使用するデメリットは、変動性のレベルを組み込んでしまうことです。すべてのステップが理想的なパラメータ値に近づくわけではないことが保証されていませんが、一般的な方向性は最小値に向かっています。

この方法は、非常に大きなデータセットを扱う際に、速度と精度の折り合いを選ぶための妥協点を見つけるため、業界の標準の一つです。

お読みいただきありがとうございます！この記事がおもしろく、いくつかの概念をクリアにするのに役立ったことを願っています。また、この記事の執筆時に使用した情報源を共有していますので、より深くてより形式的な資料を参照する場合にご興味があるかもしれません。

次回の投稿では、勾配降下法のより高度な手法（実際のアプリケーションで人々が使用する手法）や、トレーニング中にモデルの重みをどのように更新するかについて、バックプロパゲーションの使用方法について書きます。勾配降下法は全体のストーリーの一部に過ぎません。

その間に、以前の記事（Feedforward Artificial Neural Networksについて）をお読みいただくことに興味があるかもしれません。

Feedforward Artificial Neural Networks

基本的なコンセプトの説明

VoAGI.com

参考文献

[1] MIT Open Learning Library: 6.036 Introduction to Machine Learning. Chapter 6: Gradient Descent

[2] Standford Online: Artificial Intelligence & Machine Learning 4 — Stochastic Gradient Descent | Stanford CS221 (2021)

[3] オンラインコース深層学習の深い理解、Mike X Cohen (sincxpress.com)

[4] Standford Online: CS231 Convolutional Neural Networks for Visual Recognition

元の記事：https://www.makerluis.com、2023年11月4日に公開されました。