最適化アルゴリズム：ニューラルネットワークの基礎101

美しさとファッションのエキスパートによる、最適化アルゴリズム：ニューラルネットワークの基礎101

バニラ勾配降下法を超えたトレーニングの改善方法

背景

前回の投稿では、ハイパーパラメータのチューニングを通じてニューラルネットワークのパフォーマンスを改善する方法について議論しました。

ハイパーパラメータチューニング: ニューラルネットワーク 101

ハイパーパラメータのチューニングによるニューラルネットワークの「学習」と「トレーニング」の改善方法

towardsdatascience.com

これは、学習率や隠れ層の数などの最適なハイパーパラメータを「調整」して、ネットワークのパフォーマンスを向上させるプロセスです。

• 『ブンブンの向こう側 産業における生成型AIの実用的な応用を探求する』
• 「リコメンデーションシステムにおける2つのタワーネットワークとネガティブサンプリング」
• 探索的データ分析：YouTubeチャンネルについての知識は何か（パート2）

残念ながら、大きな深層ニューラルネットワーク（ディープラーニング）では、このチューニングプロセスは非常に時間がかかります。従来の「バニラ」勾配降下法より速いオプティマイザを使用することで、これを改善する方法があります。本投稿では、最も人気のある最適化アルゴリズムと勾配降下法の変種について、トレーニングのスピードと収束性を向上させる方法を調査し、PyTorchで比較します！

この記事が気に入ったら、私のYouTubeチャンネルを購読してください！

コアデータサイエンスの概念をわかりやすく教えるビデオチュートリアルがあります！

イゴール・ハウエル

ロンドン在住のデータサイエンティスト。データサイエンスのチュートリアル、アドバイス、一般的な技術トピックを共有しています！

www.youtube.com

復習: 勾配降下法

さあ、勾配降下法とその理論の知識をさっと復習しましょう。

勾配降下法の目標は、パラメータの更新を行うために、損失関数に対するパラメータの勾配（偏微分）を引くことです。学習率αは、このプロセスを調整して、パラメータの更新が適切なスケールで行われ、最適値を過大または過小に更新しないようにします。

• θはモデルのパラメータです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!