「スクラッチからのPythonにおける最急降下法とニュートン法:比較」

Comparing gradient descent and Newton's method in Python from scratch

著者による画像

目次

  1. はじめに
  2. 問題の設定と最急降下法
  3. ニュートン法
  4. 実装
  5. 結論と最終的な比較

1. はじめに

前回の投稿では、最適化のための人気のある最急降下法を探求し、Pythonでゼロから実装しました:

Pythonでゼロから最急降下法アルゴリズムを実装する

目次

towardsdatascience.com

この記事では、ニュートン法を紹介し、ステップバイステップで実装しながら最急降下法と比較します。

2. 問題の設定と最急降下法

最適化は、目的関数 f(x) を最小化する変数の集合 x を見つけるプロセスです:

この問題を解決するために、座標空間で始点を選び、探索方向 p を通じて最小値のより良い近似に向かって反復的に移動します:

この式では:

  • x は入力変数です;
  • k は現在の反復回数です;
  • p は探索方向です;
  • α > 0 はステップサイズまたはステップ長です;方向 p にどれだけ移動するかを示します。

探索方向

最急降下法では、現在の反復 xₖ で評価される負の勾配 -∇f(xₖ) が探索方向 pₖ です:

最小値は停留点なので、勾配のノルムが与えられた許容誤差よりも小さい場合にアルゴリズムを停止するのは合理的です。

ステップサイズ

ステップサイズ α は理想的には次の目的関数 φ(α) の最小化器です:

ただし、この追加の最適化課題は実用的ではなく、高価です。その解決には、f(x)∇f(x) の多くの評価が必要です。不完全な線探索方法…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「アナコンダのCEO兼共同創業者、ピーターウォングによるインタビューシリーズ」

ピーター・ワンはAnacondaのCEO兼共同創設者ですAnaconda(以前はContinuum Analyticsとして知られる)を設立する前は、ピー...

人工知能

「Ntropyの共同創設者兼CEO、ナレ・ヴァルダニアンについて - インタビューシリーズ」

「Ntropyの共同創設者兼CEOであるナレ・ヴァルダニアンは、超人的な精度で100ミリ秒以下で金融取引を解析することを可能にす...

人工知能

「トリントの創設者兼CEO、ジェフ・コフマンへのインタビューシリーズ」

ジェフ・コーフマンは、ABC、CBS、CBCニュースで30年のキャリアを持った後、Trintの創設者兼CEOとなりましたジェフは手作業の...

人工知能

「クリス・サレンス氏、CentralReachのCEO - インタビューシリーズ」

クリス・サレンズはCentralReachの最高経営責任者であり、同社を率いて、自閉症や関連する障害を持つ人々のために優れたクラ...

人工知能

『ジュリエット・パウエル&アート・クライナー、The AI Dilemma – インタビューシリーズの著者』

『AIのジレンマ』は、ジュリエット・パウエルとアート・クライナーによって書かれましたジュリエット・パウエルは、著者であ...

人工知能

「Kognitosの創設者兼CEO、ビニー・ギル- インタビューシリーズ」

ビニー・ギルは、複数の役職と企業を横断する多様で幅広い業務経験を持っていますビニーは現在、Kognitosの創設者兼CEOであり...