「スクラッチからのPythonにおける最急降下法とニュートン法:比較」

Comparing gradient descent and Newton's method in Python from scratch

著者による画像

目次

  1. はじめに
  2. 問題の設定と最急降下法
  3. ニュートン法
  4. 実装
  5. 結論と最終的な比較

1. はじめに

前回の投稿では、最適化のための人気のある最急降下法を探求し、Pythonでゼロから実装しました:

Pythonでゼロから最急降下法アルゴリズムを実装する

目次

towardsdatascience.com

この記事では、ニュートン法を紹介し、ステップバイステップで実装しながら最急降下法と比較します。

2. 問題の設定と最急降下法

最適化は、目的関数 f(x) を最小化する変数の集合 x を見つけるプロセスです:

この問題を解決するために、座標空間で始点を選び、探索方向 p を通じて最小値のより良い近似に向かって反復的に移動します:

この式では:

  • x は入力変数です;
  • k は現在の反復回数です;
  • p は探索方向です;
  • α > 0 はステップサイズまたはステップ長です;方向 p にどれだけ移動するかを示します。

探索方向

最急降下法では、現在の反復 xₖ で評価される負の勾配 -∇f(xₖ) が探索方向 pₖ です:

最小値は停留点なので、勾配のノルムが与えられた許容誤差よりも小さい場合にアルゴリズムを停止するのは合理的です。

ステップサイズ

ステップサイズ α は理想的には次の目的関数 φ(α) の最小化器です:

ただし、この追加の最適化課題は実用的ではなく、高価です。その解決には、f(x)∇f(x) の多くの評価が必要です。不完全な線探索方法…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「2023年にデータサイエンスFAANGの仕事をゲットする方法は?」

データサイエンスは非常に求められる分野となり、FAANG(Facebook、Amazon、Apple、Netflix、Google)企業での就職は大きな成...

人工知能

ムーバブルインクのCEO兼共同創設者であるヴィヴェク・シャルマ氏についてのインタビュー・シリーズ

ビヴェクは2010年にムーバブルインクを共同設立し、急速な成長を遂げながら、600人以上の従業員を擁し、世界有数の革新的なブ...

人工知能

「パクストンAIの共同創業者兼CEO、タングイ・シャウ - インタビューシリーズ」

タングイ・ショウは、Paxton AIの共同創設者兼CEOであり、法的研究と起草の負担を軽減するためにGenerative AIを使用するプラ...

人工知能

「シフトのCEOであるクリス・ナーゲル – インタビューシリーズ」

クリスはSiftの最高経営責任者です彼は、Ping Identityを含むベンチャー支援および公開SaaS企業のシニアリーダーシップポジシ...

人工知能

ディープAIの共同創業者兼CEO、ケビン・バラゴナ氏- インタビューシリーズ

ディープAIの創設者であるケビン・バラゴナは、10年以上の経験を持つプロのソフトウェアエンジニア兼製品開発者です彼の目標...

人工知能

アーティスの創設者兼CEO、ウィリアム・ウーによるインタビューシリーズ

ウィリアム・ウーは、Artisseの創設者兼CEOであり、ユーザーの好みに基づいて写真を精密に変更する技術を提供していますそれ...