Meta AIとSamsungの研究者が、学習率適応のための2つの新しいAI手法、ProdigyとResettingを導入し、最先端のD-Adaptation手法の適応率を改善しました

Researchers from Meta AI and Samsung introduced two new AI methods, Prodigy and Resetting, for learning rate adaptation and improved the adaptation rate of the state-of-the-art D-Adaptation method.

現代の機械学習は、コンピュータビジョン、自然言語処理、強化学習など、さまざまな分野で難しい問題に効果的な解答を提供するために最適化に重点を置いています。迅速な収束と高品質のソリューションを達成する難しさは、選択された学習率に大きく依存しています。各自の最適化器を持つ多数のエージェントを持つアプリケーションでは、学習率の調整がより困難になっています。手作業で調整された最適化器はうまく機能しますが、これらの方法は通常、専門的なスキルと煩雑な作業を要求します。したがって、近年では、「パラメータフリー」の自適応学習率方法(D-Adaptationアプローチなど)が、学習率フリーの最適化のために人気を集めています。

サムスンAIセンターとMeta AIの研究チームは、D-Adaptation方法にProdigyとResettingと呼ばれる2つの独自の変更を導入し、D-Adaptation方法の最悪の非漸近収束率を改善し、より速い収束率と優れた最適化出力をもたらすようにしています。

著者は、自適応学習率方法を微調整することで、アルゴリズムの収束速度と解の品質性能を向上させるために、元の方法に2つの新しい変更を導入しています。解に対する距離を調整する方法に対する下限が確立され、提案された調整が検証されます。さらに、指数関数的に増加する反復回数に対して最悪のケースで定数倍の最適性を持つことが示され、拡張テストが実施され、増加したD-Adaptation方法が学習率を迅速に調整し、優れた収束率と最適化結果をもたらすことが示されています。

チームの革新的な戦略は、AdagradのようなステップサイズでD-Adaptationのエラー項目を微調整することです。主要なエラー項目を保持しながら、研究者は自信を持ってより大きなステップを踏み出すことができ、改善された方法はより速く収束します。ステップサイズの分母があまりにも大きくなると、アルゴリズムは遅くなります。したがって、彼らはグラデーションの隣に重みを追加します。

研究者は、提案された技術を使用して、凸ロジスティック回帰と深刻な学習課題を解決しました。複数の研究で、Prodigyは既知のどのアプローチよりも速い採用を示しました。リセットを使用したD-Adaptationは、Prodigyと同じ理論的なペースに到達し、ProdigyまたはD-Adaptationよりもはるかに単純な理論を使用します。さらに、提案された方法はしばしばD-Adaptationアルゴリズムを上回り、手動調整されたAdamと同等のテスト精度を達成できます。

最新の2つの提案された方法は、学習率適応の最新のD-adaptionアプローチを上回っています。広範な実験的証拠は、ウェイト付きのD-Adaptation変種であるProdigyが既存のアプローチよりも適応性が高いことを示しています。2番目の方法であるリセットを使用したD-Adaptationは、より複雑な理論よりもProdigyの理論ペースに合わせることができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「Pyroを使ったベイジアンABテスト」

この記事は、Pythonの確率プログラミング言語(PPL)であるPyroを使用したABテストの入門ですこれはPyMCの代替手段ですこの記...

AIニュース

「AIが歴史学者たちに過去をより良く理解する手助けをしている方法」

明日の歴史家たちはコンピューターサイエンスを利用して、何世紀も前の人々がどのように生活していたかを分析しています

機械学習

「機械学習が間違いを comitte たとき、それはどういう意味ですか?」

「ML/AIに関する議論で、私たちの通常の「ミステイク(間違い)」の定義は意味をなすでしょうか?もしそうでない場合、なぜで...

データサイエンス

「OpenAIの研究者たちは、敵対的なトレーニングを行わずに高品質なデータサンプリングのための先進的なコンシステンシーモデルを開拓しました」

一貫性モデルは、敵対的なトレーニングに頼らずに、単一のステップで高品質のデータを生成するために設計された生成モデルの...

データサイエンス

BERTopicを使用したクラスごとのトピック

「私たちには何十万ものテキストがありますそれらをすべて読んで洞察を得るには数年かかるでしょう幸いなことに、このプロセ...

機械学習

このAIツールは、AIが画像を「見る」方法と、なぜアストロノートをシャベルと間違える可能性があるのかを説明します

人工知能(AI)が近年大きな進歩を遂げ、驚異的な成果と突破的な成果をもたらしていることは広く認識されています。ただし、A...