Meta AIとSamsungの研究者が、学習率適応のための2つの新しいAI手法、ProdigyとResettingを導入し、最先端のD-Adaptation手法の適応率を改善しました

Researchers from Meta AI and Samsung introduced two new AI methods, Prodigy and Resetting, for learning rate adaptation and improved the adaptation rate of the state-of-the-art D-Adaptation method.

現代の機械学習は、コンピュータビジョン、自然言語処理、強化学習など、さまざまな分野で難しい問題に効果的な解答を提供するために最適化に重点を置いています。迅速な収束と高品質のソリューションを達成する難しさは、選択された学習率に大きく依存しています。各自の最適化器を持つ多数のエージェントを持つアプリケーションでは、学習率の調整がより困難になっています。手作業で調整された最適化器はうまく機能しますが、これらの方法は通常、専門的なスキルと煩雑な作業を要求します。したがって、近年では、「パラメータフリー」の自適応学習率方法(D-Adaptationアプローチなど)が、学習率フリーの最適化のために人気を集めています。

サムスンAIセンターとMeta AIの研究チームは、D-Adaptation方法にProdigyとResettingと呼ばれる2つの独自の変更を導入し、D-Adaptation方法の最悪の非漸近収束率を改善し、より速い収束率と優れた最適化出力をもたらすようにしています。

著者は、自適応学習率方法を微調整することで、アルゴリズムの収束速度と解の品質性能を向上させるために、元の方法に2つの新しい変更を導入しています。解に対する距離を調整する方法に対する下限が確立され、提案された調整が検証されます。さらに、指数関数的に増加する反復回数に対して最悪のケースで定数倍の最適性を持つことが示され、拡張テストが実施され、増加したD-Adaptation方法が学習率を迅速に調整し、優れた収束率と最適化結果をもたらすことが示されています。

チームの革新的な戦略は、AdagradのようなステップサイズでD-Adaptationのエラー項目を微調整することです。主要なエラー項目を保持しながら、研究者は自信を持ってより大きなステップを踏み出すことができ、改善された方法はより速く収束します。ステップサイズの分母があまりにも大きくなると、アルゴリズムは遅くなります。したがって、彼らはグラデーションの隣に重みを追加します。

研究者は、提案された技術を使用して、凸ロジスティック回帰と深刻な学習課題を解決しました。複数の研究で、Prodigyは既知のどのアプローチよりも速い採用を示しました。リセットを使用したD-Adaptationは、Prodigyと同じ理論的なペースに到達し、ProdigyまたはD-Adaptationよりもはるかに単純な理論を使用します。さらに、提案された方法はしばしばD-Adaptationアルゴリズムを上回り、手動調整されたAdamと同等のテスト精度を達成できます。

最新の2つの提案された方法は、学習率適応の最新のD-adaptionアプローチを上回っています。広範な実験的証拠は、ウェイト付きのD-Adaptation変種であるProdigyが既存のアプローチよりも適応性が高いことを示しています。2番目の方法であるリセットを使用したD-Adaptationは、より複雑な理論よりもProdigyの理論ペースに合わせることができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「RAVENに会ってください:ATLASの制限に対処する検索強化型エンコーダーデコーダーランゲージモデル」

大規模言語モデル(LLM)は、自然言語処理(NLP)の分野における最近の進展において重要な役割を果たしています。これらのモ...

AIニュース

「ビルドの学び方 — Towards AI コミュニティ ニュースレター第2号」

「最近の数日間、OpenAIのドラマを追っていないと見逃しているよ信じられないことが起こったんだ多くの従業員がOpenAIの理事...

機械学習

このAI論文は、拡散モデルのコンセプトを自身の知識を使って消去するためのモデルの重みを微調整する新しい方法を提案しています

近年、優れた画像品質と無限の生成能力から、モダンなテキストから画像を生成するモデルが注目を集めています。これらのモデ...

AIニュース

オープンAIがインドに進出:現地チームの設立

名声高い人工知能(AI)企業OpenAIは、インドで力強い存在を確立するために重要な進展を遂げています。TechCrunchによれば、...

データサイエンス

公正を実現する:生成モデルにおけるバイアスの認識と解消

2021年、プリンストン大学の情報技術政策センターは、機械学習アルゴリズムが人間と同様の偏見を抱くことがあるという報告書...

機械学習

KPMGのジェネレーティブAIの未来への飛躍

驚くべき出来事の中で、コンサルティングと金融の世界は、生成型AIの台頭により、変革の旅を経験しています。ビッグフォーの...