ハイパーパラメータ最適化のためのトップツール/プラットフォーム2023年

2023年のハイパーパラメータ最適化ツール/プラットフォーム

ハイパーパラメータは、モデルの作成時にアルゴリズムの振る舞いを制御するために使用されるパラメータです。これらの要因は通常のトレーニングでは見つけることができません。モデルをトレーニングする前に、それらを割り当てる必要があります。

最適なハイパーパラメータの組み合わせを選ぶプロセスは、機械学習におけるハイパーパラメータの最適化またはチューニングとして知られています。

タスクに応じて利点と欠点を持つ、いくつかの自動最適化方法があります。

• 「xTuringに会ってください：たった3行のコードで自分自身の大規模言語モデル（LLM）を作成できるオープンソースツール」
• NotebookLM グーグルの実験的なAIノートブック、学習と洞察のための向上したもの
• 「PolyLM（Polyglot Large Language Model）に会ってください：640BトークンでトレーニングされたオープンソースのマルチリンガルLLMで、2つのモデルサイズ1.7Bと13Bが利用可能です」

ディープラーニングモデルの複雑さとともに、ハイパーパラメータの最適化のためのツールの数も増えています。ハイパーパラメータの最適化（HPO）には、オープンソースのツールとクラウドコンピューティングリソースに依存したサービスの2つの種類のツールキットが一般的にあります。

以下に、MLモデルのハイパーパラメータ最適化に使用される主要なハイパーパラメータ最適化ライブラリとツールを示します。

ベイズ最適化

ベイジアン推論とガウス過程に基づいて構築されたPythonプログラムであるBayesianOptimisationは、ベイジアングローバル最適化を使用して、可能な限り少ない反復回数で未知の関数の最大値を見つけます。この方法は、探索と活用の適切なバランスを取ることが重要な高コスト関数の最適化に最適です。

GPyOpt

GPyOptは、ベイジアン最適化のためのPythonオープンソースパッケージです。ガウス過程モデリングのためのPythonフレームワークであるGPyを使用して構築されています。このライブラリは、ウェットラボの実験、モデルと機械学習手法の自動セットアップなどを作成します。

Hyperopt

Hyperoptは、条件付き、離散、および実数値の次元を含む検索空間上の直列および並列最適化に使用されるPythonモジュールです。ハイパーパラメータの最適化（モデル選択）を行いたいPythonユーザーに、並列化のための手法とインフラストラクチャを提供します。このライブラリでサポートされているベイジアン最適化の手法は、回帰木とガウス過程に基づいています。

Keras Tuner

Keras Tunerモジュールを使用すると、機械学習モデルの理想的なハイパーパラメータを見つけることができます。コンピュータビジョン向けの2つのプリビルドカスタマイズ可能なプログラムであるHyperResNetとHyperXceptionがライブラリに含まれています。

Metric Optimisation Engine (MOE)

Metric Optimisation Engine（MOE）は、最適な実験設計のためのオープンソースのブラックボックスベイジアングローバル最適化エンジンです。パラメータの評価に時間や費用がかかる場合、MOEはシステムのパラメータ最適化方法として有用です。A/Bテストを通じてシステムのクリックスルーや変換率を最大化したり、高コストのバッチジョブや機械学習予測手法のパラメータを調整したり、エンジニアリングシステムを設計したり、現実の実験の最適なパラメータを決定したりするなど、さまざまな問題に対応できます。

Optuna

Optunaは、機械学習に優れた自動ハイパーパラメータ最適化のためのソフトウェアフレームワークです。ハイパーパラメータの検索空間を動的に構築するための命令的な定義によるユーザAPIを提供します。このフレームワークは、プラットフォームに依存しないアーキテクチャ、シンプルな並列化、Pythonicな検索空間のための多くのライブラリを提供します。

Ray Tune

Ray Tuneは、ディープラーニングや強化学習などの時間のかかる活動に使用されるハイパーパラメータ最適化のためのフレームワークです。このフレームワークには、設定可能なトライアルバリエーションの作成、グリッドサーチ、ランダムサーチ、条件付きパラメータ分布、およびPopulation Based Training（PBT）、Median Stopping Rule、HyperBandなどの検索アルゴリズムのスケーラブルな実装など、さまざまなユーザーフレンドリーな機能があります。

SmartML

SmartMLは、メタラーニングに基づいた機械学習アルゴリズムの自動選択とハイパーパラメータ調整のためのシステムです。SmartMLは、新しいデータセットごとに最もパフォーマンスの高い手法を検索するために、メタフィーチャを即座に抽出し、知識ベースを検索します。提供されるREST APIを利用することで、任意のプログラミング言語に組み込むことができます。

SigOpt

SigOptは、ブラックボックスのハイパーパラメータ最適化ツールであり、モデルの調整を自動化して新しいモデルの作成を加速し、大規模なプロダクションでの効果を向上させることができます。SigOptは、任意のパラメータ空間を調査し利用するために組み込まれたベイジアンとグローバル最適化アルゴリズムの組み合わせにより、計算効率を向上させることができます。

Talos

Keras、TensorFlow、およびPyTorch用のハイパーパラメータ最適化フレームワークであるTalosがあります。このフレームワークは、モデルの評価とハイパーパラメータの調整を完全に自動化することによって、標準のKerasプロセスを変更します。Talosの優れた機能には、モデルの汎化評価、自動ハイパーパラメータ最適化、人間とマシンの協力最適化のサポートなどがあります。

mlmachine

mlmachineというPythonモジュールは、実験のライフサイクルのいくつかの重要なステップを実行し、整然としたノートブックベースの機械学習実験を可能にします。mlmachineを使用して、複数の推定器をBayesian Optimizationを使用してハイパーパラメータのチューニングを行うことができ、また、モデルのパフォーマンスやパラメータの選択肢を表示するためのツールも備えています。

SHERPA

PythonのSHERPAパッケージは、機械学習モデルのハイパーパラメータを微調整するために使用されます。ユーザーのニーズに合わせた並列計算や、探索的調査のためのライブダッシュボードといったハイパーパラメータ最適化技術の選択肢、機械学習研究者向けのハイパーパラメータ最適化を提供します。

Scikit-Optimize

非常に高価でノイズの多いブラックボックス関数を最小化するための迅速かつ効果的なライブラリであるSkoptがあります。Skoptは、いくつかの逐次モデルベース最適化手法を使用しています。Skoptは、さまざまな状況で簡単かつ便利に使用することを目指しています。Scikit-Optimizeは、scikit-learnパッケージで提供される機械学習（ML）アルゴリズムのパラメータの微調整を支援します。

NumPy、SciPy、およびScikit-Learnは、このライブラリの基盤です。

GPyOpt

GPyOptというプログラムは、ガウス過程を使用してブラックボックス関数を最適化（最小化）します。シェフィールド大学のマシンラーニンググループ（SITraN）がPythonを使用して実践しています。GPyOptの基盤は、ガウス過程をモデリングするためのPythonパッケージであるGPyです。スパースガウス過程モデルの使用により、巨大なデータセットを扱うことができます。

MicrosoftのNNI（Neural Network Intelligence）

Microsoftは、無料でオープンソースのAutoMLツールセットであるNNIを作成しました。このツールは、ハイパーパラメータの調整、モデルの圧縮、およびニューラルアーキテクチャの探索のために使用されます。調整アルゴリズムが作成した調整タスクを送信し、実行することで、さまざまなコンテキストで理想的なニューラルアーキテクチャと/またはハイパーパラメータを見つけます。

現時点では、MicrosoftのNNIはSckit-learn、XGBoost、CatBoost、LightGBMなどのライブラリ、およびPytorch、Tensorflow、Keras、Theano、Caffe2などのフレームワークをサポートしています。

GoogleのVizer

AI Platform Vizierというブラックボックス最適化サービスは、洗練された機械学習モデルのハイパーパラメータを微調整するために使用されます。ハイパーパラメータの調整は、モデルの出力を改善するだけでなく、関数のパラメータを調整するためにも成功裏に使用することができます。

Vizierは、研究設定を確立するために、結果とそれに影響を与えるハイパーパラメータを設定します。事前に設定された構成パラメータを使用して研究が作成され、結果を提供するためにテストが実行されます。

AWS Sage Maker

AWS Sage Makerは、完全に管理された機械学習サービスです。SageMakerを使用すると、簡単かつ迅速に機械学習モデルを構築できます。構築した後、すぐに本番用に準備されたホスト環境に展開することができます。

さらに、非常に大きなデータセットで効果的に動作するように設計された機械学習手法も提供しています。SageMakerは、独自のアルゴリズムとフレームワークをネイティブにサポートしており、特定のワークフローに対する柔軟な分散トレーニングソリューションも提供します。

Azure Machine Learning

Microsoftは、持続的に拡大するグローバルなデータセンターネットワークを利用してAzureを構築しました。Azureは、ユーザーがどの場所からでもサービスとアプリケーションを作成、起動、管理できるクラウドプラットフォームです。

Azure Machine Learningは、特定かつ最新のサービスであるデータサイエンスプラットフォームを提供しています。データの前処理からモデル構築、モデルの展開やメンテナンスまで、データサイエンスの全体の旅を1つのプラットフォームで網羅しています。コードファーストとローコードの両方のエクスペリエンスをサポートしています。コードをほとんどまたはまったく書きたくない場合は、Azure Machine Learning Studioを使用することを検討してください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!