「理論から実践までの勾配ブースティング(パート1)」

Gradient Boosting from Theory to Practice (Part 1)

Jens Lelieによる写真(Unsplash)

勾配ブースティングは、ブースティング勾配降下法の組み合わせに基づく広く使用される機械学習技術です。

ブースティングは、複数の弱学習器(またはベース学習器)を組み合わせて強力な予測モデルを作成するアンサンブル法です。ベースモデルは順次訓練され、各モデルは前のモデルの誤りを修正することに焦点を当てています。

勾配ブースティングでは、各ベースモデルは前のモデルの予測に関する損失関数の負の勾配を予測するように訓練されます。その結果、新たに訓練されたベース学習器をアンサンブルに追加することで、損失の最小値への最も急な降下方向にステップが進みます。このプロセスは勾配降下法に似ていますが、パラメータ空間ではなく関数空間で操作されます。そのため、これは関数勾配降下法として知られています。

弱学習器が決定木である場合、その結果得られる手法は勾配ブースティング決定木(GBDT)または勾配ブースティングマシン(GBM)として知られています。

勾配ブースティングは、構造化データに対処するための現在の最高のアルゴリズムの一つであり、多くの標準的な分類ベンチマークで最先端の結果を提供します。深層学習と並んで、Kaggleコンテストなどで最も一般的に使用されるアルゴリズムの一つです。

勾配ブースティングアルゴリズムは、2001年にJerome Freidmanによって最初に開発されました[1]。その後、XGBoost、CatBoost、LightGBMなどのアルゴリズムのファミリーに拡張されました。これらのアルゴリズムのバリエーションには、勾配ブースティングのパフォーマンスとスケーラビリティをさらに向上させるさまざまな改良が組み込まれています。

この記事では、勾配ブースティングの理論と実装について詳しく説明します。記事の最初の部分では、勾配ブースティングの理論的な概念に焦点を当て、疑似コードでアルゴリズムを示し、モデルを正則化するさまざまな方法について議論します。2部では、勾配ブースティングを実装するScikit-Learnのクラスを探索し、異なる回帰と分類のタスクを解決するために使用します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「2023年にデータサイエンスFAANGの仕事をゲットする方法は?」

データサイエンスは非常に求められる分野となり、FAANG(Facebook、Amazon、Apple、Netflix、Google)企業での就職は大きな成...

人工知能

Aaron Lee、Smith.aiの共同設立者兼CEO - インタビューシリーズ

アーロン・リーさんは、Smith.aiの共同創業者兼CEOであり、AIと人間の知性を組み合わせて、24時間365日の顧客エンゲージメン...

AIニュース

Q&A:ブラジルの政治、アマゾンの人権、AIについてのGabriela Sá Pessoaの見解

ブラジルの社会正義のジャーナリストは、MIT国際研究センターのフェローです

人工知能

「Ami Hever、UVeyeの共同創設者兼CEO - インタビューシリーズ」

עמיר חבר הוא המנכל והמייסד של UVeye, סטארט-אפ ראיה ממוחשבת בלמידה עמוקה, המציבה את התקן הגלובלי לבדיקת רכבים עם זיהוי...

AIニュース

OpenAIのCEOであるSam Altman氏:AIの力が証明されるにつれて、仕事に関するリスクが生じる

OpenAIのCEOであるSam Altmanは、特に彼の作品であるChatGPTに関するAIの潜在的な危険性について公言してきました。最近のイ...

人工知能

「ElaiのCEO&共同創業者、Vitalii Romanchenkoについてのインタビューシリーズ」

ヴィタリー・ロマンチェンコは、ElaiのCEO兼共同創設者であり、マイク、カメラ、俳優、スタジオの必要なく、個人が一流のビデ...