XGBoost 最終ガイド(パート1)

XGBoost 最終ガイド(パート1)

Photo by Sam Battaglieri on Unsplash

XGBoost(eXtreme Gradient Boostingの略)は、勾配ブースティング決定木の最適化された拡張可能な実装を提供するオープンソースのライブラリです。さまざまなソフトウェアおよびハードウェアの最適化技術を組み込んでおり、大量のデータに対処することができます。

XGBoostは、Tianqi ChenとCarlos Guestrinによって2016年に研究プロジェクトとして開発されました[1]。XGBoostは、構造化(表形式)データ上の教師あり学習タスクを解決するためのソリューションとして広く使用されています。多くの標準的な回帰および分類タスクで最先端の結果を提供し、多くのKaggleコンペティションの勝者は、勝利のソリューションの一部としてXGBoostを使用しています。

表形式のデータに対しては、深層ニューラルネットワークを使用しても大きな進歩がなされていますが、多くの標準ベンチマークではXGBoostや他のツリーベースのモデルにまだ劣っています[2, 3]。さらに、XGBoostはディープモデルよりもチューニングが少なくて済みます。

XGBoostの主なイノベーションは次のとおりです:

  1. 決定木の巧妙な正則化。
  2. 目的関数の最適化のための2次近似(Newtonブースティング)。
  3. 効率的な計算のための加重分位数スケッチ手順。
  4. 疎なデータを処理するための新しいツリー学習アルゴリズム。
  5. データの並列および分散処理のサポート。
  6. 外部メモリでのツリー学習のためのキャッシュアウェアブロック構造。

このシリーズの記事では、XGBoostを詳しく説明します。アルゴリズムの数学的な詳細、Pythonでのアルゴリズムの実装、XGBoostライブラリの概要、および実際の使用方法についても説明します。

このシリーズの初めの記事では、XGBoostアルゴリズムのステップバイステップの導出、疑似コードによるアルゴリズムの実装、そしておもちゃのデータセット上での動作の説明を行います。

この記事で説明されているアルゴリズムの説明は、XGBoostのオリジナル論文[1]と…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

アステラソフトウェアのCOO、ジェイ・ミシュラ - インタビューシリーズ

ジェイ・ミシュラは、急速に成長しているエンタープライズ向けデータソリューションの提供企業であるAstera Softwareの最高執...

人工知能

「Zenの共同創設者兼CTO、イオン・アレクサンドル・セカラ氏によるインタビューシリーズ」

創業者兼CTOであるIon-Alexandru Secaraは、Zen(PostureHealth Inc.)の開発を牽引しており、画期的な姿勢矯正ソフトウェア...

データサイエンス

「3つの質問:ロボットの認識とマッピングの研磨」

MIT LIDSのLuca CarloneさんとJonathan Howさんは、将来のロボットが環境をどのように知覚し、相互作用するかについて議論し...

人工知能

「サティスファイラボのCEO兼共同創設者、ドニー・ホワイト- インタビューシリーズ」

2016年に設立されたSatisfi Labsは、会話型AI企業のリーディングカンパニーです早期の成功は、ニューヨーク・メッツ、メイシ...

人工知能

ジョナサン・ダムブロット、Cranium AIのCEO兼共同創設者- インタビューシリーズ

ジョナサン・ダムブロットは、Cranium AIのCEO兼共同創業者ですCranium AIは、サイバーセキュリティおよびデータサイエンスチ...

人工知能

「トリントの創設者兼CEO、ジェフ・コフマンへのインタビューシリーズ」

ジェフ・コーフマンは、ABC、CBS、CBCニュースで30年のキャリアを持った後、Trintの創設者兼CEOとなりましたジェフは手作業の...