XGBoost 最終ガイド（パート1）

XGBoost 最終ガイド（パート1）

人気のあるXGBoostアルゴリズムのステップバイステップの導出と詳細な数値イラスト

XGBoost（eXtreme Gradient Boostingの略）は、勾配ブースティング決定木の最適化された拡張可能な実装を提供するオープンソースのライブラリです。さまざまなソフトウェアおよびハードウェアの最適化技術を組み込んでおり、大量のデータに対処することができます。

XGBoostは、Tianqi ChenとCarlos Guestrinによって2016年に研究プロジェクトとして開発されました[1]。XGBoostは、構造化（表形式）データ上の教師あり学習タスクを解決するためのソリューションとして広く使用されています。多くの標準的な回帰および分類タスクで最先端の結果を提供し、多くのKaggleコンペティションの勝者は、勝利のソリューションの一部としてXGBoostを使用しています。

表形式のデータに対しては、深層ニューラルネットワークを使用しても大きな進歩がなされていますが、多くの標準ベンチマークではXGBoostや他のツリーベースのモデルにまだ劣っています[2, 3]。さらに、XGBoostはディープモデルよりもチューニングが少なくて済みます。

XGBoostの主なイノベーションは次のとおりです：

• メトリクス層：すべてのKPI定義の唯一の真実の源
• 「脳に触発された人工知能についての意見ここからどこに進むべきか？」
• PyTorch Lightningを使用して、ゼロからCNNを実装してトレーニングする

1. 決定木の巧妙な正則化。
2. 目的関数の最適化のための2次近似（Newtonブースティング）。
3. 効率的な計算のための加重分位数スケッチ手順。
4. 疎なデータを処理するための新しいツリー学習アルゴリズム。
5. データの並列および分散処理のサポート。
6. 外部メモリでのツリー学習のためのキャッシュアウェアブロック構造。

このシリーズの記事では、XGBoostを詳しく説明します。アルゴリズムの数学的な詳細、Pythonでのアルゴリズムの実装、XGBoostライブラリの概要、および実際の使用方法についても説明します。

このシリーズの初めの記事では、XGBoostアルゴリズムのステップバイステップの導出、疑似コードによるアルゴリズムの実装、そしておもちゃのデータセット上での動作の説明を行います。

この記事で説明されているアルゴリズムの説明は、XGBoostのオリジナル論文[1]と…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!