XGBoost ディープラーニングがグラディエントブースティングと決定木を置き換える方法 – パート2：トレーニング
XGBoostディープラーニングのトレーニング方法-パート2
ifのない世界
前の記事では：
XGBoost：ディープラーニングが勾配ブースティングと決定木を置き換える方法-パート1
この記事では、提案されたDifferentiable Programmingアプローチを使用して決定木を書き直す方法について学びます…
towardsdatascience.com
前の記事では、NODE論文で提案されたDifferentiable Programmingアプローチを使用して決定木を書き換える方法について学びました。この論文のアイデアは、ニューラルネットワークによってXGBoostを置き換えることです。
具体的には、決定木の構築プロセスが微分可能ではない理由を説明した後、決定ノードに関連する2つの主要な要素を正規化するために必要な数学的ツールを紹介しました：
- 特徴の選択
- ブランチの検出
NODE論文では、両方をentmax関数を使用して処理できることを示しています。
要約すると、比較演算子を使用せずにバイナリツリーを作成する方法を示しました。
前の記事では、正規化された決定木のトレーニングに関するオープンな質問で終わりました。それらの質問に答える時がきました。
勾配ブースティングメソッドについて詳しく学びたい場合は、私の書籍をご覧ください：
実践的な勾配ブースティング：Pythonでの勾配ブースティングの詳細
この勾配ブースティングメソッドの本は、学生、研究者、エンジニア、データサイエンティストを対象としています…
amzn.to
スムーズな決定ノード
まず、前の記事で紹介した内容に基づいて、新しいPythonクラスSmoothBinaryNodeを作成しましょう。
このクラスは、スムーズなバイナリノードの動作をエンコードします。そのコードには2つの主要な部分があります：
- 特徴の選択は、
_choices関数によって処理されます - これらの特徴の評価は、与えられた閾値に対して行われ、
leftまたはrightのパスの特定を行います。これはすべてleftとrightメソッドによって管理されます。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
- 「ユナイテッド航空がコスト効率の高い光学文字認識アクティブラーニングパイプラインを構築した方法」
- 『NVIDIAのCEO、ジェンソン・ファング氏がテルアビブで開催されるAIサミットの主演を務めます』
- AIはクリエイティブな思考のタスクで人間を上回ることができるのか？この研究は人間と機械学習の創造性の関係についての洞察を提供します
- 「AIとブロックチェーンの交差点を探る：機会と課題」
- 「AIを活用した言語モデル（ChatGPTなど）を使用する際の倫理的考慮事項 💬」
- 「LLaMaをポケットに収めるトリック：LLMの効率とパフォーマンスを結ぶAIメソッド、OmniQuantに出会おう」
- 「キャンドルとファルコン：Rustでの大規模言語モデルガイド」
