本文提供完整的、可直接运行的 Python 代码示例,涵盖二分类、回归、模型保存加载和 SHAP 解释。所有代码基于 sklearn 1.4+、XGBoost 2.1+、LightGBM 4.0+、CatBoost 1.2+ 编写,并附有注释;已在 scikit-learn 1.9.1、XGBoost 3.4.1、LightGBM 4.7.0、CatBoost 1.2.10、shap 0.54.1、optuna 5.1.0(Python 3.13)下实际运行通过。
版本差异提示
- XGBoost:
early_stopping_rounds、eval_metric、callbacks自 1.6 起在fit()中弃用,2.1 起从fit()移除,只能写在构造器里(本文代码已按此编写)。- LightGBM:4.0 起
fit()/train()不再接受early_stopping_rounds、verbose_eval等参数,早停改用callbacks=[lgb.early_stopping(...)];4.7 起 sklearn 接口新增eval_X/eval_y,eval_set被标记为弃用(仍可使用,只会给出弃用警告)。- scikit-learn:
AdaBoostClassifier的SAMME.R在 1.4 弃用、1.6 移除;algorithm参数本身在 1.6 弃用、1.8 移除,新版本中传入algorithm=...会直接报TypeError。
11.1 完整二分类项目流程
本示例使用 sklearn 的 make_classification 生成模拟数据,演示从数据加载到模型评估、可视化的完整流程,同时对比 XGBoost、LightGBM 和 CatBoost 的性能。
| |
11.2 完整回归项目流程
回归任务与分类任务在代码结构上高度相似,主要区别在于损失函数、评估指标和可视化方式。本示例使用 make_regression 生成数据,并展示残差分析和学习曲线。
| |
11.3 模型保存与加载
在生产环境中,训练好的模型必须持久化到磁盘,以便后续推理、部署或共享。不同库提供了不同的模型保存格式。
| |
11.4 SHAP 值解释
SHAP (SHapley Additive exPlanations) 是基于博弈论 Shapley 值的特征归因方法,为每个预测提供每个特征对预测结果的边际贡献。XGBoost、LightGBM 和 CatBoost 均与 SHAP 库有良好集成。
| |
11.5 特征重要性的类型与差异
11.1 的步骤 7 用 feature_importances_ 画了 XGBoost 的重要性条形图。需要注意的是,各库"特征重要性"的定义并不相同,同一个模型换一种重要性类型,排序也可能明显不同。
| 库 / 方法 | 重要性类型 | 含义 | 默认 |
|---|---|---|---|
| XGBoost | weight | 特征在所有树中被用于分裂的次数 | — |
| XGBoost | gain / total_gain | 该特征所有分裂的平均增益 / 总增益 | sklearn 接口树模型的 feature_importances_ 使用 gain |
| XGBoost | cover / total_cover | 该特征所有分裂覆盖样本(以 Hessian 加权)的平均值 / 总和 | — |
| LightGBM | split / gain | 特征被用于分裂的次数 / 带来的总增益 | sklearn 接口默认 importance_type='split' |
| CatBoost | PredictionValuesChange 等 | 见 CatBoost 的代码示例 | PredictionValuesChange |
| sklearn | 置换重要性(Permutation Importance) | 在留出数据上随机打乱某一列后模型指标的下降量 | 与模型无关 |
使用时有几点要注意:
- 基于分裂/增益的重要性是在训练数据上统计的,不直接反映特征对泛化的贡献;scikit-learn 文档和 Strobl et al. (2007) 都指出,这类重要性会偏向取值很多(高基数、连续型)的特征。
- 不同类型可能给出不同排序:
weight/split只数次数,常把大量小增益分裂的特征排在前面;gain更接近"对损失下降的贡献"。Lundberg et al. (2020) 还指出这类全局重要性在一致性上存在问题,因此推荐用平均绝对 SHAP 值 $\frac{1}{n}\sum_{i=1}^{n}\lvert\phi_j(x_i)\rvert$ 作为全局重要性(见 11.4)。 - 置换重要性应在验证集或测试集上计算。当两个特征高度相关时,打乱其中一个,模型仍可通过另一个获得信息,两者的置换重要性都会被低估。
| |
