Boosting 算法的性能很大程度上取决于超参数的选择。与随机森林等"开箱即用"的算法不同,Boosting 的默认参数往往偏激进(如 XGBoost 默认 max_depth=6、eta=0.3),必须经过系统调参才能发挥最优性能。本文提供一套通用的分步调参框架,并针对每种算法给出具体的参数建议和常见陷阱的解决方案。
10.1 通用调参策略(分步调参法)
Boosting 算法的参数众多,且参数之间存在复杂的交互效应(如 learning_rate 与 n_estimators 的权衡)。盲目进行全网格搜索不仅计算成本高昂,还容易陷入局部最优。推荐采用分步调参法(Staged Tuning),按重要性分层逐步细化参数。
flowchart LR
subgraph Stage1["第 1 阶段: 控制模型复杂度"]
A1["max_depth / num_leaves"] --> B1["min_child_weight / min_data_in_leaf"]
B1 --> C1["gamma / min_split_gain"]
end
subgraph Stage2["第 2 阶段: 采样与正则化"]
A2["subsample / bagging_fraction"] --> B2["colsample_bytree / feature_fraction"]
B2 --> C2["lambda / l2_leaf_reg"]
C2 --> D2["alpha / lambda_l1"]
end
subgraph Stage3["第 3 阶段: 学习率与迭代数"]
A3["learning_rate"] --> B3["n_estimators"]
B3 --> C3["early_stopping"]
end
Stage1 --> Stage2 --> Stage3
分步调参的核心逻辑
第 1 阶段:控制单棵树的复杂度
Boosting 是"多个弱学习器的加权组合"。如果单个弱学习器过于复杂(如深度很大的树),即使迭代次数少,模型也容易过拟合。因此,第一步应限制单棵树的表达能力:
max_depth(XGBoost、CatBoost)或num_leaves(LightGBM):限制树的深度或叶子数。经验法则:- 浅层树(
max_depth=3~5):适合噪声较多、特征交互简单的数据,泛化能力强 - 中层树(
max_depth=6~8):适合特征交互中等复杂的数据,是竞赛常用范围 - 深层树(
max_depth=10+):仅用于数据量大、特征交互复杂且噪声低的场景,需配合强正则化
- 浅层树(
min_child_weight(XGBoost,子节点样本二阶导数 Hessian 之和的下限,默认 1)或min_data_in_leaf(LightGBM,叶子最少样本数,默认 20):增大该值使模型更保守,防止叶子节点对少数样本过拟合。对平方损失,Hessian 恒为 1,min_child_weight就等于叶子最少样本数;对对数损失,Hessian 为 $p(1-p)$,预测越接近 0 或 1 的样本贡献越小。典型值:min_child_weight=1~10(分类),min_child_weight=3~30(回归)。gamma/min_split_gain:分裂所需的最小损失减少量。只有当分裂带来的增益超过该阈值时才允许分裂。值越大,树越简单。典型值:0 ~ 5。
第 2 阶段:引入随机性降低方差
在控制单棵树复杂度后,通过引入采样和正则化进一步降低集成模型的方差:
subsample(行采样):每轮迭代随机抽取部分样本训练当前树。典型值 0.6 ~ 0.9。值越小,随机性越强,训练速度越快,但可能需要更多迭代才能收敛。colsample_bytree/colsample_bylevel(列采样):每棵树或每层分裂时随机选取部分特征。类似随机森林的去相关效应,在高维数据上特别有效。典型值 0.6 ~ 1.0。注意 XGBoost 的colsample_by*是逐级叠加的:每层在本棵树已选出的特征中再采样,因此colsample_bytree=0.8, colsample_bylevel=0.8时每层实际可用约 64% 的特征。lambda/reg_lambda(L2 正则化):惩罚叶子权重的平方,防止单个叶子输出值过大。XGBoost 默认 1(LightGBM 的lambda_l2默认 0,CatBoost 的l2_leaf_reg默认 3),增大可使模型更平滑。典型值 0.1 ~ 10。alpha/reg_alpha(L1 正则化):对叶子权重做 L1 惩罚,使部分叶子权重收缩为 0(类似 Lasso)。XGBoost、LightGBM 默认均为 0;CatBoost 没有对应的叶子 L1 参数。典型值 0 ~ 1。注意它稀疏化的是叶子输出值,并不等同于特征选择。
第 3 阶段:学习率与迭代数的协同调优
learning_rate($\eta$)和 n_estimators(迭代数)之间存在明确的权衡关系:
其中 $\eta$ 表示 learning_rate(第 5 章中记作收缩系数 $\nu$),$M$ 表示 n_estimators。
这只是一个粗略的经验关系,并非严格守恒。其依据是 Friedman (2001) 的实验观察:较小的学习率需要相应更多的迭代,但通常能得到更低的测试误差;ESL 第 10.12 节据此建议把学习率取得较小(如 $\eta < 0.1$),再用早停选择 $M$。具体经验(仅作起点参考,实际迭代数以早停为准):
| learning_rate | n_estimators 建议 | 适用场景 |
|---|---|---|
| 0.3 | 50 ~ 100 | 快速实验、大数据集 |
| 0.1 | 100 ~ 500 | 标准调参起点 |
| 0.05 | 500 ~ 1000 | 追求更高准确率 |
| 0.01 | 1000 ~ 5000 | 精细调优、小数据集 |
| 0.001 | 5000+ | 极精细优化、特征交互复杂 |
调参时,建议先固定 learning_rate=0.1,用早停找到合适的 n_estimators,然后降低 learning_rate 并增加 n_estimators 到早停对应的等效迭代数,重复此过程直到性能收敛。
10.2 AdaBoost 调参指南
sklearn 的 AdaBoostClassifier 参数较少,但仍有调优空间。关键参数及其影响如下:
| 参数 | 含义 | 调参范围 | 建议 |
|---|---|---|---|
n_estimators | 弱分类器数量 | 50 ~ 1000 | 默认 50;与 learning_rate 联合调整。sklearn 的 AdaBoost 没有内置早停,可用 staged_predict / staged_score 在验证集上逐轮评估,选出最佳轮数 |
learning_rate | 每个弱分类器的权重缩减系数 | 0.01 ~ 1.0 | 默认 1.0 通常可行;若过拟合,降至 0.1~0.5 并增加 n_estimators |
estimator | 基学习器 | 决策树桩/决策树 | 默认 DecisionTreeClassifier(max_depth=1);复杂数据可尝试 max_depth=2~3 |
algorithm | 算法类型 | 已移除 | SAMME.R 在 1.4 弃用、1.6 移除;algorithm 参数在 1.6 弃用、1.8 移除,新版本固定使用 SAMME,传入该参数会报错 |
AdaBoost 特有的调参注意事项:
基学习器深度:AdaBoost 的理论保证只要求弱学习器略优于随机猜测,因此决策树桩(
max_depth=1)是默认且常用的选择。但树桩只能表达单个特征的主效应,无法刻画特征交互;ESL 第 10.11 节指出,对 Boosting 而言叶子数 $J$ 在 4~8 之间通常效果较好。因此max_depth=2~3也值得通过交叉验证尝试,而过深的树会使单轮拟合过强、更容易拟合噪声。学习率与 n_estimators 的 trade-off:sklearn 文档明确指出二者之间存在权衡:降低
learning_rate时,通常需要相应增加n_estimators才能达到相近的训练程度。两者不存在固定的乘积关系,应借助staged_score或交叉验证来确定。对噪声数据的处理:AdaBoost 对噪声和异常值极为敏感。如果数据噪声较大,不建议花大量时间调参 AdaBoost,应直接改用对噪声更鲁棒的梯度提升方法(如 XGBoost 配合 L1/L2 正则化)。
10.3 GBM 调参指南
sklearn 的 GradientBoostingClassifier/GradientBoostingRegressor 参数丰富,调参空间较大。
| 参数 | 含义 | 调参范围 | 建议 |
|---|---|---|---|
loss | 损失函数 | 分类: ’log_loss’, ’exponential' | 默认 ’log_loss’;’exponential’ 复现 AdaBoost |
| 回归: ‘squared_error’, ‘absolute_error’, ‘huber’, ‘quantile’ | 噪声多用 ‘huber’,需预测区间用 ‘quantile’ | ||
learning_rate | 学习率(shrinkage) | 0.01 ~ 0.3 | 标准起点 0.1;最终优化可降至 0.05 |
n_estimators | 树的数量 | 100 ~ 2000 | 配合 learning_rate 和早停调整 |
subsample | 子采样比例 | 0.5 ~ 1.0 | 0.8 是通用起点;0.5~0.7 可显著降低方差 |
max_depth | 树最大深度 | 3 ~ 8 | 最关键的参数之一,默认 3;常见较优范围 3~6,需交叉验证确定 |
max_features | 每棵树特征采样 | ‘sqrt’, ’log2’, 0.5~1.0 | 高维数据用 ‘sqrt’;低维数据用 1.0 |
min_samples_split | 分裂最小样本数 | 2 ~ 50 | 默认 2;增大可防止过拟合 |
min_samples_leaf | 叶子最小样本数 | 1 ~ 50 | 默认 1;回归问题建议 5+;分类问题 1~5 |
n_iter_no_change | 早停容忍轮数 | 5 ~ 50 | 默认 None(不早停);设置后从训练集中按 validation_fraction(默认 0.1)留出验证集 |
GBM 调参顺序建议:
- 固定
learning_rate=0.1,n_estimators=500(足够大),设置n_iter_no_change早停,找到最优迭代数(拟合后见n_estimators_属性) - 在
max_depth=[3, 4, 5, 6]上搜索,这是影响最大的参数 - 在
max_depth最优值附近,调整min_samples_leaf和min_samples_split - 引入
subsample=0.8和max_features='sqrt'(若特征数 $> 30$) - 降低
learning_rate到 0.05 或 0.01,按比例增加n_estimators,再次使用早停
HistGradientBoosting 的特别提示:
HistGradientBoostingClassifier / HistGradientBoostingRegressor 在 sklearn 0.21 以实验特性引入,1.0 起成为稳定 API(不再需要 enable_hist_gradient_boosting)。官方文档指出,样本量较大($n \ge 10\,000$)时它比 GradientBoostingClassifier 快得多,因此大数据集应优先使用它。其参数与经典 GBM 略有不同:
- 使用
max_iter(默认 100)替代n_estimators - 同时提供
max_leaf_nodes(默认 31)和max_depth(默认None,不限制),默认按叶子数控制复杂度,与 LightGBM 的num_leaves类似 - 正则化参数为
l2_regularization(默认 0)、min_samples_leaf(默认 20) max_bins默认 255(也是上限),另有一个桶专门留给缺失值- 原生支持缺失值(NaN):训练时为每个分裂学习缺失值走左还是走右
- 原生支持类别特征(
categorical_features,新版本默认'from_dtype',自动识别 DataFrame 中的 category 列) - 内置早停:
early_stopping='auto'时,样本数大于 10000(或 1.7+ 在fit中传入X_val、y_val)才会启用 - 支持
monotonic_cst(单调约束)、interaction_cst(交互约束)和class_weight(1.2+)
10.4 XGBoost 调参指南
XGBoost 的参数体系最为复杂,但遵循分步调参法可系统优化。
| 参数 | 别名 | 含义 | 调参范围 | 建议 |
|---|---|---|---|---|
eta | learning_rate | 学习率 | 0.01 ~ 0.3 | 起点 0.1;最终优化 0.01~0.05 |
max_depth | - | 树最大深度 | 3 ~ 10 | 最关键参数;起点 5 |
min_child_weight | - | 子节点最小 Hessian 和 | 1 ~ 30 | 默认 1;分类 1 |
gamma | min_split_loss | 分裂最小增益 | 0 ~ 10 | 默认 0,表示只要增益为正就分裂;增大防止过拟合 |
lambda | reg_lambda | L2 正则化系数 | 0.1 ~ 10 | 默认 1;增大使模型更平滑 |
alpha | reg_alpha | L1 正则化系数 | 0 ~ 1 | 默认 0;需稀疏化时 0.1~0.5 |
subsample | - | 行采样比例 | 0.5 ~ 1.0 | 默认 1;0.8 通用起点;大数据可用 0.6 |
colsample_bytree | - | 每棵树列采样 | 0.5 ~ 1.0 | 默认 1;0.8 起点;高维数据 0.6~0.8 |
colsample_bylevel | - | 每层列采样 | 0.5 ~ 1.0 | 默认 1;在本棵树已选特征中再采样,与 colsample_bytree 的效果相乘 |
scale_pos_weight | - | 正类样本权重倍数 | 1 ~ 99 | 默认 1;类别不平衡时官方建议的参考值为 sum(negative) / sum(positive)(见陷阱 4) |
XGBoost 分步调参实践:
Step 1 - 初始快速搜索:
固定 learning_rate=0.1,n_estimators=1000,在构造器中设置 early_stopping_rounds=50(XGBoost 2.1 起该参数已从 fit() 移除),找到最优迭代数。搜索 max_depth=[3, 5, 7] 和 min_child_weight=[1, 3, 5] 的组合。这一步确定模型复杂度的大致范围。
Step 2 - 精细调整正则化:
在 Step 1 最优 max_depth 和 min_child_weight 附近,搜索 gamma=[0, 0.1, 0.5, 1, 2]、lambda=[0.1, 1, 3]、alpha=[0, 0.1, 0.5]。gamma 通常在数据噪声较大时效果显著。
Step 3 - 采样优化:
搜索 subsample=[0.6, 0.8, 1.0] 和 colsample_bytree=[0.6, 0.8, 1.0]。注意 subsample < 1.0 时模型方差降低,但收敛速度变慢,可能需要更多迭代。
Step 4 - 降低学习率精细优化:
将 learning_rate 降至 0.05 或 0.01,按 learning_rate * n_estimators ≈ 0.1 * n_estimators_initial 的关系增加 n_estimators,使用早停找到新的最优迭代数。重复 Step 2-3 的局部微调。
XGBoost 特有的高级技巧:
tree_method='hist'(XGBoost 2.0+ 默认):直方图方法比精确贪心快得多,且对大数据准确率几乎无损失。GPU 训练请用device='cuda'配合tree_method='hist';旧的tree_method='gpu_hist'在 2.0 弃用,3.1 起已移除。grow_policy='lossguide':启用 LightGBM 风格的 Leaf-wise 生长(仅hist/approx支持),通常配合max_leaves控制叶子数;可在某些数据集上获得更高准确率,但需更严格的正则化。max_bin:直方图分桶数,默认 256。增大到 512 或 1024 可能在特征分布复杂的数据上提升精度,但增加内存和计算。
10.5 LightGBM 调参指南
LightGBM 的 Leaf-wise 生长策略使其参数体系与 XGBoost 有显著差异。num_leaves 替代 max_depth 成为核心复杂度控制参数。
| 参数 | 含义 | 调参范围 | 建议 |
|---|---|---|---|
num_leaves | 最大叶子数 | 15 ~ 150 | 最关键参数,默认 31;控制模型复杂度。若记 max_depth 为 $d$,应设得明显小于 $2^d$(官方示例:$d=7$ 时取 70~80) |
max_depth | 树最大深度 | -1(无限制)~ 12 | 与 num_leaves 配合;设为 -1 时仅受 num_leaves 限制;建议显式限制(如 6~10) |
learning_rate | 学习率 | 0.01 ~ 0.3 | 起点 0.1;精细优化 0.05~0.01 |
n_estimators / num_boost_round | 迭代数 | 100 ~ 5000 | 配合早停使用 |
feature_fraction | 特征采样比例 | 0.5 ~ 1.0 | 每棵树随机选取的特征比例;0.8 是通用起点 |
bagging_fraction | 数据采样比例 | 0.5 ~ 1.0 | 别名 subsample;必须同时设置 bagging_freq > 0 才生效 |
bagging_freq | 采样频率 | 1 ~ 10 | 默认 0(不采样);每 bagging_freq 轮重新采样一次;设为 1 表示每轮都采样 |
min_data_in_leaf | 叶子最小样本数 | 5 ~ 100 | 默认 20(别名 min_child_samples);防止 Leaf-wise 过拟合的关键参数 |
lambda_l1 | L1 正则化 | 0 ~ 1 | 默认 0(别名 reg_alpha);对叶子权重做 L1 惩罚 |
lambda_l2 | L2 正则化 | 0 ~ 10 | 默认 0(别名 reg_lambda);通常设为 0.1~1 即可 |
min_gain_to_split | 最小分裂增益 | 0 ~ 5 | 对应 gamma;默认 0(别名 min_split_gain) |
cat_smooth | 类别特征平滑系数 | 1 ~ 100 | 默认 10;降低类别特征中噪声的影响,对样本很少的类别尤其有用 |
cat_l2 | 类别特征 L2 正则化 | 1 ~ 100 | 默认 10;类别特征分裂中的 L2 正则化 |
LightGBM 特有的调参注意事项:
$$ L_{\max} \approx 0.6 \times 2^d $$num_leaves与max_depth的协同:Leaf-wise 策略下,num_leaves是主要的复杂度控制参数。但仅限制num_leaves可能导致某些分支极深、其他分支极浅的不平衡树。经验公式:其中 $L_{\max}$ 表示
num_leaves,$d$ 表示max_depth。这只是经验写法,依据是 LightGBM 官方调参文档的示例:max_depth=7时 depth-wise 树已有不错的精度,把num_leaves设为 $2^7=127$ 可能过拟合,设为 70~80 往往比 depth-wise 更好。如果仅设置num_leaves而不限制max_depth,模型可能在某些路径上过拟合。类别特征的正确声明:pandas DataFrame 中 dtype 为
category的列在默认的categorical_feature='auto'下会被自动识别;numpy 输入则需通过categorical_feature显式传入列索引。类别值会被转换为 int32(pandas category 取其整数编码),负值被视为缺失,因此用整数编码时应使用非负整数。LightGBM 对类别特征做专门的多类别划分(类别数不超过max_cat_to_onehot,默认 4 时用 one-vs-other),效果通常优于 One-Hot 编码。GOSS 参数(
top_rate和other_rate):LightGBM 的梯度单边采样(GOSS)保留梯度绝对值较大的样本(比例top_rate,默认 0.2),从其余样本中随机采样(比例other_rate,默认 0.1)。GOSS 默认不启用:4.0 起应设置data_sample_strategy='goss'(旧写法boosting_type='goss'目前仍可运行,但已不在官方boosting选项中)。它可进一步加速训练,但可能轻微损失精度。force_row_wise与force_col_wise:这两个参数控制 CPU 上直方图的构建方式(按行或按列),默认都为false,此时 LightGBM 会先把两种方式都试一遍,再选更快的那个。官方建议:列数多、总桶数多、线程数多(如 >20)或想省内存时用 col-wise;样本多而总桶数较少、线程数较少(如 ≤16)时用 row-wise(会使 Dataset 内存翻倍)。手动指定可省去这一测试开销。
10.6 CatBoost 调参指南
CatBoost 以默认参数强大著称,但了解参数含义仍有助于在特定场景下进一步优化。
| 参数 | 含义 | 调参范围 | 建议 |
|---|---|---|---|
iterations | 迭代数 | 100 ~ 5000 | 默认 1000(别名 n_estimators);配合早停使用 |
depth | 树深度 | 4 ~ 10 | 默认 6;对称树(Oblivious Trees)每加深一层叶子数翻倍($2^{d}$ 个叶子),训练时间随深度明显增加 |
learning_rate | 学习率 | 0.01 ~ 0.3 | 损失为 Logloss、MultiClass、RMSE 且未设置 leaf_estimation_iterations、leaf_estimation_method、l2_leaf_reg 时,按数据集和迭代数自动确定;否则默认 0.03 |
l2_leaf_reg | 叶子 L2 正则化 | 1 ~ 10 | 默认 3;增大防止过拟合 |
bagging_temperature | 贝叶斯 bootstrap 温度 | 0 ~ 10 | 默认 1;0 表示所有样本权重都为 1;只在 bootstrap_type='Bayesian' 时生效。CPU 上非多分类任务的默认 bootstrap_type 是 MVS(subsample=0.8),此时应调 subsample |
border_count | 数值特征分桶数 | 32 ~ 255 | 别名 max_bin;CPU 默认 254,GPU 默认 128;越大越精确但越慢 |
random_strength | 分裂打分的随机强度 | 0 ~ 10 | 默认 1(仅 CPU);给每个候选分裂的得分加上零均值正态噪声(方差随训练递减),本参数是方差的乘数,用于降低过拟合;机制与列采样不同 |
grow_policy | 生长策略 | ‘SymmetricTree’, ‘Depthwise’, ‘Lossguide’ | 默认 ‘SymmetricTree’(对称树);可尝试 ‘Lossguide’ 类似 LightGBM |
leaf_estimation_method | 叶子值估计方法 | ‘Newton’, ‘Gradient’, ‘Exact’ | 默认值取决于任务:分类为 Newton(10 次迭代),多分类为 Newton(1 次),回归为 Gradient(1 次),Quantile/MAE 回归为 Exact |
cat_features | 类别特征列表 | 列索引/列名 | 必须显式声明;CatBoost 的核心优势所在 |
CatBoost 调参的特别建议:
优先使用默认参数:CatBoost 的默认参数在很多数据集上已有较强的表现,先用默认参数建立基线,效果不佳时再调参。
仅需微调少量参数:通常只需调整
depth(48)、10)和l2_leaf_reg(1learning_rate(配合iterations)。random_strength和bagging_temperature在过拟合时调整。Ordered Boosting 由
boosting_type参数控制(取值'Ordered'或'Plain',CatBoost 中并没有名为ordered_boosting的参数)。默认值取决于设备和数据:CPU 上默认'Plain';GPU 上样本数不超过 5 万且不是多分类时默认'Ordered',否则为'Plain'。官方文档说明'Ordered'通常在小数据集上质量更好,但比'Plain'慢,因此小数据集可以显式尝试boosting_type='Ordered'。GPU 训练:CatBoost 1.2+ 的 GPU 实现显著加速,特别是在大数据集和深度较大时。只需设置
task_type='GPU'和devices='0'即可。
10.7 早停(Early Stopping)的使用方法
早停是防止 Boosting 过拟合的最有效手段之一。其核心思想是:在训练过程中持续监控验证集上的损失,当验证损失在若干轮内不再改善时,终止训练,并使用验证损失最低的那一轮作为最终模型(各库是否自动回退到最佳轮见下表)。
早停的基本原理:
Boosting 的迭代训练特性使得训练损失几乎单调下降,但验证损失通常呈 U 型或先降后升。早停通过在验证损失最低点停止训练,避免后续迭代带来的过拟合。
$$ t^{*} = \mathop{\arg\min}_{1 \le t \le T} L_{\text{val}}(t), \qquad \text{stop at round } T \text{ if } T - t^{*} \ge p $$其中 $L_{\text{val}}(t)$ 是前 $t$ 轮模型在验证集上的损失,$p$ 是容忍轮数(patience)。也就是说,最近 $p$ 轮都没有刷新最低验证损失时停止,最终模型取前 $t^{*}$ 轮。
各库早停配置对比:
| 库 | 参数名 | 典型设置 | 注意事项 |
|---|---|---|---|
| sklearn GBM | n_iter_no_change + validation_fraction | n_iter_no_change=10, validation_fraction=0.1 | n_iter_no_change 默认 None(不早停);从训练集内部分割验证集;tol(默认 1e-4)控制改善阈值;实际轮数见 n_estimators_ |
| sklearn HistGBM | early_stopping + n_iter_no_change | early_stopping='auto', n_iter_no_change=10 | 'auto' 仅在样本数大于 10000(或 1.7+ 向 fit 传入 X_val、y_val)时启用;默认按 validation_fraction=0.1 自动分割验证集,scoring='loss' |
| XGBoost | early_stopping_rounds(构造器参数) | early_stopping_rounds=50 | 1.6 起在 fit() 中弃用,2.1 起从 fit() 移除;通过 fit(eval_set=...) 传入验证集,有多个时用最后一个;best_iteration 记录最佳轮,sklearn 接口的 predict 默认只用到最佳轮 |
| LightGBM | 回调 lgb.early_stopping(50) | callbacks=[lgb.early_stopping(50)] | 4.0 起 fit() / train() 不再接受 early_stopping_rounds 参数;也可在参数中设置 early_stopping_round(别名 early_stopping_rounds、n_iter_no_change);min_delta 设置最小改善量;predict 默认使用 best_iteration_ |
| CatBoost | early_stopping_rounds | early_stopping_rounds=50 | 等价于过拟合检测器 od_type='Iter'、od_wait=50(另有 od_type='IncToDec' 配合 od_pval);传入 eval_set 时 use_best_model 默认为 True,模型只保留到最佳轮 |
早停使用最佳实践:
验证集必须与训练数据、最终测试集都分离:早停用的验证集参与了模型选择,不能再拿来报告最终性能;如果使用交叉验证,应在每一折内单独使用早停。
patience(容忍轮数)的设置:
- 常用 50
100 轮;学习率较大(如 0.10.3)时 10~30 轮也常够用 - 学习率越小,每轮改善越小,patience 应相应加大;验证集越小、指标越嘈杂,也应适当加大,避免过早停止
- 对会回退到最佳轮的实现(XGBoost sklearn 接口预测、LightGBM、CatBoost 的
use_best_model),patience 偏大主要是多花计算时间,最终模型并不会包含最佳轮之后的树
- 常用 50
早停与
n_estimators的关系:设置n_estimators为足够大的值(如 5000),让早停决定实际迭代数。这比手动猜测n_estimators更可靠。多次运行的稳定性:早停点受随机性(如
subsample)影响,建议固定random_state并运行多次取平均,或使用交叉验证内早停。
10.8 交叉验证策略
交叉验证(Cross-Validation, CV)是评估模型泛化性能和进行超参数选择的黄金标准。Boosting 算法的交叉验证需特别注意数据划分方式和早停的配合。
K-Fold 交叉验证:
标准 K-Fold CV 将数据分为 K 份,轮流用 K-1 份训练、1 份验证。对于 Boosting:
- 每折内独立早停:在每一折的训练中,将该折的训练数据进一步划分为子训练集和早停验证集。例如,在 5-Fold CV 中,每折使用 80% 数据训练,从中再分出 10% 作为早停验证集,剩余 70% 用于实际拟合。
- 记录每折最优迭代数:各折的最优
n_estimators可能不同。最终模型的n_estimators可取各折的均值或中位数,或直接在全量数据上重新训练。 - 特征重要性聚合:每折训练得到一个特征重要性向量,最终重要性可取各折的平均值,提高稳定性。
Stratified K-Fold(分类问题):
对于类别不平衡的分类问题,必须使用 StratifiedKFold 确保每折中各类别比例与总体一致。若使用普通 K-Fold,某些折可能缺少少数类样本,导致该折训练失败或评估偏差。
时间序列数据的特殊处理:
Boosting 常用于时间序列预测(如销量预测、股价预测)。此时标准随机 K-Fold 会导致数据泄漏(用未来数据预测过去)。必须使用时间序列分割(Time Series Split);若特征含滞后或滚动窗口统计,还可用 TimeSeriesSplit(gap=...)(sklearn 0.24+)在训练集与验证集之间留出间隔,避免窗口跨越边界:
| |
Group K-Fold(分组数据):
当数据存在分组结构(如同一用户的多次记录、同一患者的多次检查),必须确保同一组的所有样本同时出现在训练集或验证集中,不能分散。使用 GroupKFold:
| |
10.9 常见陷阱与解决方案
陷阱 1:过拟合(Overfitting)
症状:训练集上表现极好(AUC ~ 0.99),验证集上表现差(AUC ~ 0.70),两者差距大。
原因分析:
- 单棵树过于复杂(
max_depth或num_leaves太大) - 迭代次数过多且无早停
- 正则化太弱(
lambda、alpha太小) - 数据量小但模型复杂度高
- 噪声或异常值被模型记忆
解决方案:
- 降低
max_depth(XGBoost)或num_leaves(LightGBM),同时降低max_depth限制 - 使用早停(
early_stopping_rounds),将n_estimators设为较大值让早停决定实际迭代数 - 增大
min_child_weight/min_data_in_leaf,防止叶子节点对单个样本过拟合 - 引入
subsample(0.60.8)和0.8)降低方差colsample_bytree(0.6 - 增大
lambda(L2 正则化)和alpha(L1 正则化),使模型更平滑 - 对异常值进行截断或 Winsorize 处理
陷阱 2:欠拟合(Underfitting)
症状:训练集和验证集上表现均差,模型未能捕捉数据中的规律。
原因分析:
- 单棵树太简单(
max_depth=1或num_leaves太小) - 学习率太小或迭代次数不足
- 正则化过强(
lambda或gamma太大) - 特征与目标之间确实无线性关系,或特征工程不足
解决方案:
- 增大
max_depth或num_leaves,允许模型学习更复杂的特征交互 - 增大
learning_rate(如从 0.01 提高到 0.1),或增加n_estimators - 降低
gamma和lambda,减少正则化约束 - 检查特征工程:是否有缺失的重要特征?特征是否经过适当缩放/编码?
- 检查数据质量:标签是否正确?特征分布是否合理?
陷阱 3:数据泄漏(Data Leakage)
症状:离线评估表现极好,上线后表现急剧下降。或交叉验证分数远高于独立测试集分数。
原因分析:
- 目标泄漏:特征中包含了只有在预测后才能知道的信息(如"用户次日是否购买"作为特征来预测"用户次日是否购买")
- 时间泄漏:用未来的数据预测过去(时间序列中未正确使用 TimeSeriesSplit)
- 预处理泄漏:在交叉验证之前对整个数据集进行了标准化、填充缺失值或目标编码,导致验证集信息泄漏到训练过程
- 样本泄漏:训练集和测试集存在重复样本(如同一用户同时出现在训练集和测试集)
解决方案:
- Pipeline 原则:所有预处理步骤(缩放、编码、填充)必须封装在
Pipeline内,在每一折的训练集上拟合、验证集上转换,确保验证集信息不泄漏 - 时间序列严格分割:使用
TimeSeriesSplit,确保训练数据严格在验证数据之前 - 目标编码谨慎处理:若使用目标编码(Target Encoding),必须在每个 fold 内基于训练集统计量编码,不能全局预计算
- CatBoost 的 Ordered TS:对于类别特征,可使用 CatBoost 的原生支持,其 Ordered TS 在编码时只使用"排在当前样本之前"的样本的标签,能显著降低目标编码带来的泄漏
- 早停验证集与测试集分开:用测试集做早停或调参,测试集分数就不再是无偏估计(见 10.10 的贝叶斯优化示例)
陷阱 4:类别不平衡
症状:二分类中多数类准确率很高,但少数类召回率极低(如欺诈检测中 99% 都是正常交易,模型预测全部正常即可获得 99% 准确率)。
解决方案:
- 样本权重:各库的参数如下,让算法更关注少数类:
| 库 | 参数 | 说明 |
|---|---|---|
| XGBoost | scale_pos_weight | 官方建议参考值为 sum(negative) / sum(positive) |
| LightGBM | is_unbalance=True 或 scale_pos_weight | 两者只能二选一;sklearn 接口也可用 class_weight |
| CatBoost | auto_class_weights='Balanced' / 'SqrtBalanced',或 scale_pos_weight | 不要与 class_weights 同时使用 |
| sklearn | HistGradientBoostingClassifier(class_weight='balanced')(1.2+) | GradientBoostingClassifier 没有 class_weight,需通过 fit(sample_weight=...) 传入权重 |
注意:重新加权会改变预测概率的含义。XGBoost 官方调参文档指出,若只关心 AUC 等排序指标,可以用 scale_pos_weight 平衡正负样本;若需要准确的概率,就不应重新平衡数据,而是可将 max_delta_step 设为有限值(如 1)帮助收敛。LightGBM 文档同样提示 is_unbalance / scale_pos_weight 会使单个样本的概率估计变差。需要概率时可在加权训练后再做概率校准(如 sklearn 的 CalibratedClassifierCV)。
2. 采样策略(只能在训练折上做,验证/测试数据保持原始分布;可用 imbalanced-learn 的 Pipeline 保证这一点):
- 过采样(SMOTE):在训练集上对少数类进行过采样
- 欠采样:对多数类进行欠采样(注意信息损失风险)
- 组合采样(如 SMOTEENN):结合过采样和欠采样
- 调整评估指标:不使用准确率(Accuracy),改用 AUC-ROC、AUC-PR(精确率-召回率曲线下面积)、F1-score、平衡准确率(Balanced Accuracy)
- 阈值调整:默认阈值 0.5 可能不适用于不平衡数据。根据业务需求(更关注精确率还是召回率),选择最优操作阈值(如通过 ROC 或 PR 曲线选择)
- Focal Loss:在极度不平衡场景(如 1:1000+),使用自定义 Focal Loss 降低易分类样本的权重,集中关注难分类样本
10.10 超参数搜索代码示例
网格搜索(Grid Search)
网格搜索在预定义的参数空间内穷举所有组合,适合参数空间较小且计算资源充足的场景。
| |
随机搜索(Random Search)
随机搜索在参数空间中随机采样指定数量的组合,相比网格搜索更高效,特别是在高维参数空间。
| |
贝叶斯优化(Bayesian Optimization)
贝叶斯优化(更广义地说是基于模型的序贯优化,SMBO)根据已评估的结果构建目标函数的代理模型,再用采集函数(Acquisition Function)选择下一个待评估点,在相同评估次数下通常能找到比随机搜索更优的参数。经典代理模型是高斯过程;Optuna 默认的 TPESampler 则使用 TPE(Tree-structured Parzen Estimator,Bergstra et al., 2011):把已有试验按目标值分成"好"和"差"两组,分别用核密度估计 $\ell(x)$ 和 $g(x)$ 建模,并优先采样比值 $\ell(x)/g(x)$ 大的参数。推荐使用 Optuna 库(Akiba et al., 2019)。
Bergstra & Bengio (2012) 的实验表明,当只有少数超参数真正重要时,随机搜索比网格搜索更高效,这也是参数较多时不推荐全网格搜索的原因。
| |
三种搜索方法的对比:
| 方法 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 网格搜索 | 穷举保证找到网格内的全局最优 | 计算成本高,维度灾难 | 参数空间小(2~3 个参数),计算资源充足 |
| 随机搜索 | 高效,可探索更大范围 | 不保证找到最优,采样稀疏 | 参数空间大,预算有限(10~100 次评估) |
| 贝叶斯优化(如 TPE) | 利用历史结果指导采样,同预算下通常优于随机搜索 | 依赖前面的试验结果,并行度受限;搜索空间设计不当时效果下降 | 参数空间复杂,评估昂贵(如每次训练需数小时) |
10.11 单调约束与交互约束
在风控、定价、医疗等场景中,业务上往往要求模型满足先验知识,例如"收入越高,违约概率不应越高"“房屋面积越大,估价不应越低”。如果只靠调参,模型可能在数据稀疏的区域学出违背常识的锯齿形关系。四个库都支持单调约束:约束值 1 表示预测值对该特征单调不减,-1 表示单调不增,0 表示不约束。
| 库 | 单调约束参数 | 交互约束参数 | 说明 |
|---|---|---|---|
| XGBoost | monotone_constraints | interaction_constraints | 可传元组(按特征顺序)或以特征名为键的字典;交互约束写成嵌套列表,如 [[0, 1], [2, 3, 4]] |
| LightGBM | monotone_constraints | interaction_constraints | 需按顺序给出所有特征;monotone_constraints_method 可选 basic(默认,最快)、intermediate、advanced |
| CatBoost | monotone_constraints | — | 只能约束数值特征 |
| sklearn HistGB | monotonic_cst | interaction_cst | 分类任务中单调约束只适用于二分类,作用在正类概率上 |
交互约束限制哪些特征可以出现在同一条从根到叶的分裂路径上。例如 [[0, 1], [2, 3, 4]] 表示特征 0、1 之间可以交互,特征 2、3、4 之间可以交互,但两组之间不能交互。它常用于提升可解释性,或者在已知某些特征相互独立地起作用时作为正则化。
施加约束通常会让训练集上的拟合略差,但模型更符合业务逻辑,在分布外区域也更稳健。约束是否值得,应通过验证集指标和业务评审共同判断。下面的示例在合成数据上为特征 $x_0$ 施加单调递增约束,并检查四个库的预测结果:
| |
在 XGBoost 3.4.1、LightGBM 4.7.0、CatBoost 1.2.10、scikit-learn 1.9.1 下运行,四个模型的输出均为 True。
