1.1 什么是集成学习
集成学习(Ensemble Learning)是机器学习领域中一种重要的范式,其核心思想源于一句古老的谚语:“三个臭皮匠,顶个诸葛亮”。在统计学和机器学习的语境下,这一思想被形式化为:通过组合多个个体学习器(Individual Learner)来解决同一问题,从而获得比任何单个模型更准确、更稳健的预测结果。
形式上,给定一个训练数据集 $\mathcal{D} = \{(x_1, y_1), (x_2, y_2), \ldots, (x_N, y_N)\}$,其中 $x_i \in \mathcal{X}$ 表示输入特征,$y_i \in \mathcal{Y}$ 表示目标标签。传统的单模型方法试图学习一个映射函数 $h: \mathcal{X} \to \mathcal{Y}$ 来最小化某个损失函数。而集成学习则构建一个由 $M$ 个基学习器(Base Learner)组成的集合 $\{h_1, h_2, \ldots, h_M\}$,并通过某种组合策略产生最终的预测输出:
$$H(x) = \Phi\left(h_1(x), h_2(x), \ldots, h_M(x)\right)$$其中 $\Phi(\cdot)$ 是组合函数,可以是简单的平均、加权平均,也可以是更复杂的元学习器(Meta-learner)。
集成学习的理论基础可以追溯到 Condorcet(1785)的陪审团定理(Jury Theorem):如果每个成员做出正确判断的概率都为 $p > 0.5$,且成员之间相互独立,那么随着成员数量的增加,多数投票做出正确判断的概率将趋近于 1。以 $M$ 个成员($M$ 为奇数)的简单多数投票为例,集体判断正确的概率为:
$$P_{\text{maj}} = \sum_{k=(M+1)/2}^{M} \binom{M}{k} p^k (1-p)^{M-k}$$例如 $p = 0.6$ 时,$M = 11$ 对应 $P_{\text{maj}} \approx 0.753$,$M = 101$ 对应 $P_{\text{maj}} \approx 0.979$。
换成分类器的语言(周志华《机器学习》第 8 章):设 $T$ 个二分类基学习器的错误率均为 $\epsilon < 0.5$ 且相互独立,则由 Hoeffding 不等式,多数投票的错误率满足
$$P\left(H(x) \neq f(x)\right) = \sum_{k=0}^{\lfloor T/2 \rfloor} \binom{T}{k} (1-\epsilon)^k \epsilon^{T-k} \leq \exp\left(-\frac{1}{2} T (1-2\epsilon)^2\right)$$即错误率随 $T$ 指数下降。虽然"相互独立"这一假设在机器学习中几乎不可能成立(基学习器都在同一份数据上为同一个任务训练),但它为"组合多个弱模型可以获得强模型"提供了直觉上的支撑,也说明了个体学习器之间的多样性为何如此关键(见 1.5.3 节)。
1.2 为什么要使用集成学习
在实际应用中,单一模型往往面临以下困境:
(1)偏差-方差困境(Bias-Variance Dilemma)
在平方损失下,设数据由 $y = f(x) + \varepsilon$ 生成($\mathbb{E}[\varepsilon] = 0$,$\operatorname{Var}(\varepsilon) = \sigma^2$),记在训练集 $\mathcal{D}$ 上学得的模型为 $h_{\mathcal{D}}$。在固定输入 $x$ 处,学习模型的期望泛化误差可以分解为三个部分:
$$\mathbb{E}_{\mathcal{D},\varepsilon}\left[\left(y - h_{\mathcal{D}}(x)\right)^2\right] = \underbrace{\left(\mathbb{E}_{\mathcal{D}}\left[h_{\mathcal{D}}(x)\right] - f(x)\right)^2}_{\text{偏差}^2} + \underbrace{\mathbb{E}_{\mathcal{D}}\left[\left(h_{\mathcal{D}}(x) - \mathbb{E}_{\mathcal{D}}\left[h_{\mathcal{D}}(x)\right]\right)^2\right]}_{\text{方差}} + \underbrace{\sigma^2}_{\text{噪声}}$$其中 $f(x)$ 是真实目标函数,$\sigma^2$ 是不可约噪声;期望 $\mathbb{E}_{\mathcal{D}}$ 是对"随机抽取的训练集"求的,因此方差刻画的是模型对训练数据扰动的敏感程度。低偏差模型(如深度神经网络)往往具有高方差,容易过拟合;低方差模型(如线性回归)往往具有高偏差,容易欠拟合。集成学习提供了一条同时降低偏差和方差的路径:通过 Bagging 降低方差,通过 Boosting 降低偏差,通过 Stacking 综合各模型优势。
(2)模型选择的稳定性
不同的学习算法对数据分布的假设不同。当数据分布稍有变化或训练集发生轻微扰动时,单一模型的预测可能产生剧烈变化。集成多个模型可以平滑这种不稳定性,使预测更加稳健。
(3)表达能力的扩展
单个模型的假设空间(Hypothesis Space)可能是有限的。例如,线性模型只能拟合线性关系。通过组合多个模型,集成学习可以逼近更复杂的函数,扩展模型的表达能力。
(4)实践中的卓越表现
在机器学习竞赛和工业应用中,集成方法几乎总是取得顶尖表现的基础。从 Kaggle 竞赛到推荐系统、金融风控,集成学习都是不可或缺的工具。Hastie、Tibshirani 和 Friedman 在《统计学习基础》(The Elements of Statistical Learning, 2nd ed., 2009)中用多章篇幅讨论 Bagging(第 8.7 节)、Boosting(第 10 章)、随机森林(第 15 章)和集成学习(第 16 章),集成方法的代价主要是更多的计算资源和更低的可解释性。
1.3 集成学习的三大类别
根据基学习器的训练方式和组合策略,集成学习主要分为三大类:Bagging(装袋)、Boosting(提升) 和 Stacking(堆叠)。它们代表了不同的哲学思想:Bagging 追求"和而不同",通过并行独立训练降低不确定性;Boosting 追求"精益求精",通过顺序纠错逐步提升精度;Stacking 追求"各尽所能",通过元学习器发挥各模型的优势。
1.3.1 Bagging:Bootstrap Aggregating
Bagging 由 Breiman 于 1996 年提出,其核心思想是:通过自助采样(Bootstrap Sampling)生成多个不同的训练子集,在每个子集上独立训练同质的基学习器,最后通过平均(回归)或多数投票(分类)聚合预测结果。
训练方式: 对于包含 $N$ 个样本的原始训练集,通过有放回抽样生成 $B$ 个自助样本集,每个样本集同样包含 $N$ 个样本。某个样本在 $N$ 次有放回抽样中始终未被抽中的概率为 $\left(1 - \frac{1}{N}\right)^N \to \frac{1}{e} \approx 0.368$($N \to \infty$),因此每个自助样本集平均包含约 $63.2\%$ 的不同原始样本,其余约 $36.8\%$ 的样本作为袋外样本(Out-of-Bag, OOB)可用于模型评估。
目标: Bagging 的核心目标是降低方差。对于高方差、低偏差的基学习器(如深度决策树),通过平均多个独立训练的模型,可以显著降低预测的方差,从而减少过拟合。
“Bagging reduces variance by averaging predictions from multiple models, making it ideal for high-variance algorithms like decision trees.” — GeeksforGeeks, 2024
代表算法: Random Forest(随机森林,Breiman 2001)是 Bagging 最著名的代表。它不仅在样本维度进行自助采样,还在特征维度进行随机子集选择,进一步增加了基学习器的多样性,从而降低了方差。
1.3.2 Boosting:提升
Boosting 的核心思想是:顺序训练模型,每个新模型专门关注前一个模型预测错误的样本,通过加权组合所有模型的预测获得最终输出。
与 Bagging 的并行独立训练不同,Boosting 采用串行训练方式。每一轮迭代中,被前序模型错误分类的样本获得更高的权重,后续模型被迫学习这些"困难样本"。最终,所有弱学习器通过加权组合形成强学习器。
目标: Boosting 的核心目标是降低偏差。通过逐步拟合残差或困难样本,Boosting 能够逐步降低训练误差,使模型具有更强的表达能力。需要注意,“降低偏差"只是主要目标而非全部:Bauer & Kohavi (1999) 的大规模实验表明,对决策树这类不稳定的学习器,AdaBoost 能同时降低偏差和方差,而 Bagging 的收益几乎全部来自方差降低(但对朴素贝叶斯这类很稳定的学习器,AdaBoost 反而会增大方差)。
“Boosting trains models sequentially, with each model focusing on correcting the errors made by its predecessor. Boosting is designed to reduce bias by focusing on the hardest-to-predict data points.” — Interviewnode, 2024
代表算法: AdaBoost(Adaptive Boosting, 1995/1997)、Gradient Boosting Machine(GBM, 2001)、XGBoost(2016)、LightGBM(2017)和 CatBoost(2017 年 arXiv,2018 年 NeurIPS 发表)等。
1.3.3 Stacking:堆叠
Stacking 由 Wolpert (1992) 提出,是一种更灵活的集成策略。其核心思想是:训练多个异质的基学习器,使用另一个模型(元学习器,Meta-learner)来学习如何最优地组合这些基学习器的预测。
训练方式: Stacking 分为两个阶段。第一阶段,在原始训练集上训练多个不同类型的基学习器(如决策树、支持向量机、神经网络等)。为了避免元学习器产生过拟合,通常使用 $k$ 折交叉验证生成元学习器的训练数据:将训练集分成 $k$ 份,每次用 $k-1$ 份训练基学习器,用剩余 1 份生成预测,循环 $k$ 次后将所有预测拼接作为元学习器的输入。第二阶段,在元特征(基学习器的折外预测,out-of-fold predictions)上训练元学习器(如逻辑回归或线性回归)。预测新样本时,基学习器通常在完整训练集上重新训练,再把它们的预测输入元学习器——scikit-learn 的 StackingClassifier/StackingRegressor 即按此流程实现(用 cross_val_predict 生成元特征)。如果直接用基学习器在训练集上的拟合值作为元特征,元学习器会偏向过拟合最严重的基学习器,这是 Stacking 最常见的错误。
Breiman (1996b) 在 “Stacked Regressions” 中进一步建议:回归问题的元学习器使用非负约束的线性回归,可以得到更稳定的组合权重。另一种简化做法是 Blending:用一个固定的留出集(hold-out set)而不是 $k$ 折交叉验证来生成元特征,实现更简单,但用于训练元学习器的数据更少。
“Stacking mainly differs from bagging and boosting on two points: First, stacking often considers heterogeneous weak learners… Second, stacking learns to combine the base models using a meta-model.” — Duchesnay, PyStatsML
目标: Stacking 的目标是提高整体预测准确率,同时利用不同算法的互补性。
代表算法: 任意模型组合 + 元学习器。常见的组合包括:决策树 + 支持向量机 + 神经网络 + 逻辑回归作为元学习器。
1.4 三大类别的核心区别对比
为了更清晰地理解三种方法的差异,我们从多个维度进行详细对比:
| 维度 | Bagging | Boosting | Stacking |
|---|---|---|---|
| 训练方式 | 并行独立训练,各基学习器互不影响 | 顺序串行训练,每轮依赖前序结果 | 两阶段训练:先并行训练基学习器,再训练元学习器 |
| 核心目标 | 降低方差(减少过拟合) | 降低偏差(减少欠拟合) | 提高整体预测准确率 |
| 基学习器类型 | 同质学习器,通常是低偏差、高方差的"强"学习器(如未剪枝的深决策树) | 同质弱学习器(如决策树桩、浅层树) | 通常为异质的强学习器(不同算法) |
| 数据采样 | 自助采样(Bootstrap) | 自适应重加权或拟合残差 | 使用原始数据或交叉验证 |
| 组合方式 | 简单平均或多数投票 | 加权求和(AdaBoost 按错误率定权;GBM 按步长与学习率累加) | 元学习器学习最优组合方式 |
| 基学习器相关性 | 通过自助采样降低相关性 | 高度相关,顺序依赖 | 算法异质性自然保证多样性 |
| 对异常值敏感度 | 较低(平均效应) | 较高(AdaBoost 会不断增大错分样本的权重);GBM 可改用 Huber 等稳健损失缓解 | 取决于基学习器选择 |
| 代表算法 | Random Forest | AdaBoost, GBM, XGBoost, LightGBM | 任意模型 + Meta-learner |
| 计算并行性 | 高度并行,可扩展性强 | 顺序执行,并行性有限 | 第一阶段可并行,第二阶段串行 |
| 理论保证 | 方差缩减有理论支撑(见 1.5.1 节) | 源于 PAC 框架下的弱可学习性理论:弱学习假设下训练误差指数下降,另有基于间隔的泛化界 | 主要依靠经验与交叉验证,理论保证较弱 |
1.5 为什么 Bagging 降低方差,Boosting 降低偏差?
1.5.1 Bagging 降低方差的直觉
假设我们有 $B$ 个同分布的基学习器,其预测值为 $\hat{f}_1(x), \hat{f}_2(x), \ldots, \hat{f}_B(x)$,每个学习器的期望为 $f(x)$,方差为 $\sigma^2$。Bagging 的预测是这些学习器的平均:
$$\hat{f}_{\text{bag}}(x) = \frac{1}{B} \sum_{b=1}^B \hat{f}_b(x)$$则 Bagging 预测的方差为:
$$\operatorname{Var}\left[\hat{f}_{\text{bag}}(x)\right] = \frac{1}{B^2} \sum_{b=1}^B \operatorname{Var}\left[\hat{f}_b(x)\right] = \frac{\sigma^2}{B}$$(第一个等号要求基学习器相互独立。实际中各自助样本集来自同一份训练数据,基学习器之间存在两两相关系数 $\rho > 0$,此时方差为 $\rho \sigma^2 + \frac{1-\rho}{B}\sigma^2$(ESL 式 15.1),当 $B \to \infty$ 时趋近于 $\rho\sigma^2$——增加基学习器数量只能消除第二项。)
另一方面,平均不会改变期望:$\mathbb{E}\left[\hat{f}_{\text{bag}}(x)\right] = \mathbb{E}\left[\hat{f}_b(x)\right]$,所以 Bagging 的偏差与单个基学习器(在自助样本上训练)的偏差相同。这就是 Bagging 要选用低偏差、高方差的基学习器(如深决策树)的原因。
直觉解释: Bagging 就像咨询多个专家,每个专家基于略有不同的信息(自助样本)做出判断。当专家意见独立或弱相关时,平均后的意见比单个专家更稳定,波动性更小。这正是方差的含义——预测对训练数据扰动的敏感程度。Random Forest 进一步通过特征随机性降低基学习器之间的相关性 $\rho$,从而增强方差缩减效果。
“Bagging (Bootstrap Aggregating): is the process of training several models using random subsets of the training data to minimize overfitting.” — PDfs.semanticscholar.org
1.5.2 Boosting 降低偏差的直觉
Boosting 的每一轮都在前序模型的基础上添加一个新的基学习器,专门拟合当前模型的残差或错误(为了与上文的真实函数 $f(x)$ 区分,这里用 $F_m$ 表示第 $m$ 轮的集成模型):
$$F_m(x) = F_{m-1}(x) + \beta_m h_m(x)$$以平方损失为例,$h_m(x)$ 是拟合残差 $r_i = y_i - F_{m-1}(x_i)$ 的弱学习器;对一般的损失函数,残差换成损失的负梯度(伪残差),详见第 3 章和第 5 章。
直觉解释: 假设我们要用多个简单函数逼近一个复杂函数。第一轮,我们用一个简单模型(如决策树桩)做初步拟合,但会留下较大的系统性误差(残差)。第二轮,新模型专门学习这些残差,进一步修正误差。随着迭代的进行,模型逐步"填补"之前遗漏的模式,预测越来越接近真实目标。由于每一轮都在修正系统性错误,整体偏差(模型预测与真实值之间的系统性差距)逐步降低。
但模型复杂度也随轮数增加:轮数过多时方差上升、出现过拟合。因此 Boosting 的轮数 $M$ 本身就是一个需要通过验证集或早停来控制的正则化参数(见第 5 章)。
1.5.3 多样性:误差-分歧分解
1.5.1 节的方差公式说明,基学习器之间的相关性 $\rho$ 越低,集成的收益越大。Krogh & Vedelsby (1995) 对回归问题给出了一个精确的刻画:设集成为加权平均 $\bar{h}(x) = \sum_{t=1}^T w_t h_t(x)$,其中 $w_t \geq 0$,$\sum_{t=1}^T w_t = 1$,则对任意样本 $(x, y)$ 恒有
$$\left(\bar{h}(x) - y\right)^2 = \sum_{t=1}^T w_t \left(h_t(x) - y\right)^2 - \sum_{t=1}^T w_t \left(h_t(x) - \bar{h}(x)\right)^2$$对数据分布取期望,记为 $E = \bar{E} - \bar{A}$:
- $E$:集成的泛化误差;
- $\bar{E}$:个体学习器泛化误差的加权平均;
- $\bar{A}$:个体学习器相对于集成的加权"分歧”(ambiguity),始终 $\geq 0$。
这个误差-分歧分解(error-ambiguity decomposition)说明:集成的误差永远不会超过个体误差的加权平均,而且个体学习器越准确($\bar{E}$ 越小)、彼此分歧越大($\bar{A}$ 越大),集成就越好,即"好而不同"(周志华《机器学习》第 8.5 节)。实践中增加多样性的常用手段包括:扰动训练样本(Bagging 的自助采样、Boosting 的重加权)、扰动输入特征(随机子空间、随机森林的特征采样)、扰动算法参数,以及使用不同类型的算法(Stacking)。
该分解对平方损失严格成立;对分类的 0-1 损失并没有这样简洁的形式,“多样性"至今也没有统一公认的度量。
1.5.4 集成为什么有效:Dietterich 的三个理由
Dietterich (2000) 从三个角度解释了集成为什么常常优于单个模型:
- 统计上:训练数据有限时,可能有多个假设在训练集上表现相近。只选其中一个有选错的风险,把它们平均起来可以降低这种风险。
- 计算上:很多学习算法只能找到局部最优(如决策树的贪婪分裂、神经网络的梯度下降),从不同起点出发得到的多个局部解组合起来,往往比任何一个更接近真实函数。
- 表示上:真实函数可能不在单个模型的假设空间内,而多个假设的加权组合能扩大可表示的函数范围(对应 1.2 节的"表达能力的扩展”)。
1.6 三种集成方法的 Mermaid 流程图
图1-1:Bagging 工作流程
flowchart TD
A["原始训练集
N个样本"] --> B1["Bootstrap采样
样本集1"]
A --> B2["Bootstrap采样
样本集2"]
A --> B3["Bootstrap采样
样本集B"]
B1 --> C1["训练基学习器
h₁(x)"]
B2 --> C2["训练基学习器
h₂(x)"]
B3 --> C3["训练基学习器
h_B(x)"]
C1 --> D["聚合预测
H(x) = avg/mvote"]
C2 --> D
C3 --> D
style A fill:#f9f,stroke:#333
style D fill:#bbf,stroke:#333
图1-2:Boosting 工作流程
flowchart TD
A["初始化样本权重
w_i = 1/N"] --> B1["第1轮: 训练弱学习器
G₁(x)"]
B1 --> C1["计算错误率 &
分类器权重 α₁"]
C1 --> D1["更新样本权重
增大误分类样本权重"]
D1 --> B2["第2轮: 训练弱学习器
G₂(x)"]
B2 --> C2["计算错误率 &
分类器权重 α₂"]
C2 --> D2["更新样本权重"]
D2 --> B3["..."]
B3 --> C3["..."]
C3 --> D3["..."]
D3 --> E["第M轮: 训练弱学习器
G_M(x)"]
E --> F["加权组合
G(x) = sign(∑αₘGₘ(x))"]
style A fill:#f9f,stroke:#333
style F fill:#bbf,stroke:#333
图1-3:Stacking 工作流程
flowchart TD
A["原始训练集"] --> B1["基学习器1
决策树"]
A --> B2["基学习器2
SVM"]
A --> B3["基学习器3
神经网络"]
B1 --> C1["预测结果
p₁(x)"]
B2 --> C2["预测结果
p₂(x)"]
B3 --> C3["预测结果
p₃(x)"]
C1 --> D["元特征矩阵
p1, p2, p3"]
C2 --> D
C3 --> D
D --> E["元学习器
逻辑回归"]
E --> F["最终预测
H(x)"]
style A fill:#f9f,stroke:#333
style F fill:#bbf,stroke:#333
1.7 本文小结
本文介绍了集成学习的基本概念、三大类别,以及"好而不同"的多样性原则。Bagging 通过并行独立训练和自助采样降低方差,代表算法为 Random Forest;Boosting 通过顺序训练、关注困难样本降低偏差,代表算法为 AdaBoost 和 GBM;Stacking 通过元学习器组合异质模型,追求整体准确率的最优。理解这三种方法的差异,是深入掌握 Boosting 算法的前提。正如 Breiman (1996) 在开创性的 Bagging 论文中所展示的,以及后续 Friedman, Hastie & Tibshirani (2000) 对 Boosting 统计视角的深刻阐释,集成学习不仅是一种实用的技术,更是统计学习理论的重要组成部分。
经典文献引用:
Breiman, L. (1996). “Bagging Predictors.” Machine Learning, 24(2), 123-140.
Breiman, L. (1996b). “Stacked Regressions.” Machine Learning, 24(1), 49-64.
Breiman, L. (2001). “Random Forests.” Machine Learning, 45(1), 5-32.
Wolpert, D. H. (1992). “Stacked Generalization.” Neural Networks, 5(2), 241-259.
Krogh, A., & Vedelsby, J. (1995). “Neural Network Ensembles, Cross Validation, and Active Learning.” Advances in Neural Information Processing Systems 7, 231-238.
Bauer, E., & Kohavi, R. (1999). “An Empirical Comparison of Voting Classification Algorithms: Bagging, Boosting, and Variants.” Machine Learning, 36(1-2), 105-139.
Dietterich, T. G. (2000). “Ensemble Methods in Machine Learning.” In Multiple Classifier Systems (MCS 2000), LNCS 1857, 1-15. Springer.
Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.). Springer. Ch. 8, 10, 15, 16.
周志华. (2016). 《机器学习》. 清华大学出版社. 第 8 章.
树模型的 Boosting 方法从 AdaBoost 和梯度提升发展到 XGBoost、LightGBM 和 CatBoost 等高效实现。
