3.1 加法模型:Boosting 的数学基础
Boosting 算法的数学框架建立在**加法模型(Additive Model)**之上。加法模型将复杂的预测函数表示为一组简单基函数(Basis Functions)的线性组合,从而将高维优化问题分解为一系列低维优化问题。
3.1.1 加法模型的数学形式
加法模型的一般形式为:
$$f(x) = \sum_{m=1}^M \beta_m b(x; \gamma_m)$$符号表:
| 符号 | 含义 | 说明 |
|---|---|---|
| $x$ | 输入特征向量 | $x \in \mathbb{R}^d$ |
| $M$ | 基函数的总数 | 对应 Boosting 的迭代次数 |
| $\beta_m$ | 第 $m$ 个基函数的展开系数 | 标量权重,决定该基函数的贡献大小 |
| $b(x; \gamma_m)$ | 基函数(弱学习器) | 由参数 $\gamma_m$ 表征的简单函数 |
| $\gamma_m$ | 基函数的参数向量 | 如决策树的分裂点、叶节点值等 |
| $f(x)$ | 最终的预测函数 | 所有基函数的加权和 |
加法模型的灵活性在于基函数 $b(x; \gamma)$ 的选择。在不同的应用场景中,基函数可以取不同的形式:
- 在单隐层神经网络中,$b(x; \gamma) = \sigma(\gamma_0 + \gamma_1^\top x)$,其中 $\sigma(\cdot)$ 是 sigmoid 激活函数,$\gamma = (\gamma_0, \gamma_1)$ 为该隐单元的参数;
- 在小波分析中,$b(x; \gamma)$ 表示经过平移和缩放的母小波函数;
- 在 Boosting 中,$b(x; \gamma)$ 通常是决策树(如决策树桩、CART 树),$\gamma$ 编码树的分裂结构和叶节点值。
“The basis function expansions are more generally represented by $f(x) = \sum_{m=1}^M \beta_m b(x; \gamma_m)$ where $\beta_m$ are the expansion coefficients and $b(x; \gamma) \in \mathbb{R}$ are usually simple functions of the multivariate argument $x$, characterized by a set of parameters $\gamma$.” — Lund University Thesis, 2022
3.1.2 完整的目标函数
给定训练数据集 $\{(x_i, y_i)\}_{i=1}^N$,加法模型的目标是通过最小化损失函数来拟合参数:
$$\min_{\{\beta_m, \gamma_m\}_{m=1}^M} \sum_{i=1}^N L\left(y_i, \sum_{m=1}^M \beta_m b(x_i; \gamma_m)\right)$$其中 $L(y, f(x))$ 是损失函数,衡量预测值 $f(x)$ 与真实值 $y$ 之间的差异。
直接优化这个联合问题是计算上极其困难的,原因有二:
- 参数空间维度高:需要同时优化 $M$ 个系数 $\beta_m$ 和 $M$ 组参数 $\gamma_m$,搜索空间巨大;
- 非凸性:对于复杂的基函数(如决策树),目标函数关于所有参数的联合优化通常是非凸的,容易陷入局部最优。
前向分步加法模型(Forward Stagewise Additive Modeling)提供了一种贪婪的、逐步逼近的解决方案。
3.2 前向分步加法模型
3.2.1 核心思想
前向分步算法的基本思想是:从一个空模型(或常数基线)开始,在每一阶段贪婪地添加一个新的基函数,使得已添加的系数和参数固定不变,仅优化当前新增的基函数。
这种方法将复杂的联合优化问题转化为一系列简单的单步优化问题。每一步只涉及优化一个 $\beta$ 和一个 $\gamma$,大大降低了问题的复杂度。
“Boosting algorithms can be viewed as an additive model… The approach often used here is Forward Stagewise Optimization, which begins with a baseline of no functions, then incrementally adds to the model by optimizing one weight and one function at a time, keeping previously selected elements fixed.” — PSL_Book, Section 12.5
3.2.2 算法描述
算法:Forward Stagewise Additive Modeling
初始化: $f_0(x) = 0$(或常数基线,如 $f_0(x) = \arg\min_c \sum_{i=1}^N L(y_i, c)$)
For $m = 1$ to $M$ do:
(a) 计算最优的基函数参数和系数:
$$(\beta_m, \gamma_m) = \arg\min_{\beta, \gamma} \sum_{i=1}^N L\left(y_i, f_{m-1}(x_i) + \beta \cdot b(x_i; \gamma)\right)$$(b) 更新模型:
$$f_m(x) = f_{m-1}(x) + \beta_m \cdot b(x; \gamma_m)$$输出: $f_M(x) = \sum_{m=1}^M \beta_m b(x; \gamma_m)$
关键特性:
- 贪婪性(Greedy):每次只添加一个最优基函数,不重新调整已添加的基函数的系数或参数。这虽然不一定能找到全局最优解,但在实践中通常效果良好。
- 适应性(Adaptive):当前步骤依赖于前序步骤的结果,通过 $f_{m-1}(x)$ 累积。每一步都在当前模型的"残差"上进行优化——对平方损失,步骤 (a) 恰好就是用 $\beta b(x; \gamma)$ 拟合当前残差 $y_i - f_{m-1}(x_i)$: $$L\left(y_i, f_{m-1}(x_i) + \beta b(x_i; \gamma)\right) = \frac{1}{2}\left(y_i - f_{m-1}(x_i) - \beta b(x_i; \gamma)\right)^2$$
- Stagewise vs. Backfitting:与 Backfitting(循环更新所有基函数的参数)不同,Stagewise 方法一旦添加了基函数就不再修改其参数。这种"一步到位"的策略使算法更稳定,计算开销更小。
“Boosting adopts the forward stagewise method that solves by sequentially fitting a single weak learner and adding it to the previously fitted terms. The previously fitted terms are not readjusted as new terms are added into the model. This characteristic is commonly called adaptive.” — SOA Delta Boosting Report
3.2.3 前向分步建模流程的 Mermaid 图
flowchart TD
A["初始化
f₀(x) = 0"] --> B{"For m = 1 to M"}
B --> C["在当前模型基础上
计算最优增量"]
C --> D["求解当前轮
最优基函数与系数"]
D --> E["把新基函数
加入加法模型"]
E --> F{"M 轮迭代
完成?"}
F -->|否| B
F -->|是| G["输出最终模型
f_M(x) = Σ β_m·b(x;γ_m)"]
style A fill:#f9f,stroke:#333
style G fill:#bbf,stroke:#333
3.3 损失函数在 Boosting 中的角色
损失函数在 Boosting 中扮演着指导方向的核心角色。它定义了模型预测与真实值之间的差异度量,Boosting 的每一轮迭代都在试图降低这个损失函数的值。不同的损失函数选择对应不同的 Boosting 算法,也适用于不同的问题场景。
“The loss function defines how the errors between predicted and actual values are measured. It acts as a guide for the algorithm, helping it understand where it is going wrong and how much correction is needed in the next step. Without a loss function, the model would have no direction in minimizing errors and improving accuracy.” — Datamites, 2025
3.3.1 AdaBoost:指数损失函数
AdaBoost 可以被证明等价于在加法模型中使用**指数损失函数(Exponential Loss)**的前向分步算法。
AdaBoost 最小化的指数损失为:
$$J(F) = \mathbb{E}\left[e^{-yF(x)}\right]$$其中 $y \in \{-1, +1\}$ 是类别标签,$F(x) = \sum_{m=1}^M \alpha_m G_m(x)$ 是加性分类器。
符号表:
| 符号 | 含义 | 说明 |
|---|---|---|
| $y$ | 真实类别标签 | $y \in \{-1, +1\}$(二分类) |
| $F(x)$ | 加性分类器 | $F(x) = \sum_{m=1}^M \alpha_m G_m(x)$ |
| $G_m(x)$ | 第 $m$ 个弱分类器 | 输出 $\{-1, +1\}$ |
| $\alpha_m$ | 第 $m$ 个分类器的权重 | 基于其加权错误率 |
| $\mathbb{E}$ | 期望算子 | 对数据分布求期望 |
指数损失的一个重要性质是:最小化 $J(F)$ 的函数 $F(x)$ 恰好是类别概率的对称 logistic 变换:
$$F^*(x) = \frac{1}{2} \log \frac{P(y=1 \mid x)}{P(y=-1 \mid x)}$$(推导:在给定 $x$ 时,$\mathbb{E}\left[e^{-yF(x)} \mid x\right] = P(y=1 \mid x)\, e^{-F(x)} + P(y=-1 \mid x)\, e^{F(x)}$,对 $F(x)$ 求导并令其为零即得。)反过来,$P(y=1 \mid x) = \frac{1}{1 + e^{-2F^*(x)}}$,因此 AdaBoost 的实值输出也可以换算成概率估计。
“Consider minimizing the criterion $J(F) = E(e^{-yF(x)})$ for estimation of $F(x)$. The function $F(x)$ that minimizes $J(F)$ is the symmetric logistic transform of $P(y=1 \mid x)$.” — Friedman, Hastie & Tibshirani, 2000, The Annals of Statistics, Lemma 1
3.3.2 LogitBoost:对数似然损失(二项偏差)
虽然指数损失在理论上优雅,但它在统计上并非最稳健的。Friedman, Hastie & Tibshirani (2000) 提出了使用二项对数似然损失(Binomial Log-likelihood Loss),即负的对数似然,也称为二项偏差(Binomial Deviance)。
二项对数似然本身为:
$$\ell(y^*, p(x)) = y^* \log p(x) + (1-y^*) \log(1-p(x)) = -\log\left(1 + e^{-2yF(x)}\right)$$其中 $y^* = (y+1)/2 \in \{0, 1\}$ 是编码后的标签,$p(x) = \frac{1}{1+e^{-2F(x)}}$ 是预测概率。注意这里沿用了 FHT (2000) 的参数化,$F(x)$ 是对数几率的一半,与指数损失的总体最小化器 $F^*(x)$ 处在同一尺度上;sklearn、XGBoost 等实现通常令 $F(x)$ 直接等于对数几率,此时 $p(x) = \frac{1}{1+e^{-F(x)}}$,损失写作 $\log\left(1 + e^{-yF(x)}\right)$($y \in \{-1,+1\}$),两者只差一个因子 2。
Boosting 中真正要最小化的是负对数似然,也就是 logistic 损失:
$$L(y, F) = -\ell(y^*, p(x)) = \log\left(1 + e^{-2yF(x)}\right)$$使用对数似然损失的优点包括:
- 与最大似然估计直接对应,具有更扎实的统计基础;
- 对异常值和误标样本比指数损失更稳健:当间隔 $yF \to -\infty$ 时,对数损失近似线性增长(约为 $-2yF$),而指数损失 $e^{-yF}$ 呈指数增长,对严重错分样本惩罚过重;
- 与逻辑回归的损失函数一致,便于解释。
“The binomial log-likelihood is $l(y^*, p(x)) = y^* \log(p(x)) + (1-y^*) \log(1-p(x)) = -\log(1 + e^{-2yF(x)})$.” — Friedman, Hastie & Tibshirani, 2000, The Annals of Statistics, Eq. 27
3.3.3 Gradient Boosting:任意可微损失函数
Gradient Boosting 的关键突破是允许使用任意可微损失函数。在每一轮迭代中,新的基学习器被训练来拟合损失函数在当前模型处的负梯度(也称为伪残差,Pseudo-residuals):
$$-g_m(x_i) = -\left[\frac{\partial L(y_i, F(x_i))}{\partial F(x_i)}\right]_{F=F_{m-1}}$$然后,模型沿负梯度方向更新:
$$F_m(x) = F_{m-1}(x) + \rho_m h_m(x)$$其中 $h_m(x)$ 是拟合到负梯度的基学习器,$\rho_m$ 是通过线搜索确定的最佳步长:
$$\rho_m = \arg\min_{\rho} \sum_{i=1}^N L\left(y_i, F_{m-1}(x_i) + \rho\, h_m(x_i)\right)$$注意 $\rho_m$ 与"学习率"(收缩系数 $\nu$)是两回事:$\rho_m$ 是每一轮由数据算出的最优步长,而 $\nu \in (0, 1]$ 是人为设定的超参数,实际更新为 $F_m = F_{m-1} + \nu \rho_m h_m$(详见第 5 章)。
“Gradient Boosting = Gradient Descent + Boosting. Fit an additive model (ensemble) $\sum_t \rho_t h_t(x)$ in a forward stage-wise manner. In each stage, introduce a weak learner to compensate the shortcomings of existing weak learners. In Gradient Boosting, ‘shortcomings’ are identified by gradients.” — Cheng Li, Northeastern University, “A Gentle Introduction to Gradient Boosting”
3.3.4 常见损失函数汇总表
下表汇总了 Boosting 中常用的损失函数及其适用场景:
| 问题类型 | 损失函数 | 数学形式 | 适用算法 | 特点 |
|---|---|---|---|---|
| 回归 | 平方损失 | $L(y, F) = \frac{1}{2}(y - F)^2$ | Gradient Boosting (回归) | 对异常值敏感,计算简单 |
| 回归 | 绝对损失 | $L(y, F) = \lvert y - F\rvert$ | Gradient Boosting (回归) | 对异常值更稳健 |
| 回归 | Huber 损失 | $L_\delta(y,F)$(见下方) | Gradient Boosting (回归) | 结合平方和绝对损失的优点 |
| 回归 | 分位数损失 | $L_\tau(y,F)$(见下方) | Gradient Boosting (分位数回归) | 可估计条件分位数 |
| 分类 | 指数损失 | $L(y, F) = e^{-yF}$ | AdaBoost | 对误分类样本惩罚重,推动高 margin |
| 分类 | 对数损失 | $L(y, F) = \log(1 + e^{-2yF})$ | LogitBoost, GBM (分类) | 与最大似然一致,更稳健 |
| 分类 | 多类对数损失 | $L(\{y_k\}, \{F_k\}) = -\sum_{k=1}^K y_k \log p_k(x)$ | GBM (多分类) | 支持多分类问题;$y_k$ 为 one-hot 标签,$p_k$ 为 softmax 概率 |
| 排序 | 成对 logistic 损失 | $L = \log\left(1 + e^{-\sigma\left(F(x_i) - F(x_j)\right)}\right)$,对 $y_i \succ y_j$ 的样本对 | LambdaMART | 用于学习排序(LTR);LambdaMART 用按 $\lvert \Delta \mathrm{NDCG} \rvert$ 缩放的"$\lambda$ 梯度"代替原始梯度 |
Huber 损失的完整形式为:
$$ L_\delta(y,F) = \begin{cases} \frac{1}{2}(y-F)^2, & \lvert y-F\rvert \leq \delta \\ \delta\lvert y-F\rvert - \frac{\delta^2}{2}, & \lvert y-F\rvert > \delta \end{cases} $$分位数损失的完整形式为:
$$ L_\tau(y,F) = \begin{cases} \tau(y-F), & y \geq F \\ (\tau-1)(y-F), & y < F \end{cases} $$其中 $\tau \in (0, 1)$ 为目标分位数(sklearn 中对应参数 alpha)。
3.3.5 各损失的负梯度、总体最小化器与稳健性
Gradient Boosting 每一轮真正用到的是损失的负梯度(伪残差),而损失的总体最小化器(population minimizer)$F^*(x) = \arg\min_{F(x)} \mathbb{E}\left[L(y, F(x)) \mid x\right]$ 决定了模型最终在估计什么量。下表汇总常用损失的这两项(参见 ESL 第 10.5–10.6 节与表 10.2;分类损失中 $y \in \{-1, +1\}$,$p(x) = P(y = 1 \mid x)$):
| 损失 | 负梯度 $-\partial L / \partial F$ | 总体最小化器 $F^*(x)$ | 稳健性 |
|---|---|---|---|
| 平方损失 $\frac{1}{2}(y-F)^2$ | $y - F$ | $\mathbb{E}[y \mid x]$ | 差:梯度随残差线性增长,异常值影响大 |
| 绝对损失 $\lvert y-F \rvert$ | $\operatorname{sign}(y - F)$ | $\operatorname{median}(y \mid x)$ | 好:梯度有界 |
| Huber 损失 $L_\delta$ | $y - F$(当 $\lvert y-F \rvert \leq \delta$);$\delta \operatorname{sign}(y-F)$(否则) | Huber M-估计意义下的条件位置参数(条件分布对称时与条件均值、中位数相同) | 好:小残差处像平方损失,大残差处梯度被截断为 $\pm\delta$ |
| 分位数损失 $L_\tau$ | $\tau - \mathbb{I}(y < F)$ | $y \mid x$ 的 $\tau$ 分位数 | 好:梯度有界 |
| 指数损失 $e^{-yF}$ | $y\, e^{-yF}$ | $\frac{1}{2}\log\frac{p(x)}{1-p(x)}$ | 差:错分越严重,梯度指数级增大 |
| 对数损失 $\log\left(1+e^{-2yF}\right)$ | $\frac{2y}{1+e^{2yF}}$ | $\frac{1}{2}\log\frac{p(x)}{1-p(x)}$ | 较好:梯度绝对值不超过 2 |
| 多类对数损失 | $y_k - p_k(x)$(对第 $k$ 个函数 $F_k$) | $F_k^*(x) = \log p_k(x) + c(x)$(softmax 只确定到相差一个公共函数) | 较好 |
几点说明:
- 指数损失与对数损失的总体最小化器相同,都是对数几率的一半,所以在总体层面上两者估计的是同一个量;差别在于有限样本下对错分样本的权重——这就是 AdaBoost 对误标样本更敏感的原因(ESL 第 10.6 节)。
- 以上分类损失都可以写成间隔 $yF(x)$ 的单调递减函数:间隔为正表示分类正确,越大置信度越高;它们都是 0-1 损失 $\mathbb{I}(yF \leq 0)$ 的凸替代(指数损失、按 $\log 2$ 归一化后的对数损失都是 0-1 损失的上界)。
- Huber 损失中的阈值 $\delta$ 在 Friedman (2001) 的 M-TreeBoost 中每轮取当前残差绝对值 $\lvert y_i - F_{m-1}(x_i) \rvert$ 的 $\alpha$ 分位数(sklearn 默认
alpha=0.9),因此会随训练过程自适应变化。
3.4 平方损失下残差 = 负梯度的推导
在 Gradient Boosting 中,当使用平方损失时,有一个特别优美的性质:负梯度恰好等于残差。这一性质为"拟合残差"这一直觉提供了严格的数学基础。
3.4.1 推导过程
设当前模型为 $F_{m-1}(x)$,在第 $m$ 轮迭代中,我们希望找到新的基学习器 $h_m(x)$ 和系数 $\beta$,使得更新后的模型 $F_{m-1}(x) + \beta h_m(x)$ 最小化平方损失。
平方损失函数为:
$$L(y, F) = \frac{1}{2}(y - F)^2$$对第 $i$ 个训练样本,损失函数关于当前模型预测值 $F(x_i)$ 的偏导数为:
$$g_m(x_i) = \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)} = \frac{\partial}{\partial F(x_i)} \left[\frac{1}{2}\left(y_i - F(x_i)\right)^2\right]$$应用链式法则:
$$g_m(x_i) = \frac{1}{2} \cdot 2 \cdot (y_i - F(x_i)) \cdot (-1) = -(y_i - F(x_i)) = F(x_i) - y_i$$因此,负梯度为:
$$-g_m(x_i) = y_i - F_{m-1}(x_i) = r_{im}$$其中 $r_{im} = y_i - F_{m-1}(x_i)$ 正是第 $m$ 轮第 $i$ 个样本的残差(Residual)。
3.4.2 直观解释
这一推导揭示了一个深刻的事实:在平方损失下,“拟合负梯度"和"拟合残差"是完全等价的两件事。这解释了为什么早期的 Gradient Boosting 实现(如 GBM 的回归版本)中,每一轮都直接用基学习器拟合残差——因为对于平方损失,残差就是负梯度。
当损失函数不是平方损失时(如分类问题中的对数损失),负梯度不再是简单的残差,而是被称为伪残差(Pseudo-residuals)。此时,我们仍然使用基学习器拟合这些伪残差,这是 Gradient Boosting 能够适用于任意可微损失函数的关键。
“For regression with square loss, residual $\Leftrightarrow$ negative gradient. fit $h$ to residual $\Leftrightarrow$ fit $h$ to negative gradient. update $F$ based on residual $\Leftrightarrow$ update $F$ based on negative gradient. So we are actually updating our model using gradient descent!” — Cheng Li, Northeastern University
“With squared error loss, every estimation step is a reestimation on the residuals.” — University of Copenhagen Lecture Notes, 2011
3.5 损失函数与前向分步算法的统一视角
将前向分步算法与不同的损失函数选择结合,我们可以统一地理解各种 Boosting 算法:
AdaBoost = 前向分步加法模型 + 指数损失 + 基学习器为分类器
LogitBoost = 前向分步加法模型 + 二项对数似然损失 + 牛顿步更新
Gradient Boosting (回归) = 前向分步加法模型 + 平方损失 + 拟合残差
Gradient Boosting (分类) = 前向分步加法模型 + 对数损失 + 拟合伪残差
XGBoost = 前向分步加法模型 + 任意损失 + 二阶泰勒展开 + 正则化
这种统一视角揭示了 Boosting 算法家族的本质:它们都是前向分步加法模型的特例,区别仅在于损失函数的选择和优化策略的不同。
3.6 本文小结
本文深入探讨了 Boosting 的数学基础——前向分步加法模型与损失函数框架。加法模型 $f(x) = \sum_{m=1}^M \beta_m b(x; \gamma_m)$ 将复杂函数分解为简单基函数的组合,而前向分步算法通过贪婪策略逐步优化,使计算变得可行。损失函数的选择决定了 Boosting 的具体行为:指数损失对应 AdaBoost,对数似然损失对应 LogitBoost,任意可微损失对应 Gradient Boosting。特别地,在平方损失下,负梯度恰好等于残差,这为"拟合残差"的直觉提供了严格的数学证明。理解这一框架,是掌握后续 AdaBoost、Gradient Boosting Machine、XGBoost 和 LightGBM 具体算法的前提。
关键文献:
Friedman, J., Hastie, T., & Tibshirani, R. (2000). “Additive Logistic Regression: A Statistical View of Boosting.” The Annals of Statistics, 28(2), 337-407. (Section 3.2, 4.1-4.2)
Friedman, J. H. (2001). “Greedy Function Approximation: A Gradient Boosting Machine.” The Annals of Statistics, 29(5), 1189-1232.
Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.). Springer. (Ch. 10, Algorithm 10.2)
Cheng Li, Northeastern University. “A Gentle Introduction to Gradient Boosting.”
Burges, C. J. C. (2010). “From RankNet to LambdaRank to LambdaMART: An Overview.” Microsoft Research Technical Report MSR-TR-2010-82.
声明:本文档基于公开可获取的学术文献、教材和官方文档整理而成,所有数学公式和引文均已标注来源。文档仅供学术研究参考。
