第5章:采样算法与加速策略
扩散模型(Diffusion Models)的采样,本质上是在数值求解一个反向随机微分方程(SDE)或与之对应的概率流常微分方程(Probability Flow ODE,见 §1.7)。原始 DDPM 需要数百到上千次网络前向计算(NFE, Number of Function Evaluations)才能得到高质量样本,这严重限制了它在实时场景中的部署。本章按"由浅入深"的顺序梳理采样加速的完整技术谱系:
- 训练无关(training-free)的数值求解器:不改模型,只换"解方程的方法"或"时间步怎么取",把 1000 步压到 10–25 步;
- 蒸馏(distillation)方法:额外训练一个学生模型,把多步采样压缩到 1–4 步;
- 架构级效率优化:Token 剪枝、特征缓存等,降低每一步的计算量。
Note
本章会同时出现两套常见记号,请注意区分:
- 离散 DDPM 记号(§5.1.1–§5.1.2、§5.1.8):$\alpha_t = 1 - \beta_t$ 为单步保留率,$\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s$ 为累积保留率,$\sigma_t$ 表示反向一步注入噪声的标准差。
- 连续时间记号(§5.1.3–§5.1.6、§5.3,与 §1.8 一致):前向扰动写成 $x_t = \alpha_t x_0 + \sigma_t \epsilon$,这里的 $\alpha_t, \sigma_t$ 分别是信号系数和噪声系数。对 VP 扩散(DDPM)有 $\alpha_t = \sqrt{\bar{\alpha}_t}$、$\sigma_t = \sqrt{1 - \bar{\alpha}_t}$。
两套记号中的 $\alpha_t$、$\sigma_t$ 含义不同,阅读公式时请先看它属于哪一节。
5.1 采样器家族:从随机到确定
5.1.1 DDPM:随机采样的奠基者
Denoising Diffusion Probabilistic Models(DDPM)1 定义了前向加噪与反向去噪两条马尔可夫链(推导详见 §2.1)。前向过程逐步向数据 $x_0$ 添加高斯噪声,任意时刻的边际分布有闭式解:
$$q(x_t \mid x_0) = \mathcal{N}\left(x_t; \sqrt{\bar{\alpha}_t}\, x_0, (1 - \bar{\alpha}_t) \mathbf{I}\right)$$其中 $\bar{\alpha}_t = \prod_{s=1}^{t} (1 - \beta_s)$,$\beta_t$ 为预设的噪声调度(noise schedule)。
| 符号 | 含义 |
|---|---|
| $x_t$ | 时间步 $t$ 的带噪样本 |
| $x_0$ | 原始数据样本 |
| $\bar{\alpha}_t$ | 累积信号保留率 |
| $\beta_t$ | 时间步 $t$ 的噪声方差 |
| $\mathbf{I}$ | 单位协方差矩阵 |
反向过程训练一个噪声预测网络 $\epsilon_\theta(x_t, t)$ 来估计并去除噪声,采样更新公式为:
$$x_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}}\, \epsilon_\theta(x_t, t) \right) + \sigma_t z$$| 符号 | 含义 |
|---|---|
| $\alpha_t = 1 - \beta_t$ | 单步信号保留率 |
| $\sigma_t$ | 反向过程噪声标准差,常取 $\sqrt{\beta_t}$ 或后验标准差 $\sqrt{\tilde{\beta}_t}$($\tilde{\beta}_t = \frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t}\beta_t$),也可由网络学习(Improved DDPM) |
| $z \sim \mathcal{N}(0, \mathbf{I})$ | 标准高斯随机噪声(最后一步 $t=1$ 时不加) |
| $\epsilon_\theta(x_t, t)$ | 神经网络预测的噪声 |
直觉:括号里的部分是"减掉网络认为多出来的那份噪声",得到对 $x_{t-1}$ 均值的估计;$\sigma_t z$ 则重新注入少量新噪声,让采样保持随机性。
DDPM 的采样是随机的(stochastic),每一步都注入随机噪声。其特点包括:
- 采样步数:通常需要与训练相同的 $T = 1000$ 步;直接跳步会明显掉质量
- 生成质量:步数充足时样本质量稳定、细节丰富
- 多样性:每步注入的随机噪声保证了样本多样性
- 应用场景:对质量要求极高、对速度不敏感的离线生成任务
5.1.2 DDIM:确定性采样的里程碑
Denoising Diffusion Implicit Models(DDIM)2 是采样加速领域的里程碑工作。它的关键观察是:DDPM 的训练目标只依赖边际分布 $q(x_t \mid x_0)$,因此可以构造一族非马尔可夫的前向过程,它们共享同一个边际分布(从而共享同一个训练好的网络),却对应不同的反向采样过程(推导见 §2.2):
$$x_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\, \underbrace{\frac{x_t - \sqrt{1 - \bar{\alpha}_t}\, \epsilon_\theta(x_t, t)}{\sqrt{\bar{\alpha}_t}}}_{\text{预测的 } x_0} + \underbrace{\sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \epsilon_\theta(x_t, t)}_{\text{指向 } x_t \text{ 的方向分量}} + \underbrace{\sigma_t z}_{\text{随机分量}}$$当设置 $\sigma_t = 0$ 时,采样变为完全确定性(deterministic)的,这就是通常所说的 DDIM 采样:
$$x_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\, \hat{x}_0 + \sqrt{1 - \bar{\alpha}_{t-1}}\, \epsilon_\theta(x_t, t)$$| 符号 | 含义 |
|---|---|
| $\hat{x}_0 = \frac{x_t - \sqrt{1 - \bar{\alpha}_t}\, \epsilon_\theta(x_t, t)}{\sqrt{\bar{\alpha}_t}}$ | 由当前噪声预测反推的干净数据(即后验均值 $\mathbb{E}[x_0 \mid x_t]$ 的估计,对应 §1.6 的 Tweedie 公式) |
| $\sigma_t$ | 随机性控制参数,$\sigma_t = 0$ 时为确定性 DDIM |
| $\eta$ | DDIM 的广义参数,$\sigma_t = \eta \sqrt{\frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t}} \sqrt{1 - \frac{\bar{\alpha}_t}{\bar{\alpha}_{t-1}}}$ |
直觉:DDIM 每一步做两件事——先"一步猜出" $\hat{x}_0$,再按 $t-1$ 时刻应有的噪声水平,把同一个噪声方向 $\epsilon_\theta$ 重新"混回去"。由于不再注入新噪声,整条轨迹由初始噪声 $x_T$ 唯一决定。
DDIM 的核心贡献:
- 加速采样:可以在 $S \ll T$ 的子序列时间步上采样,从 1000 步降至 50–100 步仍保持可接受的质量
- 确定性映射:相同的初始噪声 $x_T$ 总是生成相同的样本,便于插值、图像编辑与反演(DDIM Inversion)
- ODE 解释:DDIM 是概率流 ODE 的一阶离散化。具体地,令 $\bar{x}_t = x_t / \sqrt{\bar{\alpha}_t}$、$\bar{\sigma}_t = \sqrt{(1 - \bar{\alpha}_t)/\bar{\alpha}_t}$,DDIM 更新恰好是 ODE $\frac{\mathrm{d}\bar{x}}{\mathrm{d}\bar{\sigma}} = \epsilon_\theta$ 的一步欧拉法:$\bar{x}_{t-1} = \bar{x}_t + (\bar{\sigma}_{t-1} - \bar{\sigma}_t)\, \epsilon_\theta(x_t, t)$。它也等价于下文的一阶 DPM-Solver(注意:它不是在原始时间变量 $t$ 上直接做欧拉法)
- 关键参数:$\eta$ 控制随机性,$\eta = 0$ 为完全确定,$\eta = 1$ 时 $\sigma_t^2 = \tilde{\beta}_t$,即恢复 DDPM 的祖先采样
5.1.3 DPM-Solver:高阶 ODE 求解器
DPM-Solver3 利用扩散 ODE 的半线性结构(semi-linear structure):方程右边由"关于 $x_t$ 的线性项"和"神经网络给出的非线性项"两部分组成。线性部分可以精确解析求解,只有非线性部分需要数值近似,因此误差远小于把整个方程交给通用黑盒求解器。
在连续时间记号 $x_t = \alpha_t x_0 + \sigma_t \epsilon$ 下,用噪声预测网络表示的概率流 ODE 为:
$$\frac{\mathrm{d}x_t}{\mathrm{d}t} = f(t)\, x_t + \frac{g^2(t)}{2\sigma_t}\, \epsilon_\theta(x_t, t)$$| 符号 | 含义 |
|---|---|
| $f(t) = \frac{\mathrm{d}\log \alpha_t}{\mathrm{d}t}$ | 漂移系数(线性部分) |
| $g^2(t) = \frac{\mathrm{d}\sigma_t^2}{\mathrm{d}t} - 2\frac{\mathrm{d}\log \alpha_t}{\mathrm{d}t}\sigma_t^2$ | 扩散系数的平方 |
| $\epsilon_\theta(x_t, t)$ | 噪声预测网络输出 |
| $\lambda_t = \log \frac{\alpha_t}{\sigma_t}$ | 对数信噪比的一半(half log-SNR),随 $t$ 减小而单调增大 |
这个式子来自 §1.7.3 的概率流 ODE:把分数 $\nabla_x \log p_t(x_t) \approx -\epsilon_\theta(x_t, t)/\sigma_t$ 代入 $f x - \frac{1}{2} g^2 \nabla_x \log p_t$ 即得(因此非线性项前面是加号)。
DPM-Solver 的关键一步是换元到 $\lambda$。对线性部分用常数变易法,可以得到从 $s$ 时刻到 $t$ 时刻($t < s$)的精确解:
$$x_t = \frac{\alpha_t}{\alpha_s} x_s - \alpha_t \int_{\lambda_s}^{\lambda_t} e^{-\lambda}\, \hat{\epsilon}_\theta(\hat{x}_\lambda, \lambda)\, \mathrm{d}\lambda$$其中 $\hat{\epsilon}_\theta(\hat{x}_\lambda, \lambda)$ 表示把时间变量换成 $\lambda$ 后的网络输出。第一项是线性部分的精确传播,第二项是"指数加权的网络积分",只有它需要近似。对网络输出做 $k-1$ 阶泰勒展开,就得到 $k$ 阶求解器。
记采样时间序列 $t_0 = T > t_1 > \dots > t_M \approx 0$,步长 $h_i = \lambda_{t_i} - \lambda_{t_{i-1}} > 0$。
一阶(DPM-Solver-1):把网络输出视为区间内的常数,积分可以精确算出:
$$x_{t_i} = \frac{\alpha_{t_i}}{\alpha_{t_{i-1}}} x_{t_{i-1}} - \sigma_{t_i} \left( e^{h_i} - 1 \right) \epsilon_\theta(x_{t_{i-1}}, t_{i-1})$$把 $\alpha_t = \sqrt{\bar{\alpha}_t}$、$\sigma_t = \sqrt{1 - \bar{\alpha}_t}$ 代入,可以验证它与 DDIM($\eta = 0$)完全相同。
二阶(DPM-Solver-2,单步法):在区间内取一个中间点 $s_i$(满足 $\lambda_{s_i} = \lambda_{t_{i-1}} + r_1 h_i$,常取 $r_1 = \frac{1}{2}$),用两次网络调用估计一阶导数:
$$u_i = \frac{\alpha_{s_i}}{\alpha_{t_{i-1}}} x_{t_{i-1}} - \sigma_{s_i} \left( e^{r_1 h_i} - 1 \right) \epsilon_\theta(x_{t_{i-1}}, t_{i-1})$$$$x_{t_i} = \frac{\alpha_{t_i}}{\alpha_{t_{i-1}}} x_{t_{i-1}} - \sigma_{t_i} \left( e^{h_i} - 1 \right) \epsilon_\theta(x_{t_{i-1}}, t_{i-1}) - \frac{\sigma_{t_i}}{2 r_1} \left( e^{h_i} - 1 \right) \left( \epsilon_\theta(u_i, s_i) - \epsilon_\theta(x_{t_{i-1}}, t_{i-1}) \right)$$最后一项就是"高阶修正项":用中间点与起点网络输出之差来近似网络输出随 $\lambda$ 的变化率。
DPM-Solver 的特点:
- 收敛速度:论文报告 CIFAR-10 上 10 次 NFE 达到 FID 4.70、20 次 NFE 达到 FID 2.873
- 训练无关:直接应用于预训练模型(离散时间和连续时间模型均可),无需额外训练
- 阶数选择:一阶等价于 DDIM;二阶、三阶的原始版本是单步法(在每个区间内部额外取中间点),后续的 DPM-Solver++ 给出了复用历史点的多步法
- 适用场景:无条件采样和引导尺度较小的条件采样
5.1.4 DPM-Solver++:引导采样的专用求解器
DPM-Solver++4 针对引导采样(guided sampling)场景做了专门优化。使用无分类器引导(Classifier-Free Guidance, CFG,见 §3.3)时,大引导尺度会放大网络输出的数值范围和估计误差,导致高阶求解器不稳定,甚至比一阶的 DDIM 还差。
DPM-Solver++ 的核心改进是改用数据预测参数化(data prediction)求解 ODE:
$$x_\theta(x_t, t) = \frac{x_t - \sigma_t\, \epsilon_\theta(x_t, t)}{\alpha_t}$$| 符号 | 含义 |
|---|---|
| $x_\theta(x_t, t)$ | 网络预测的干净数据 $x_0$ |
| $\alpha_t$ | 信号系数 |
| $\sigma_t$ | 噪声系数 |
在数据预测参数化下,概率流 ODE 变为:
$$\frac{\mathrm{d}x_t}{\mathrm{d}t} = \left( f(t) + \frac{g^2(t)}{2\sigma_t^2} \right) x_t - \frac{\alpha_t\, g^2(t)}{2\sigma_t^2}\, x_\theta(x_t, t)$$它的精确解和一阶更新分别为:
$$x_t = \frac{\sigma_t}{\sigma_s} x_s + \sigma_t \int_{\lambda_s}^{\lambda_t} e^{\lambda}\, \hat{x}_\theta(\hat{x}_\lambda, \lambda)\, \mathrm{d}\lambda, \qquad x_{t_i} = \frac{\sigma_{t_i}}{\sigma_{t_{i-1}}} x_{t_{i-1}} - \alpha_{t_i} \left( e^{-h_i} - 1 \right) x_\theta(x_{t_{i-1}}, t_{i-1})$$Tip
在 EDM 的 $\alpha_t = 1$、$\sigma_t = t$ 设定下(§2.4),上面的 ODE 化简为 $\frac{\mathrm{d}x}{\mathrm{d}t} = \frac{x - x_\theta(x, t)}{t}$,这正是 EDM 采样器求解的方程。
最常用的 DPM-Solver++(2M)(二阶多步法)复用上一步已经算过的网络输出,因此每步只需 1 次 NFE:
$$x_{t_i} = \frac{\sigma_{t_i}}{\sigma_{t_{i-1}}} x_{t_{i-1}} - \alpha_{t_i} \left( e^{-h_i} - 1 \right) D_i, \qquad D_i = \left( 1 + \frac{1}{2 r_i} \right) x_\theta(x_{t_{i-1}}, t_{i-1}) - \frac{1}{2 r_i}\, x_\theta(x_{t_{i-2}}, t_{i-2})$$其中 $r_i = h_{i-1} / h_i$ 为相邻两步步长之比。
为什么数据预测更稳? 数据 $x_0$ 有明确的取值范围(如像素在 $[-1, 1]$ 内),而大引导尺度下的噪声预测可能数值很大;在数据空间里做外推更不容易"冲出"训练分布。此外,数据预测形式可以直接与动态阈值(dynamic thresholding,源自 Imagen5)结合,用于像素空间模型:
$$s = \max\left( \operatorname{percentile}\left( \lvert x_\theta \rvert, p \right), 1 \right), \qquad x_\theta \leftarrow \frac{\operatorname{clip}\left( x_\theta, -s, s \right)}{s}$$| 符号 | 含义 |
|---|---|
| $p$ | 百分位数(Imagen 中常取 99.5%) |
| $s$ | 按当前样本逐个计算的动态阈值 |
| $\operatorname{clip}(\cdot, -s, s)$ | 把数值截断到 $[-s, s]$ 区间 |
即:若预测值中有大量像素超出 $[-1, 1]$,先把它们截断到 $[-s, s]$,再整体除以 $s$ 拉回 $[-1, 1]$,从而缓解大引导尺度下的过饱和。潜空间模型(如 Stable Diffusion)一般不使用阈值。
DPM-Solver++ 的实用配置:
- 推荐阶数:二阶多步(2M)最常用;三阶多步(3M)适合无引导或小引导尺度
- 步数:论文报告引导采样 15–20 步即可得到高质量样本(像素空间与潜空间模型均适用)4
- 与 CFG 的兼容性:专门针对大引导尺度下的稳定性做了优化
- SDE 变体:实践中还常见 DPM-Solver++(2M) SDE 等随机版本,它在每步注入少量噪声,少步时细节更丰富但结果不再确定
5.1.5 UniPC:统一预测-校正框架
UniPC(Unified Predictor-Corrector)6 把经典 ODE 数值方法中的预测-校正(Predictor-Corrector)思想引入扩散采样。它包含两个组件:
- UniP(统一预测器):利用若干历史点,预测下一步的解,支持任意阶
- UniC(统一校正器):拿到新点上的网络输出后,回头修正刚才的预测,把精度阶数提高一阶
以噪声预测形式为例,$p$ 阶预测器的更新具有统一的解析形式:
$$x_{t_i} = \frac{\alpha_{t_i}}{\alpha_{t_{i-1}}} x_{t_{i-1}} - \sigma_{t_i} \left( e^{h_i} - 1 \right) \epsilon_\theta(x_{t_{i-1}}, t_{i-1}) - \sigma_{t_i} B(h_i) \sum_{m=1}^{p-1} \frac{a_m}{r_m} D_m$$| 符号 | 含义 |
|---|---|
| $h_i$ | 对数 SNR 步长 $\lambda_{t_i} - \lambda_{t_{i-1}}$ |
| $B(h_i)$ | 任意满足 $B(h) = O(h)$ 的非零函数,常取 $B(h) = h$ 或 $B(h) = e^{h} - 1$ |
| $D_m$ | 差分项 $\epsilon_\theta(x_{s_m}, s_m) - \epsilon_\theta(x_{t_{i-1}}, t_{i-1})$,$s_m$ 为历史时间点 |
| $r_m$ | 相对步长 $(\lambda_{s_m} - \lambda_{t_{i-1}}) / h_i$ |
| $a_m$ | 由阶数条件(一个小线性方程组)确定的系数 |
前两项正是 DPM-Solver-1(即 DDIM),求和项是利用历史信息的高阶修正。
校正器(UniC)的更新为:
$$x_{t_i}^{c} = \frac{\alpha_{t_i}}{\alpha_{t_{i-1}}} x_{t_{i-1}}^{c} - \sigma_{t_i} \left( e^{h_i} - 1 \right) \epsilon_\theta(x_{t_{i-1}}^{c}, t_{i-1}) - \sigma_{t_i} B(h_i) \sum_{m=1}^{p} \frac{a_m}{r_m} D_m$$与预测器相比,求和多了第 $p$ 项:它用到预测点 $x_{t_i}$ 上的网络输出(取 $r_p = 1$)。由于这个网络输出在下一步本来就要计算,校正不需要额外的 NFE。
UniPC 的优势:
- 极少步数下效果突出:论文报告仅用 10 次 NFE 即在 CIFAR-10(无条件)上达到 FID 3.87、在 ImageNet 256×256(有条件)上达到 FID 7.516
- 即插即用:UniC 可以接在任何已有求解器之后,在不增加网络调用的情况下提高精度阶数
- 任意阶数:解析形式对任意阶统一成立,无需为每个阶数重新推导公式
5.1.6 DEIS:指数积分器采样器
Diffusion Exponential Integrator Sampler(DEIS)7 同样利用扩散 ODE 的半线性结构,并采用数值分析中成熟的指数积分器(Exponential Integrator)框架。它的分析指出:离散化方式是影响少步采样质量的最关键因素;把线性部分解析处理、再配合 $\epsilon$ 参数化(网络输出随时间变化较平缓),可以显著降低离散化误差。
用积分因子法,ODE 的解可以写为:
$$x_{t_i} = \Phi(t_i, t_{i-1})\, x_{t_{i-1}} + \int_{t_{i-1}}^{t_i} \Phi(t_i, \tau)\, \frac{g^2(\tau)}{2\sigma_\tau}\, \epsilon_\theta(x_\tau, \tau)\, \mathrm{d}\tau, \qquad \Phi(t, s) = \exp\left( \int_{s}^{t} f(u)\, \mathrm{d}u \right)$$| 符号 | 含义 |
|---|---|
| $\Phi(t, s)$ | 线性部分的解析传播因子(转移函数),对 VP 扩散有 $\Phi(t, s) = \alpha_t / \alpha_s$ |
| $\epsilon_\theta(x_\tau, \tau)$ | 非线性部分(网络的噪声估计) |
| $f(\tau), g(\tau)$ | 漂移与扩散系数 |
(注意采样时 $t_i < t_{i-1}$,积分是"倒着"进行的。)
DEIS 用多项式外推(类 Adams–Bashforth 多步法)或 Runge–Kutta 方法近似非线性积分项,实现高阶采样:
- 性能:CIFAR-10 上 10 次 NFE 达到 FID 4.17,15 次 NFE 达到 FID 3.377
- 算法变体:在原始时间 $t$ 上做多项式拟合的 $t$AB / $t$RK,以及在重参数化时间 $\rho = \sigma_t / \alpha_t$(噪声-信号比)上拟合的 $\rho$AB / $\rho$RK;其中 $\rho$ 空间的一阶方法等价于 DDIM
5.1.7 Align Your Steps(AYS):优化采样时间表
求解器决定"每一步怎么走",而采样时间表(sampling schedule)决定"在哪些噪声水平上落脚"。以往的时间表大多是手工设计的(均匀步长、EDM 的 $\rho = 7$ 多项式时间表等)。Align Your Steps(AYS)8 首次给出了一个有原则的优化方法:利用随机微积分,最小化"离散化后的 SDE"与"真实 SDE"路径分布之间的 KL 散度上界(KLUB),从而针对特定求解器、模型和数据集求出最优时间步:
$$\min_{\{t_i\}_{i=0}^{N}} \mathrm{KLUB}\left( q_{\text{true}} \,\Vert\, q_{\text{disc}} \right)$$| 符号 | 含义 |
|---|---|
| $\{t_i\}$ | 待优化的采样时间步序列 |
| $N$ | 采样步数 |
| $\mathrm{KLUB}$ | KL 散度上界(KL-divergence Upper Bound) |
| $q_{\text{true}}$ | 真实反向 SDE 的路径分布 |
| $q_{\text{disc}}$ | 按给定时间步离散化(线性化近似)后的路径分布 |
直觉:不同噪声水平上"信息量"并不均匀——有的区间轨迹弯曲剧烈、需要密集采样,有的区间几乎是直线、可以大步跨过。AYS 让步子跟着轨迹的"弯曲程度"走。
AYS 的特点:
- 在图像、视频和二维玩具数据上,配合多种求解器,优化后的时间表在几乎所有实验中都优于手工时间表,在少步(如 10 步左右)设定下优势最明显8
- 训练无关、即插即用:只替换时间步序列,不改模型和求解器
5.1.8 Analytic-DPM:解析最优方差估计
Analytic-DPM9(ICLR 2022 杰出论文奖)关注一个常被忽视的问题:反向高斯转移 $p(x_{t-1} \mid x_t) = \mathcal{N}(\mu_t(x_t), \sigma_t^2 \mathbf{I})$ 中的方差 $\sigma_t^2$ 该怎么取?DDPM 用手工的 $\beta_t$ 或 $\tilde{\beta}_t$,Improved DDPM 让网络去学。Analytic-DPM 证明:在最小化 KL 散度的意义下,最优方差和对应的最优 KL 都有关于分数函数的解析形式。
考虑 DDIM 那一族前向过程 $q_\lambda(x_{t-1} \mid x_t, x_0) = \mathcal{N}\left(\tilde{\mu}_t(x_t, x_0), \lambda_t^2 \mathbf{I}\right)$($\lambda_t^2 = \tilde{\beta}_t$ 对应 DDPM,$\lambda_t = 0$ 对应 DDIM),最优反向方差为:
$$\sigma_t^{*2} = \lambda_t^2 + \left( \sqrt{\frac{1 - \bar{\alpha}_t}{\alpha_t}} - \sqrt{1 - \bar{\alpha}_{t-1} - \lambda_t^2} \right)^2 \left( 1 - \frac{\mathbb{E}_{q(x_t)}\left[ \left\lVert \epsilon_\theta(x_t, t) \right\rVert_2^2 \right]}{d} \right)$$| 符号 | 含义 |
|---|---|
| $\sigma_t^{*2}$ | 最优反向方差 |
| $\lambda_t^2$ | 所选前向过程族的方差参数(注意此处 $\lambda_t$ 不是对数 SNR) |
| $\alpha_t, \bar{\alpha}_t$ | 离散 DDPM 记号下的单步 / 累积保留率 |
| $d$ | 数据维度 |
| $\mathbb{E}\left[\lVert \epsilon_\theta \rVert_2^2\right] / d$ | 噪声预测的平均能量,用蒙特卡洛在少量样本上估计 |
直觉:网络预测的噪声越"自信"(能量越接近 $d$,说明 $x_0$ 被估计得越准),需要额外补偿的方差就越小。原文用分数函数 $s_\theta = -\epsilon_\theta / \sqrt{1 - \bar{\alpha}_t}$ 表述,二者等价。
Analytic-DPM 通过蒙特卡洛估计上式中的期望项,实现训练无关的推理改进:
- 加速:在相近样本质量下比原始 DDPM / DDIM 快 20–80 倍,无需重新训练9
- 对数似然提升:改善多种扩散模型的似然
- 方差裁剪:推导最优方差的上下界并对估计值做裁剪,以修正分数模型自身的偏差
5.1.9 采样器对比总结
graph TD
A[扩散模型采样器] --> B[随机采样]
A --> C[确定性采样]
B --> D[DDPM
1000步, 高质量]
C --> E[DDIM
50-100步, 确定性]
C --> F[高阶ODE求解器
10-20步]
F --> G[DPM-Solver
半线性结构]
F --> H[DEIS
指数积分器]
F --> I[UniPC
预测校正]
C --> J[引导优化
DPM-Solver++]
C --> K[时间表优化
AYS]
B --> L[方差解析
Analytic-DPM]
style D fill:#ffcccc
style E fill:#ccffcc
style G fill:#ccccff
style H fill:#ccccff
style I fill:#ccccff
style J fill:#ffffcc
style K fill:#ffffcc
style L fill:#ffffcc
Note
Analytic-DPM 优化的是反向随机过程的方差,因此归入随机采样一侧;AYS 优化的是时间表,对随机和确定性求解器都适用。
5.2 采样步数与质量的权衡:NFE vs FID
采样加速的核心矛盾在于网络调用次数(NFE)与样本质量(通常以 FID 衡量,越低越好)之间的权衡。下表汇总了各方法原论文报告的代表性结果:
| 采样器 | NFE | CIFAR-10 FID | ImageNet 256 FID | 类型 |
|---|---|---|---|---|
| DDPM | 1000 | 3.17 | — | 随机 |
| DDIM($\eta = 0$) | 100 | 4.16 | — | 确定性一阶 |
| DPM-Solver | 10 / 20 | 4.70 / 2.87 | — | 高阶 ODE(单步法) |
| DPM-Solver++ | 15–20 | — | — | 引导采样优化(论文以引导采样质量为主要评测) |
| UniPC | 10 | 3.87 | 7.51(有条件) | 预测-校正 |
| DEIS | 10 / 15 | 4.17 / 3.37 | — | 指数积分器 |
| Analytic-DPM | — | 相近质量下提速 20–80 倍 | — | 解析方差 |
Warning
表中数字来自各自论文,所用预训练模型、训练配置与评测细节各不相同,只能看趋势,不宜横向逐项比较。"—“表示该论文未在此设定下报告或此处未收录。CFG 采样时每步需同时计算条件与无条件分支,实际网络前向次数约为步数的 2 倍。
关键观察:
- 收益递减:NFE 超过约 20 之后,FID 的改善明显放缓
- 高阶求解器的甜蜜点:10–20 步是大多数训练无关求解器的最佳效率区间
- 引导采样的挑战:CFG 会放大高阶方法的误差,DPM-Solver++ 的数据预测和多步设计正是为此而生
- 训练无关 vs 需要训练:训练无关方法(DPM-Solver++、UniPC 等)能把 1000 步压缩到 10–20 步;要进一步压到 1–4 步,通常需要蒸馏等额外训练(§5.3)
5.3 蒸馏方法:从多步到少步
训练无关的求解器通常在 10 步以下质量明显下降,因为 ODE 轨迹的弯曲无法用很少的直线段精确跟随。蒸馏方法的思路是:用一个预训练的多步模型(教师)当"答案生成器”,训练一个能大步跨越的学生模型。按照"学生模仿什么",可以大致分为三类:
- 模仿轨迹:学生一步复现教师多步的结果(Progressive Distillation、一致性蒸馏 §6.2、Reflow §6.5);
- 模仿分布:不要求逐点对齐,只要求学生生成的样本整体分布与教师一致(DMD 等,§5.3.4);
- 对抗增强:引入判别器,弥补少步时的模糊与细节缺失(ADD、LADD)。
5.3.1 Progressive Distillation(渐进蒸馏)
Progressive Distillation10 采用学生-教师框架,每一轮把采样步数减半:学生的一步 DDIM 更新要复现教师的两步 DDIM 更新。设教师在 $N$ 步时间网格上采样,当前时刻 $t$,记 $t' = t - \frac{0.5}{N}$、$t'' = t - \frac{1}{N}$(连续时间 $t \in [0, 1]$,记号同 §5.1.3)。先用教师 $\hat{x}_\eta$ 走两步 DDIM:
$$z_{t'} = \alpha_{t'}\, \hat{x}_\eta(z_t) + \frac{\sigma_{t'}}{\sigma_t} \left( z_t - \alpha_t\, \hat{x}_\eta(z_t) \right), \qquad z_{t''} = \alpha_{t''}\, \hat{x}_\eta(z_{t'}) + \frac{\sigma_{t''}}{\sigma_{t'}} \left( z_{t'} - \alpha_{t'}\, \hat{x}_\eta(z_{t'}) \right)$$再反解出"学生一步就能从 $z_t$ 走到 $z_{t''}$“所需要的 $x$ 预测目标,并做回归:
$$\tilde{x} = \frac{z_{t''} - \frac{\sigma_{t''}}{\sigma_t} z_t}{\alpha_{t''} - \frac{\sigma_{t''}}{\sigma_t} \alpha_t}, \qquad \mathcal{L}_{\text{PD}}(\theta) = \mathbb{E}\left[ w(\lambda_t) \left\lVert \tilde{x} - \hat{x}_\theta(z_t) \right\rVert_2^2 \right]$$| 符号 | 含义 |
|---|---|
| $\hat{x}_\theta$ | 学生模型(预测干净数据) |
| $\hat{x}_\eta$ | 教师模型(上一轮训练好的学生,参数冻结) |
| $z_t$ | 由训练数据前向加噪得到的样本 $\alpha_t x + \sigma_t \epsilon$ |
| $\tilde{x}$ | 蒸馏目标:让学生一步 DDIM 正好落到教师两步的结果上 |
| $w(\lambda_t)$ | 依赖对数 SNR 的损失权重(如截断 SNR 权重) |
训练完一轮后,学生成为下一轮的教师,步数按 $N \to N/2 \to N/4 \to \dots$ 逐轮减半。论文从多达 8192 步的采样器出发,最终蒸馏到 4 步而感知质量几乎不损失(CIFAR-10 上 4 步 FID 3.0),且整个蒸馏流程的总耗时不超过训练原模型10。
该工作还提出了在极少步数下更稳定的参数化,其中最有影响力的是 $v$-预测:$v = \alpha_t \epsilon - \sigma_t x_0$,后来被广泛用于 Stable Diffusion 2.x 等模型。随后的 Guided Distillation11 把 CFG 的"条件 + 无条件"两次前向蒸馏进一个模型,再做渐进蒸馏,从而在引导采样下也能少步生成。
5.3.2 Adversarial Diffusion Distillation(ADD)
ADD12 把 GAN 的对抗训练与扩散蒸馏结合,是第一个在大规模基础模型上实现单步实时生成的方法(SDXL-Turbo 即基于该方法):
$$\mathcal{L}_{\text{ADD}} = \mathcal{L}_{\text{adv}}^{G}\left( \hat{x}_\theta(x_s, s), \phi \right) + \lambda\, \mathcal{L}_{\text{distill}}\left( \hat{x}_\theta(x_s, s), \psi \right)$$| 符号 | 含义 |
|---|---|
| $\hat{x}_\theta(x_s, s)$ | 学生从带噪输入 $x_s$ 一步生成的样本 |
| $\phi$ | 判别器的可训练参数(冻结的 DINOv2 特征网络 + 可训练的轻量判别头) |
| $\psi$ | 冻结的教师扩散模型参数 |
| $\mathcal{L}_{\text{adv}}^{G}$ | 生成器一侧的对抗损失 |
| $\mathcal{L}_{\text{distill}}$ | 分数蒸馏损失:把学生输出重新加噪到 $t$,让教师去噪,使学生输出向教师的去噪结果靠拢 |
| $\lambda$ | 损失平衡系数 |
ADD 的关键设计:
- 对抗损失:用预训练 ViT(DINOv2)提取特征做判别,迫使单步输出具有清晰的高频细节,避免少步蒸馏常见的模糊
- 蒸馏损失:利用大规模教师模型(如 SDXL)保持组合能力与文本语义的忠实度
- 性能:论文报告单步即明显优于已有少步方法(GAN、LCM),4 步达到其教师 SDXL 的水平12
- 后续发展:LADD(Latent ADD)13 不再依赖像素空间的 DINOv2 判别器,而是直接用预训练潜扩散模型自身的生成特征做判别,整个训练都在潜空间完成,支持高分辨率、多宽高比生成;应用于 SD3(8B)得到 SD3-Turbo,4 步无引导采样即可接近当时一流的文生图模型
5.3.3 InstaFlow:Reflow 的文本到图像应用
InstaFlow14 把 Rectified Flow(见 §6.5)的 Reflow 思想用于大规模文本到图像生成:先用教师 ODE 生成"噪声-图像"配对,在这些配对上重新训练,把弯曲的映射拉成近似直线,然后再把拉直后的流蒸馏成单步模型。路径足够直时,一步欧拉法就足够准确:
$$x_1 \approx x_0 + v_\theta(x_0, 0), \quad x_0 \sim \mathcal{N}(0, \mathbf{I})$$这里沿用 Rectified Flow 的约定:$t = 0$ 为噪声、$t = 1$ 为图像(与 §6.4 一致),$v_\theta$ 为学到的速度场。InstaFlow 在 MS COCO 2017-5k 上实现单步 FID 23.3(此前最好的渐进蒸馏为 37.2),验证了 Reflow 在复杂条件生成中的作用;细节见 §6.5.2。
5.3.4 分布匹配蒸馏(DMD):从"对齐轨迹"到"对齐分布”
逐点模仿教师轨迹的方法(PD、CD、Reflow)有一个共同的天花板:学生必须为每个噪声精确复现教师的那一个输出,这在一步之内很难做到。Distribution Matching Distillation(DMD)15 换了一个目标:只要求单步生成器 $G_\theta$ 产生的样本分布 $p_{\text{fake}}$ 与教师分布 $p_{\text{real}}$ 一致,即最小化(各噪声水平下的)KL 散度。其梯度可以写成两个分数函数之差:
$$\nabla_\theta D_{\mathrm{KL}}\left( p_{\text{fake}} \,\Vert\, p_{\text{real}} \right) \approx \mathbb{E}_{z, t, x_t}\left[ w_t \left( s_{\text{fake}}(x_t, t) - s_{\text{real}}(x_t, t) \right) \frac{\partial G_\theta(z)}{\partial \theta} \right]$$| 符号 | 含义 |
|---|---|
| $G_\theta(z)$ | 单步生成器,输入噪声 $z$ 直接输出图像 |
| $x_t$ | 把 $G_\theta(z)$ 前向加噪到 $t$ 时刻的样本 |
| $s_{\text{real}}$ | 教师扩散模型给出的分数(冻结) |
| $s_{\text{fake}}$ | 另一个扩散模型在生成器当前输出上在线训练得到的分数,代表"生成分布" |
| $w_t$ | 时间相关的归一化权重 |
直觉:$s_{\text{real}}$ 把样本推向真实分布的高密度区,$s_{\text{fake}}$ 则把样本推离生成分布已经"扎堆"的区域,二者之差给出"该往哪里改"的方向。这个梯度与第 7 章 3D 生成中的 SDS / VSD(§7.2.2)在形式上同源。
DMD 还加入了一个基于教师多步输出的回归损失以稳定训练,论文报告 ImageNet 64×64 上单步 FID 2.62、零样本 COCO-30k 上 FID 11.4915。DMD216 去掉了昂贵的回归数据集,改用双时间尺度更新稳定 $s_{\text{fake}}$ 的训练,并加入 GAN 损失直接利用真实数据,同时支持多步采样。
5.4 模型效率优化
前面的方法减少的是"步数",本节的方法减少的是"每一步的计算量",两者可以叠加使用。
5.4.1 Token 剪枝、合并与路由
扩散 Transformer(DiT,§6.1)把图像视为 patch 序列,自注意力的 $O(N^2)$ 复杂度($N$ 为 token 数)是主要瓶颈。代表性思路包括:
- Token Merging(ToMe for SD)17:按相似度把冗余 token 合并后再做注意力,计算完再"拆回去",无需训练即可加速 Stable Diffusion
- Token Pruning:利用注意力图等重要性分数,动态跳过低重要度的 token
- Token 路由(Token Routing):如 TREAD18,在训练时让随机选出的一部分 token 绕过中间若干层、直接送往更深层,在降低训练计算量的同时提升收敛速度
动态剪枝 / 路由的共同思想可以示意为(并非某一篇论文的具体公式):
$$\rho_t = f\left( \mathrm{Entropy}(A_t),\, t \right)$$| 符号 | 含义 |
|---|---|
| $\rho_t$ | 时间步 $t$ 的 token 保留比例 |
| $A_t$ | 当前步的注意力分布,$\mathrm{Entropy}(\cdot)$ 为其熵 |
| $f$ | 决定保留多少 token 的规则或小网络 |
5.4.2 缓存策略:DeepCache 与 FORA
扩散采样是迭代进行的,相邻时间步的中间特征高度相似。缓存策略利用这种时间冗余,跳过重复计算。
DeepCache19 针对 U-Net 设计。U-Net 深层(低分辨率)分支输出的高层语义特征在相邻步之间变化很慢,而浅层分支计算很便宜。因此 DeepCache 每隔若干步完整计算一次并缓存深层上采样分支的高层特征,中间各步只重新计算浅层分支,再通过 skip connection 与缓存特征拼接。论文报告 Stable Diffusion v1.5 上约 2.3 倍加速(CLIP Score 仅下降 0.05)19:
| |
FORA(Fast-FORward CAching)20 专为 DiT 架构设计,缓存各层 Attention 和 MLP 的中间输出:
| 参数 | 含义 | 典型值 |
|---|---|---|
| $N$ | 缓存间隔 | 2–5 |
cache[Attn][k] | 第 $k$ 层注意力输出 | — |
cache[MLP][k] | 第 $k$ 层 MLP 输出 | — |
FORA 采用静态缓存:每隔 $N$ 步重新计算并缓存特征,中间 $N - 1$ 步直接复用。论文报告可在 DiT 上获得数倍加速,而 FID、IS 只受轻微影响,且无需重新训练20。
进阶缓存方法:
- $\Delta$-DiT21:发现 DiT 前部 block 主要决定轮廓、后部 block 主要决定细节,因此在采样早期缓存后部 block、在后期缓存前部 block
- TeaCache22:用经时间步嵌入调制后的输入差异来估计输出差异(再经多项式重标定),据此自适应决定哪些步可以复用缓存,主要面向视频扩散模型
- TaylorSeer23:从"复用"走向"预测"——用历史缓存特征的有限差分近似高阶导数,再用泰勒展开预测未来时间步的特征,在高加速比下误差更小
5.5 代码实践:多采样器统一接口
下面的封装基于 diffusers 的调度器(scheduler),用同一套接口切换不同求解器:
| |
| 参数 | 说明 |
|---|---|
scheduler_name | 求解器类型:ddpm / ddim / dpm++ / unipc / deis |
num_steps | 采样步数,通常 10–50 |
cfg_scale | 引导尺度 $w$,按 §3.3.2 第一种写法 $\hat{\epsilon} = \epsilon_{\text{uncond}} + w(\epsilon_{\text{cond}} - \epsilon_{\text{uncond}})$;$w = 1$ 等价于不使用 CFG,$w > 1$ 时启用,常用 5–10 |
model | 噪声预测 U-Net 或 DiT |
Note
这段代码是概念示意:实际使用时,调度器应从预训练模型的配置中加载(如
DPMSolverMultistepScheduler.from_pretrained(..., subfolder="scheduler")),以保证噪声调度、预测类型($\epsilon$ / $v$)与训练一致;无条件分支通常使用空文本的嵌入,而不是全零张量。
5.6 本章小结与选型指南
| 应用场景 | 推荐采样器 | 推荐步数 | 关键考量 |
|---|---|---|---|
| 最高质量,无实时要求 | DDPM / DPM-Solver++ | 100–1000 | 质量优先,接受慢速 |
| 通用高质量生成 | DPM-Solver++(2M) / UniPC | 15–25 | 质量与速度平衡 |
| 实时交互(<1 秒) | ADD / DMD2 / LCM / InstaFlow | 1–4 | 需要蒸馏模型 |
| 图像编辑 / 反演 | DDIM | 50 | 确定性保证可复现、可反演 |
| 文本到图像(大 CFG) | DPM-Solver++(2M) / UniPC | 15–20 | 大引导尺度下的稳定性 |
| 算力受限设备 | DeepCache + DDIM / DPM-Solver++ | 20–50(缓存加速) | 训练无关加速 |
| DiT 架构部署 | FORA / TeaCache + DPM-Solver++ | 20(缓存加速) | 专为 Transformer 优化 |
采样加速已经从最初的训练无关 ODE 求解器,发展为数值方法、时间表优化、知识蒸馏、对抗训练和架构优化多线并进的格局。实际部署时推荐分层加速:先选高阶求解器(DPM-Solver++ 或 UniPC)把步数压到 15–25 步,必要时配合优化过的时间表(如 AYS);若仍需加速,叠加缓存策略(DeepCache / FORA / TeaCache);对极致速度要求,再换用蒸馏模型(ADD、DMD2、LCM)实现 1–4 步生成。
第6章:前沿范式:DiT、Consistency Models 与 Flow Matching
扩散模型正在经历三个方向上的范式转变:骨干网络从卷积 U-Net 走向 Transformer;采样从多步迭代走向单步 / 少步生成;训练目标从分数匹配走向更一般的流匹配。本章依次讨论这三条主线:Diffusion Transformers(DiT)作为新一代可扩展骨干网络,Consistency Models 作为少步生成的理论框架,以及 Flow Matching 及其变体作为统一生成建模的数学范式。
6.1 DiT:Diffusion Transformers
6.1.1 架构设计与创新
Diffusion Transformers(DiT)由 Peebles 与 Xie 提出(ICCV 2023)24,核心思想是把 Vision Transformer(ViT)引入(潜)扩散模型,取代传统的 U-Net 骨干。DiT 先把潜空间表示"切块"(patchify)成 token 序列,再交给标准 Transformer 块处理:
$$z \in \mathbb{R}^{I \times I \times C} \xrightarrow{\text{Patchify}} \text{tokens} \in \mathbb{R}^{(I/p)^2 \times d}$$| 符号 | 含义 |
|---|---|
| $I$ | 潜空间特征图的边长(如 256×256 图像经 8 倍下采样 VAE 后 $I = 32$) |
| $p$ | patch 大小(DiT-XL/2 中的"/2"即 $p = 2$) |
| $C$ | 潜空间通道数(SD-VAE 为 4) |
| $d$ | Transformer 隐藏维度 |
| $(I/p)^2$ | 序列长度(token 数) |
DiT 比较了多种条件注入方式(in-context token、cross-attention、adaLN、adaLN-Zero),其中 adaLN-Zero 效果最好。它由两部分组成:
① 自适应层归一化(adaLN):LayerNorm 不再使用固定的可学习仿射参数,而是由条件嵌入 $c$(时间步嵌入与类别嵌入之和)回归出缩放和平移:
$$\mathrm{adaLN}(h, c) = \left( 1 + \gamma(c) \right) \odot \frac{h - \mu(h)}{\sqrt{\sigma^2(h) + \varepsilon}} + \beta(c)$$② 零初始化的门控残差(Zero):每个残差分支的输出再乘以一个由 $c$ 回归出的逐维门控 $\alpha(c)$:
$$h \leftarrow h + \alpha(c) \odot \mathrm{Block}\left( \mathrm{adaLN}(h, c) \right)$$回归 $\gamma, \beta, \alpha$ 的线性层初始化为零,因此训练开始时 $\alpha = 0$,每个 DiT 块都是恒等映射,这让深层网络的训练更稳定。
| 符号 | 含义 |
|---|---|
| $\gamma(c), \beta(c)$ | 由条件嵌入回归出的缩放与平移(代码中写作 scale、shift,并以 $1 + \gamma$ 的形式作用) |
| $\alpha(c)$ | 残差连接前的逐维门控(代码中的 gate),零初始化 |
| $\mu(h), \sigma^2(h)$ | 输入特征 $h$ 在特征维上的均值与方差 |
| $\varepsilon$ | 防止除零的小常数 |
| $\odot$ | 逐元素相乘 |
DiT 块的结构为(注意力分支和 FFN 分支各有一组 shift / scale / gate,共 6 组参数):
| |
| 参数 | 说明 | 典型值 |
|---|---|---|
hidden_size | 隐藏维度 | 384(S)– 1152(XL) |
num_heads | 注意力头数 | 6(S)– 16(XL) |
mlp_ratio | FFN 扩展比率 | 4.0 |
num_blocks | DiT 块堆叠数 | 12(S/B)– 28(XL) |
6.1.2 可扩展性:越大越好
DiT 最重要的贡献是验证了 Transformer 在扩散模型上的可扩展性:论文用前向计算量(Gflops)衡量模型复杂度,发现无论是加深 / 加宽网络,还是减小 patch(增加 token 数),Gflops 越高,FID 越低,二者高度相关。下表为 ImageNet 256×256、patch 大小 $p = 2$ 时各规模模型的结果24:
| 模型 | 参数量 | FID-50K(训练 400K 步,无 CFG) | Gflops |
|---|---|---|---|
| DiT-S/2 | 33M | 68.4 | 6.1 |
| DiT-B/2 | 130M | 43.5 | 23.0 |
| DiT-L/2 | 458M | 23.3 | 80.7 |
| DiT-XL/2 | 675M | 19.5 | 118.6 |
| DiT-XL/2(训练 7M 步,CFG = 1.5) | 675M | 2.27 | 118.6 |
FID 随计算量增加而稳定下降,论文中最大的 DiT-XL/2 训练到 7M 步时仍未观察到饱和。这种可预测的扩展性使 DiT 成为大规模训练的理想选择:
- 参数量可平滑扩展至数十亿(如 Hunyuan-DiT、Flux、SD3 的 MMDiT 变体,以及 Sora 等视频模型)
- 工程友好:可以直接复用为大语言模型发展出来的数据并行、模型并行等成熟基础设施
- 统一时空处理:视频只是在时间维上多出来的一串 patch(见 §7.1)
6.1.3 DiT 与 U-Net 的对比
graph LR
subgraph U-Net["U-Net 架构"]
U1["Encoder
多尺度卷积"] --> U2["Bottleneck
注意力"] --> U3["Decoder
上采样+Skip"]
end
subgraph DiT["DiT 架构"]
D1["Patchify
线性投影"] --> D2["Transformer Blocks
×N"] --> D3["Unpatchify
重建图像"]
end
U1 -.->|"特点:局部归纳偏置
多尺度特征"| U1
D2 -.->|"特点:全局注意力
可预测缩放"| D2
| 维度 | U-Net | DiT |
|---|---|---|
| 归纳偏置 | 强(局部性、平移等变性) | 弱(全局自注意力) |
| 长程依赖 | 主要依赖低分辨率层的注意力 | 任意 token 之间直接交互 |
| 条件注入 | 时间步用 AdaGN / 嵌入相加,文本用 cross-attention | adaLN-Zero 自适应调制(文本模型常再加 cross-attention 或联合注意力) |
| 可扩展性 | 加大规模的收益不够规律 | 计算量与 FID 高度相关,扩展可预测 |
| 计算复杂度 | 卷积对像素数线性 | 注意力对 token 数为 $O(N^2)$ |
| 模态统一 | 视频需设计 3D / 伪 3D 卷积 | 统一的时空 token 序列 |
| 代表模型 | SD 1.5 / 2.1、SDXL | SD3、Flux、Sora、HunyuanDiT |
DiT 的局限在于自注意力的二次复杂度。不过在常见图像分辨率下它仍可接受:256×256 图像经 VAE 得到 $32 \times 32$ 的潜变量,$p = 2$ 时只有 $16^2 = 256$ 个 token;512×512 时也只有 $32^2 = 1024$ 个。Hourglass Diffusion Transformer(HDiT)等后续工作引入层次化(沙漏形)结构,使 Transformer 能够直接在高分辨率像素空间上高效工作。
6.2 Consistency Models:一致性模型
Consistency Models(CM)25 由 OpenAI 的 Song 等人于 2023 年提出(ICML 2023),目标是通过自一致性约束实现单步或少步生成。
6.2.1 核心思想:一致性函数
回忆 §1.7.3:概率流 ODE 把每个噪声点 $x_T$ 确定性地连到一个数据点。同一条轨迹上的所有点,“终点"都相同。CM 直接学习这个"一步跳到终点"的映射,即一致性函数 $f: (x_t, t) \mapsto x_\varepsilon$:
$$f(x_t, t) = f(x_{t'}, t'), \quad \forall\, t, t' \in [\varepsilon, T] \text{,且 } x_t, x_{t'} \text{ 位于同一条 PF-ODE 轨迹上}$$| 符号 | 含义 |
|---|---|
| $f$ | 一致性函数 |
| $x_t$ | 时刻 $t$ 的带噪样本(CM 采用 EDM 的设定,$t$ 即噪声标准差 $\sigma$) |
| $\varepsilon$ | 一个很小的正数(如 0.002),为数值稳定,轨迹终点取在 $t = \varepsilon$ 而非 $0$ |
| $x_\varepsilon$ | 轨迹终点,近似干净数据 |
| $T$ | 最大噪声水平(如 80) |
为了自动满足边界条件 $f(x_\varepsilon, \varepsilon) = x_\varepsilon$,CM 采用跳连参数化:
$$f_\theta(x, t) = c_{\text{skip}}(t)\, x + c_{\text{out}}(t)\, F_\theta(x, t), \qquad c_{\text{skip}}(t) = \frac{\sigma_{\text{data}}^2}{(t - \varepsilon)^2 + \sigma_{\text{data}}^2}, \quad c_{\text{out}}(t) = \frac{\sigma_{\text{data}} (t - \varepsilon)}{\sqrt{\sigma_{\text{data}}^2 + t^2}}$$| 符号 | 含义 |
|---|---|
| $c_{\text{skip}}(t)$ | 跳连系数,满足 $c_{\text{skip}}(\varepsilon) = 1$;噪声越大越接近 0 |
| $c_{\text{out}}(t)$ | 输出缩放系数,满足 $c_{\text{out}}(\varepsilon) = 0$ |
| $F_\theta$ | 主干神经网络(自由参数化) |
| $\sigma_{\text{data}}$ | 数据标准差(图像常取 0.5),与 EDM 的预处理一致(§2.4.2) |
6.2.2 Consistency Distillation:从扩散模型蒸馏
一致性蒸馏(CD)把预训练扩散模型蒸馏为 CM。做法是:先把数据加噪到 $t_{n+1}$ 得到 $x_{t_{n+1}}$,再用教师扩散模型驱动的 ODE 求解器往回走一小步,得到同一轨迹上的相邻点 $\hat{x}_{t_n}^{\phi}$,然后要求学生在这两个点上的输出一致:
$$\mathcal{L}_{\text{CD}}(\theta, \theta^-) = \mathbb{E}\left[ \lambda(t_n)\, d\left( f_\theta(x_{t_{n+1}}, t_{n+1}),\; f_{\theta^-}(\hat{x}_{t_n}^{\phi}, t_n) \right) \right]$$| 符号 | 含义 |
|---|---|
| $\theta$ | 正在训练的一致性模型参数 |
| $\theta^-$ | 目标网络参数,为 $\theta$ 的指数移动平均(EMA),且不回传梯度(stop-gradient) |
| $\phi$ | 冻结的预训练扩散模型(教师),只用于 ODE 求解 |
| $x_{t_{n+1}}$ | 由数据前向加噪得到的样本 $x + t_{n+1} z$ |
| $\hat{x}_{t_n}^{\phi}$ | 用教师驱动的 ODE 求解器从 $x_{t_{n+1}}$ 走一步到 $t_n$ 的数值解 |
| $\lambda(t_n)$ | 时间相关的权重函数 |
| $d(\cdot, \cdot)$ | 距离度量(原文以 LPIPS 效果最好) |
直觉:只要相邻两点的输出总是一致,沿着轨迹"传递"下去,整条轨迹上的输出就都一致,并最终被边界条件钉在 $x_\varepsilon$ 上。
CD 的关键设计:
- ODE 求解器:使用 Heun 二阶求解器(§2.4.4),CIFAR-10 上离散化步数 $N = 18$ 效果最好
- 距离度量:LPIPS 优于 $\ell_1$ 和 $\ell_2$,因为它更符合感知相似性
- EMA 目标网络:用 $\theta$ 的 EMA 构造目标,提供更平稳的监督信号(注意区分:这里的"目标网络"不是教师扩散模型 $\phi$)
- 性能:CIFAR-10 上单步 FID 3.55、两步 FID 2.93,ImageNet 64×64 上单步 FID 6.2025
6.2.3 Consistency Training:从头训练
一致性训练(CT)不依赖预训练扩散模型,直接从数据训练 CM。它的关键技巧是:用同一个噪声 $z$ 把同一个数据点 $x$ 加噪到两个相邻的噪声水平,这两个点可以看作"同一条轨迹上的近似相邻点”(这相当于用无偏的单样本估计替代教师的分数):
$$\mathcal{L}_{\text{CT}}(\theta, \theta^-) = \mathbb{E}\left[ \lambda(t_n)\, d\left( f_\theta(x + t_{n+1} z,\; t_{n+1}),\; f_{\theta^-}(x + t_n z,\; t_n) \right) \right], \quad z \sim \mathcal{N}(0, \mathbf{I})$$| 符号 | 含义 |
|---|---|
| $t_n$ | 离散时间网格 $\{t_n\}_{n=1}^{N}$ 中的第 $n$ 个噪声水平 |
| $x$ | 训练数据 |
| $z$ | 两项共用的同一份高斯噪声 |
CT 对超参数比较敏感,原文采用随训练进度逐步增大离散化步数 $N$ 并调整 EMA 衰减率的课程式调度;原始 CT 在 CIFAR-10 上单步 FID 为 8.70,与 CD 仍有差距。
6.2.4 自一致性与多步采样
CM 的多步采样通过"去噪 → 重新加噪 → 再去噪“的交替实现渐进精化:
- 从 $\hat{x}_T \sim \mathcal{N}(0, T^2 \mathbf{I})$ 出发,得到 $x \leftarrow f_\theta(\hat{x}_T, T)$;
- 对选定的递减噪声水平 $\tau_1 > \tau_2 > \dots > \tau_{N-1}$ 依次执行:
每一轮先把当前估计重新加噪到较低的噪声水平,再一步映射回数据,用额外的计算换取质量。
| 采样方式 | 步数 | 特点 |
|---|---|---|
| 单步 | 1 | 速度最快,质量略低 |
| 多步 | 2–5 | 质量提升,速度仍远快于常规扩散采样 |
| 零样本编辑 | 可变 | 结合掩码或约束,可直接做修复、上色、超分辨率等任务 |
6.2.5 一致性模型的改进:iCT 与 sCM
- iCT(Improved Consistency Training)26:Song 与 Dhariwal 分析了 CT 的理论,发现目标网络中的 EMA 是一个被忽视的缺陷,因此去掉目标网络的 EMA;同时用鲁棒统计中的 Pseudo-Huber 损失替代会带来评测偏差的 LPIPS,采用对数正态的噪声采样和"每隔固定迭代数将离散步数加倍"的课程。不借助任何蒸馏,单步 FID 在 CIFAR-10 上达到 2.51、ImageNet 64×64 上达到 3.25,两步时进一步降到 2.24 和 2.77,均超过 CD。
- sCM(连续时间一致性模型)27:离散时间 CM 引入了额外超参数与离散化误差,而以往的连续时间版本训练不稳定。sCM 提出统一扩散模型与 CM 参数化的简化框架(TrigFlow),找出不稳定的根源,并改进参数化、网络结构和训练目标,把连续时间 CM 训练扩展到 15 亿参数(ImageNet 512×512);仅用两步采样,FID 在 CIFAR-10、ImageNet 64×64 和 ImageNet 512×512 上分别达到 2.06、1.48、1.88。
6.2.6 Latent Consistency Models(LCM)与 LCM-LoRA
LCM28 把一致性蒸馏搬到 Stable Diffusion 的潜空间,并把 CFG 直接纳入:它把带引导的反向过程看作一个"增广的"概率流 ODE,让学生直接预测这个 ODE 的解,因此采样时不再需要两次前向。论文报告从预训练的带 CFG 的潜扩散模型蒸馏一个 768×768、2–4 步的 LCM 只需约 32 个 A100 GPU 小时。
LCM-LoRA29 进一步只用 LoRA 参数做蒸馏,显存占用小得多,并发现蒸馏得到的 LoRA 可以作为通用加速模块:直接插到同一基座的各种微调模型或风格 LoRA 上,无需再训练即可少步(约 2–8 步)出图。可以把它理解为一个"神经网络版的 PF-ODE 求解器”。
6.3 Consistency Trajectory Models(CTM)
Consistency Trajectory Models(CTM)30 由 Kim 等人提出(ICLR 2024),把 CM 的"只能跳到终点"推广为轨迹上任意时刻到任意更早时刻的映射:
$$G_\theta(x_t, t, s) \approx x_s, \quad \forall\, s \le t$$| 符号 | 含义 |
|---|---|
| $t$ | 起始时间(噪声更大的一侧) |
| $s$ | 目标时间(更干净的一侧) |
| $x_s$ | 从 $x_t$ 沿 PF-ODE 演化到 $s$ 的解 |
CTM 的网络参数化借鉴了 ODE 精确解的一阶形式(类 DDIM 的插值):
$$G_\theta(x_t, t, s) = \frac{s}{t}\, x_t + \left( 1 - \frac{s}{t} \right) g_\theta(x_t, t, s)$$| 符号 | 含义 |
|---|---|
| $g_\theta$ | 神经网络主体 |
| $\frac{s}{t},\, 1 - \frac{s}{t}$ | 插值系数,保证 $s = t$ 时 $G_\theta(x_t, t, t) = x_t$(恒等映射) |
两个特例很有启发:$s = 0$ 时 $G_\theta(x_t, t, 0) = g_\theta(x_t, t, 0)$,就是 CM 的一致性函数;而 $s \to t$ 时,$g_\theta(x_t, t, t)$ 近似去噪器 $\mathbb{E}[x_0 \mid x_t]$,由 Tweedie 公式(§1.6)可以直接得到分数。因此同一个网络既能大步跳跃,也能输出分数。
CTM 的优势:
- 灵活性:可以从任意噪声水平跳到任意更干净的水平,支持"长跳 + 加噪"的确定性与随机混合采样,计算预算增加时质量单调提升(避免了 CM 多步采样时可能出现的质量下降)
- 统一框架:同时涵盖扩散模型(小步长)和一致性模型(跳到终点)两种特例
- 训练:结合轨迹一致性损失、去噪分数匹配(DSM)损失与对抗损失
- 性能:单步 FID 在 CIFAR-10 上达到 1.73、ImageNet 64×64 上达到 1.9230
- 可控生成:能输出分数,因此可以直接复用扩散模型社区的引导与条件生成方法,也能计算似然
6.4 Flow Matching:流匹配
Flow Matching(FM)31 由 Lipman 等人提出(ICLR 2023),为连续归一化流(CNF)提供了免模拟训练(simulation-free training)框架:训练时不需要解 ODE,只需对一个回归目标做随机梯度下降。
Note
本节和 §6.5 沿用 Flow Matching / Rectified Flow 原论文的约定:$t = 0$ 为噪声、$t = 1$ 为数据,下标 $x_0$ 表示噪声、$x_1$ 表示数据。这与第 1–2 章和第 5 章扩散模型中"$x_0$ 为数据"的约定正好相反,阅读时请注意。§6.4.3 给出两种约定之间的换算,§6.6 的 MeanFlow 则改回"$t = 0$ 为数据"的约定。
6.4.1 条件流匹配(CFM)
FM 学习一个时间相关的速度场,通过 ODE 把噪声分布 $p_0$ 连续地推送到数据分布 $p_1$:
$$\frac{\mathrm{d}x(t)}{\mathrm{d}t} = v_\theta(x(t), t), \quad x(0) \sim p_0, \quad x(1) \sim p_1$$| 符号 | 含义 |
|---|---|
| $v_\theta(x, t)$ | 参数化速度场(神经网络) |
| $p_0$ | 源分布(通常为标准高斯) |
| $p_1$ | 目标数据分布 |
| $t \in [0, 1]$ | 连续时间变量 |
理想情况下,我们希望 $v_\theta$ 回归到能生成边际概率路径 $p_t$ 的真实速度场 $u_t(x)$:$\mathcal{L}_{\text{FM}} = \mathbb{E}_{t, x \sim p_t}\left[ \lVert v_\theta(x, t) - u_t(x) \rVert^2 \right]$。但 $u_t(x)$ 本身不可计算。条件流匹配(Conditional Flow Matching, CFM)的关键在于改为回归可计算的条件速度场 $u_t(x \mid z)$:
$$\mathcal{L}_{\text{CFM}}(\theta) = \mathbb{E}_{t \sim \mathcal{U}[0,1],\, z \sim q(z),\, x \sim p_t(\cdot \mid z)} \left[ \left\lVert v_\theta(x, t) - u_t(x \mid z) \right\rVert^2 \right]$$| 符号 | 含义 |
|---|---|
| $z$ | 条件变量(如一个数据点 $x_1$,或一对噪声-数据 $(x_0, x_1)$) |
| $q(z)$ | 条件变量的分布 |
| $u_t(x \mid z)$ | 已知解析形式的条件速度场 |
| $p_t(x \mid z)$ | 条件概率路径 |
为什么可以这样替换? 真实边际速度场恰好是条件速度场的后验平均 $u_t(x) = \mathbb{E}\left[ u_t(x \mid z) \mid x_t = x \right]$,由此可以证明 $\nabla_\theta \mathcal{L}_{\text{FM}} = \nabla_\theta \mathcal{L}_{\text{CFM}}$。也就是说,两个目标的最优解相同,回归"每条单独的路径"就等价于回归"所有路径叠加后的流"——这与去噪分数匹配用条件分数替代边际分数(§1.5.3)是同一个思想。
对于高斯条件路径 $p_t(x \mid x_1) = \mathcal{N}\left(x; \mu_t(x_1), \sigma_t(x_1)^2 \mathbf{I}\right)$,条件速度场有通用公式:
$$u_t(x \mid x_1) = \frac{\sigma_t'(x_1)}{\sigma_t(x_1)} \left( x - \mu_t(x_1) \right) + \mu_t'(x_1)$$其中 $'$ 表示对 $t$ 求导。Lipman 等人推荐的 OT 路径取 $\mu_t = t x_1$、$\sigma_t = 1 - (1 - \sigma_{\min}) t$,对应的样本与回归目标为:
$$x_t = \left( 1 - (1 - \sigma_{\min}) t \right) x_0 + t x_1, \qquad u_t = x_1 - (1 - \sigma_{\min}) x_0$$即从噪声到数据走匀速直线($\sigma_{\min}$ 是一个很小的数,如 $10^{-4}$)。论文发现这种路径比扩散路径训练更快、采样更快、泛化更好31。
6.4.2 小批量最优输运流匹配(OT-CFM)
上面的 CFM 把噪声和数据独立配对(耦合 $q = p_0 \otimes p_1$):每条单独的路径是直的,但不同路径会彼此交叉,叠加后得到的边际流仍然是弯的。OT-CFM32 引入小批量最优输运(minibatch Optimal Transport),先在每个小批量内为噪声和数据求一个低运输成本的配对,再在配对上做 CFM:
$$\pi^* = \arg\min_{\pi \in \Pi(p_0, p_1)} \mathbb{E}_{(x_0, x_1) \sim \pi} \left[ c(x_0, x_1) \right]$$| 符号 | 含义 |
|---|---|
| $\pi$ | 噪声-数据联合分布(耦合),边际分别为 $p_0$ 和 $p_1$ |
| $c(x_0, x_1)$ | 运输成本(通常为 $\lVert x_0 - x_1 \rVert^2$) |
| $\pi^*$ | 最优输运计划(实践中只在每个小批量内近似求解) |
给定配对 $(x_0, x_1) \sim \pi^*$,条件路径与条件速度为(独立耦合版本 I-CFM 使用的也是同样的直线路径,区别只在于怎么配对):
$$p_t(x \mid x_0, x_1) = \mathcal{N}\left(x;\, (1 - t) x_0 + t x_1,\, \sigma^2 \mathbf{I}\right), \qquad u_t(x \mid x_0, x_1) = x_1 - x_0$$| 符号 | 含义 |
|---|---|
| $x_0 \sim p_0$ | 噪声样本 |
| $x_1 \sim p_1$ | 数据样本 |
| $\sigma$ | 路径宽度(通常很小或为零) |
| $u_t$ | 恒定的直线速度 |
OT 配对的优势:
- 边际流更直:配对后路径交叉更少,避免了独立配对时边际轨迹的弯曲
- 采样更快:更直的流需要更少的 ODE 积分步数
- 训练更稳定:回归目标的方差更低。此外 CFM 不要求源分布是高斯分布,也可以用于两个任意分布之间的转换(如图像翻译、单细胞轨迹推断)
6.4.3 Flow Matching 与扩散模型的统一视角
扩散模型可以看作 FM 的特例:Lipman 等人证明,VP / VE 扩散对应的边际路径都属于 FM 所允许的高斯概率路径族,只是路径不是直线。FM 的优势在于灵活性:可以使用任意非扩散路径,包括直线(OT)路径、黎曼流形上的测地线等。Stochastic Interpolants33 从插值的角度给出了统一流与扩散的另一套框架。
两种参数化可以互相换算。 用扩散的约定写插值 $x_t = \alpha_t x_0 + \sigma_t \epsilon$($x_0$ 为数据),其速度为 $v_t = \dot{\alpha}_t x_0 + \dot{\sigma}_t \epsilon$(点号表示对 $t$ 求导)。因此只要网络给出了 $\hat{\epsilon}$(或 $\hat{x}_0$),就能算出 $\hat{v}$,反之亦然。以 SD3 等模型采用的 Rectified Flow 插值 $\alpha_t = 1 - t$、$\sigma_t = t$ 为例:
$$v_t = \epsilon - x_0, \qquad \hat{x}_0 = x_t - t\, \hat{v}, \qquad \hat{\epsilon} = x_t + (1 - t)\, \hat{v}, \qquad \nabla_x \log p_t(x_t) \approx -\frac{\hat{\epsilon}}{t}$$(这里 $t = 1$ 为噪声,与本节开头的 FM 约定互为 $t \mapsto 1 - t$。)这说明"预测噪声"“预测数据"“预测速度"本质上是同一个模型的不同输出头,CFG、DDIM 式求解器等工具都可以在它们之间迁移。
实践中,时间步的采样分布对效果影响很大。SD334 系统比较后发现,对 $t$ 使用 logit-normal 采样(把更多训练样本放在中间噪声水平)效果最好:
$$\pi_{\text{ln}}(t; m, s) = \frac{1}{s \sqrt{2\pi}} \cdot \frac{1}{t (1 - t)} \exp\left( -\frac{\left( \operatorname{logit}(t) - m \right)^2}{2 s^2} \right), \qquad \operatorname{logit}(t) = \log \frac{t}{1 - t}$$
graph TD
A[生成建模框架] --> B[扩散模型
Score Matching]
A --> C[Flow Matching
Velocity Regression]
B --> D[VP-SDE/VE-SDE
弯曲路径]
C --> E[OT路径/OT-CFM
更直的路径]
C --> F[一般流
任意路径]
D --> G[通常需要更多步]
E --> H[常用10-50步]
F --> I[领域定制路径]
6.5 Rectified Flow:矫正流
Rectified Flow(RF)35 由 Liu、Gong 与 Liu 提出(ICLR 2023),与 FM 几乎同时独立提出、思想密切相关:同样用直线插值 $x_t = (1 - t) x_0 + t x_1$ 训练速度场。它的独特之处在于迭代 Reflow:通过"重新配对"把弯曲的噪声-数据耦合逐步拉直。
6.5.1 Reflow 算法
Rectified Flow 的第一轮训练(1-RF)与 FM 相同,使用独立耦合。之后的 Reflow 通过"模拟 → 重新配对 → 重训练"来拉直流:
- 模拟:从噪声 $x_0 \sim p_0$ 出发,用当前流 $v^{(k)}$ 解 ODE 得到 $\hat{x}_1 = \mathrm{ODESolve}\left(v^{(k)}, x_0\right)$
- 重新配对:把 $\left\{ \left(x_0, \hat{x}_1\right) \right\}$ 作为新的训练对(此时配对由 ODE 确定性给出,不再交叉)
- 重训练:在这些配对上用同样的直线插值目标训练新流 $v^{(k+1)}$
论文证明:每次矫正(rectification)都会得到一个新的确定性耦合,并且对任意凸代价函数,运输代价不会增加35。反复 Reflow 后,路径越来越直,粗糙的离散化(甚至一步欧拉)也能准确模拟:
$$x_1^{(k)} \approx x_0 + v^{(k)}\left(x_0, 0\right)$$| 符号 | 含义 |
|---|---|
| $v^{(k)}$ | 第 $k$ 轮 Reflow 后的速度场 |
| $x_0$ | 初始噪声 |
| $x_1^{(k)}$ | 第 $k$ 轮流生成的终点 |
在实践中,通常做 1–2 轮 Reflow 后再把流蒸馏成单步模型,因为每轮 Reflow 都需要生成大量配对,成本不低,且误差会逐轮累积。
6.5.2 InstaFlow:文本到图像的 Reflow
InstaFlow14 将 Reflow 应用于大规模文本条件生成。其关键贡献:
- 在 Stable Diffusion 的潜空间上执行 Reflow,提出"文本条件 Reflow + 蒸馏"的单步生成管线
- 发现 Reflow 对改善噪声与图像之间的配对、从而让后续蒸馏成功至关重要
- MS COCO 2017-5k 上单步 FID 23.3(扩大到 1.7B 参数后为 22.4);MS COCO 2014-30k 上单步 FID 13.1,单张推理约 0.09 秒
- 训练成本约 199 个 A100 GPU 天14
6.5.3 PeRFlow:分段矫正流
PeRFlow(Piecewise Rectified Flow)36 把时间轴 $[0, 1]$ 切成 $K$ 个窗口 $[t_{k-1}, t_k]$,在每个窗口内部分别做 Reflow:先用预训练教师在窗口内解 ODE,得到窗口两端的点 $x_{t_{k-1}}$ 与 $x_{t_k}$,再让学生在该窗口内回归连接两点的直线速度:
$$v(x_t, t) = \frac{x_{t_k} - x_{t_{k-1}}}{t_k - t_{k-1}}, \quad t \in [t_{k-1}, t_k]$$| 符号 | 含义 |
|---|---|
| $[t_{k-1}, t_k]$ | 第 $k$ 个时间窗口 |
| $x_{t_{k-1}}, x_{t_k}$ | 教师 ODE 在窗口两端给出的点 |
直觉:要把整条弯曲轨迹一次拉直很难,但把它近似成几段折线就容易得多;每段只需要一步,$K$ 段就只需要 $K$ 步。
PeRFlow 通过专门的参数化继承预训练扩散模型的知识,因此收敛快、迁移性好,可作为通用即插即用加速器:训练得到的加速权重可以兼容基于同一预训练模型的多种工作流(如 ControlNet、Wonder3D 等),无需重新训练36。
6.5.4 SlimFlow:步数与模型同时压缩
SlimFlow37 同时压缩推理步数和模型大小。Rectified Flow 框架依赖 Reflow 与蒸馏两步操作,而当学生比教师小很多时会出现两个新问题:Reflow 时大教师与小学生的初始化不匹配,以及小学生上的朴素蒸馏效果差。SlimFlow 分别提出:
- Annealing Reflow:以退火的方式进行 Reflow,缓解大教师与小学生之间的初始化不匹配
- Flow-Guided Distillation:在 Rectified Flow 框架下更有效地指导小模型蒸馏
- 结果:CIFAR-10 上得到 1570 万(15.7M)参数、单步 FID 5.02 的模型,优于此前的最好单步模型(FID 6.47,19.4M 参数)
6.6 MeanFlow、AlphaFlow 与 Decoupled MeanFlow
Note
本节沿用 MeanFlow 原文的约定:$z_t = (1 - t)\, x + t\, \epsilon$,即 $t = 0$ 为数据、$t = 1$ 为噪声(与 §6.4–§6.5 相反,与扩散模型相同)。此时条件速度为 $v_t = \epsilon - x$,采样从 $t = 1$ 走向 $t = 0$。
6.6.1 MeanFlow:用平均速度一步生成
MeanFlow38(Geng 等,2025)的核心洞察是:Flow Matching 学的是瞬时速度 $v(z_t, t)$,要靠很多小步积分才能走完轨迹;如果直接学习区间平均速度,就可以一步跨越任意长的区间。平均速度定义为位移除以时间:
$$u(z_t, r, t) = \frac{1}{t - r} \int_{r}^{t} v(z_\tau, \tau)\, \mathrm{d}\tau, \qquad z_r = z_t - (t - r)\, u(z_t, r, t)$$| 符号 | 含义 |
|---|---|
| $u(z_t, r, t)$ | 从 $r$ 到 $t$ 的平均速度场($r \le t$) |
| $v(z_\tau, \tau)$ | 瞬时速度场 |
| $z_t$ | 时刻 $t$ 的状态 |
| $z_r$ | 时刻 $r$ 的状态(更接近数据) |
有了平均速度,一步生成就是 $z_0 = z_1 - u_\theta(z_1, 0, 1)$。
但积分本身不可算,怎么得到训练目标?对 $(t - r)\, u = \int_r^t v\, \mathrm{d}\tau$ 两边关于 $t$ 求全导数,可得 MeanFlow 恒等式:
$$u(z_t, r, t) = v(z_t, t) - (t - r) \frac{\mathrm{d}}{\mathrm{d}t} u(z_t, r, t), \qquad \frac{\mathrm{d}}{\mathrm{d}t} u = v(z_t, t)\, \partial_z u + \partial_t u$$它把"平均速度"用"瞬时速度 + 平均速度对时间的导数"表示出来,导数可以用一次雅可比-向量积(JVP)高效计算。于是训练目标为:
$$\mathcal{L}_{\text{MF}}(\theta) = \mathbb{E}_{t, r, x, \epsilon} \left[ \left\lVert u_\theta(z_t, r, t) - \mathrm{sg}\left( u_{\text{tgt}} \right) \right\rVert_2^2 \right], \qquad u_{\text{tgt}} = v_t - (t - r) \left( v_t\, \partial_z u_\theta + \partial_t u_\theta \right)$$其中 $v_t = \epsilon - x$ 为条件速度,$\mathrm{sg}(\cdot)$ 表示停止梯度。当 $r = t$ 时,目标退化为普通的 Flow Matching($u = v$);MeanFlow 在训练中混合一部分 $r = t$ 的样本。
MeanFlow 不需要预训练、蒸馏或课程学习,从头训练即可:ImageNet 256×256 上单步(1-NFE)FID 3.43,显著优于此前的单步扩散 / 流模型,大幅缩小了单步与多步模型之间的差距38。
6.6.2 AlphaFlow:理解并改进 MeanFlow
AlphaFlow($\alpha$-Flow)39 深入分析了 MeanFlow 的训练动态,发现其目标函数可以自然分解为两部分:
- 轨迹流匹配项(Trajectory Flow Matching):让模型匹配真实速度
- 轨迹一致性项(Trajectory Consistency):让模型满足自一致性
梯度分析表明,这两项强烈负相关,造成优化冲突和收敛缓慢。论文还发现 MeanFlow 中 $r = t$ 的"边界情形"监督实际上充当了轨迹流匹配的替代损失、缓解了冲突,但它占用了 MeanFlow 超过 75% 的训练计算。为此,$\alpha$-Flow 提出一族统一的目标:
$$\mathcal{L}_\alpha(\theta) = \mathbb{E}_{t, r, z_t} \left[ \alpha^{-1} \left\lVert u_\theta(z_t, r, t) - \left( \alpha\, \tilde{v}_{s,t} + (1 - \alpha)\, u_{\theta^-}(z_s, r, s) \right) \right\rVert_2^2 \right], \qquad s = \alpha r + (1 - \alpha) t$$| 符号 | 含义 |
|---|---|
| $\alpha \in (0, 1]$ | 插值参数,决定中间时刻 $s$ 在 $r$ 与 $t$ 之间的位置 |
| $\tilde{v}_{s,t}$ | 从 $t$ 到 $s$ 这一小段的条件速度(实现中为 $\epsilon - x$) |
| $z_s$ | 沿该速度从 $z_t$ 走到 $s$ 的点 $z_t - (t - s)\, \tilde{v}_{s,t}$ |
| $u_{\theta^-}$ | 停止梯度的模型输出 |
这一族目标把多种方法统一起来:$\alpha = 1$ 时为轨迹流匹配,$\alpha = \frac{1}{2}$ 时对应 Shortcut Model,$\alpha \to 0$ 时梯度与 MeanFlow 一致。AlphaFlow 据此采用课程学习:训练初期 $\alpha = 1$,再平滑退火到 $\alpha \to 0$(MeanFlow),从而把两个冲突的目标在时间上解耦:
- 在类别条件 ImageNet 256×256 上、使用原版 DiT 骨干从头训练,各规模下均稳定优于 MeanFlow
- 最大的 $\alpha$-Flow-XL/2+ 达到单步 FID 2.58、两步 FID 2.1539
- 对 $r = t$ 边界情形监督的依赖更低,训练计算分配更高效
6.6.3 Decoupled MeanFlow:把流模型改造成流映射
学习平均速度的模型(也称流映射,flow map)通常需要修改网络结构来同时接收 $r$ 和 $t$ 两个时间,这让它难以复用已经预训练好的流模型。Decoupled MeanFlow(DMF)40 提出了一个无需修改架构的解码策略:
其核心做法是把 DiT 的前若干个 block 视为"编码器”(仍以当前时间 $t$ 为条件),把最后几个 block 视为"解码器”,并把解码器的时间条件从当前时间 $t$ 换成目标时间 $r$:
$$h_{\text{out}} = \mathrm{Decoder}\left( h_{\text{enc}}, r \right), \qquad h_{\text{enc}} = \mathrm{Encoder}\left( z_t, t \right)$$| 符号 | 含义 |
|---|---|
| $h_{\text{enc}}$ | 编码器(前部 block)输出的中间表示 |
| $r$ | 目标时间(而非当前时间 $t$) |
| $\mathrm{Decoder}$ | 原始模型的最后若干个 block |
这样,预训练的流模型可以直接被改造成流映射。论文还发现,先训练流模型、再转换比从头训练流映射更高效、效果更好。DMF 的训练采用"Flow Matching 预热 + MeanFlow 微调"的两阶段策略:
| |
| 参数 | 含义 | 说明 |
|---|---|---|
warmup_steps | 预热步数 | 先用 FM 建立良好的流场(也可直接用预训练流模型初始化) |
use_cauchy | Cauchy 损失 | MeanFlow 损失方差大、易受离群值影响,Cauchy(Lorentzian)损失在零附近近似线性、能抑制大离群值 |
phi(t, r) | 自适应权重 | 按 $(t, r)$ 学习的损失加权函数(把残差建模为 Cauchy 分布做最大似然) |
r 采样 | 目标时间 | 用两个 logit-normal 样本取最大 / 最小值得到 $(t, r)$,并调整分布使 $t$ 与 $r$ 相距更远、$r$ 更靠近 0,以加强单步生成 |
DMF 的性能40:
- ImageNet 256×256:单步 FID 2.16,4 步 FID 1.51
- ImageNet 512×512:单步 FID 2.12,4 步 FID 1.68
- 4 步质量几乎追平多步流模型,推理速度提升 100 倍以上
6.7 前沿范式对比与总结
graph LR
subgraph Training["训练范式演进"]
T1["扩散模型
Score Matching"] --> T2["Flow Matching
Velocity Regression"]
T2 --> T3["Rectified Flow
Reflow拉直"]
T3 --> T4["MeanFlow
平均速度场"]
T4 --> T5["AlphaFlow/DMF
优化与兼容"]
end
subgraph Architecture["架构演进"]
A1["U-Net
卷积骨干"] --> A2["DiT
Transformer骨干"]
A2 --> A3["HDiT/MMDiT
层次化/多模态"]
end
subgraph Sampling["采样加速"]
S1["1000步
DDPM"] --> S2["50步
DDIM"]
S2 --> S3["10-20步
DPM-Solver++"]
S3 --> S4["1-4步
CM/ADD/DMD/DMF"]
end
| 范式 | 核心思想 | 训练方式 | 采样步数 | 代表模型 / 方法 | 优势 | 局限 |
|---|---|---|---|---|---|---|
| DiT | Transformer 替代 U-Net | 标准扩散 / 流训练 | 不变 | SD3、Flux、Sora | 可扩展、全局建模 | 注意力二次复杂度 |
| Consistency Models | 轨迹自一致性 | 蒸馏或从头训练 | 1–4 | CM、iCT、LCM、sCM | 单步 / 少步,支持零样本编辑 | 训练敏感,少步质量上限 |
| CTM | 任意时刻到任意时刻的跳跃 | 蒸馏 + DSM + 对抗 | 1–任意 | CTM | 灵活,可输出分数 | 训练复杂 |
| Flow Matching | 速度场回归 | 免模拟训练 | 10–50 | SD3、Flux | 训练高效、路径灵活 | 仍需多步采样 |
| OT-CFM | 小批量最优输运配对 | 免模拟训练 | 比 I-CFM 更少 | FM + minibatch OT | 边际流更直、方差更低 | 高维下小批量 OT 近似有限 |
| Rectified Flow | 迭代 Reflow 拉直 | Reflow + 蒸馏 | 1–4 | InstaFlow、PeRFlow | 可即插即用加速 | 需生成大量配对 |
| 分布匹配蒸馏 | 对齐分布而非轨迹 | 蒸馏(双分数网络) | 1–4 | DMD、DMD2 | 单步质量高 | 需额外训练 fake 分数网络 |
| MeanFlow | 平均速度场 | 从头训练 | 1–2 | MeanFlow | 无需蒸馏的单步生成 | 训练方差大,需 JVP |
| AlphaFlow | 课程学习解耦冲突目标 | 从头训练 | 1–2 | $\alpha$-Flow | 收敛更快、质量更高 | 需要设计课程 |
| Decoupled MeanFlow | 流模型转流映射 | 预训练 + 微调 | 1–4 | DMF | 兼容预训练流模型 | 需两阶段训练 |
6.8 代码实践:Flow Matching 基础实现
下面是 OT 路径(直线插值)条件流匹配的最小实现,时间约定同 §6.4($x_0$ 为噪声,$x_1$ 为数据):
| |
| 参数 | 说明 | 典型值 |
|---|---|---|
sigma | 路径随机性 | 0.0(确定性直线)或 0.001 |
num_steps | ODE 积分步数 | 20–50(可蒸馏至 1–4) |
backbone | 速度场网络 | DiT 或 U-Net |
cond | 条件信息 | 文本嵌入、类别嵌入等 |
Note
示例中
forward只接收(x_t, t),而compute_loss和sample传入了cond,实际使用时需按骨干网络的接口补上条件参数。实际训练中 $t$ 常改用 logit-normal 等非均匀分布采样(§6.4.3)。
参考文献
Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models. NeurIPS, 2020. ↩︎
Song J, Meng C, Ermon S. Denoising diffusion implicit models. ICLR, 2021. ↩︎
Lu C, Zhou Y, Bao F, Chen J, Li C, Zhu J. DPM-Solver: A fast ODE solver for diffusion probabilistic model sampling in around 10 steps. NeurIPS, 2022. ↩︎ ↩︎
Lu C, Zhou Y, Bao F, Chen J, Li C, Zhu J. DPM-Solver++: Fast solver for guided sampling of diffusion probabilistic models. arXiv:2211.01095, 2022(后发表于 Machine Intelligence Research). ↩︎ ↩︎
Saharia C, Chan W, Saxena S, et al. Photorealistic text-to-image diffusion models with deep language understanding (Imagen). NeurIPS, 2022. ↩︎
Zhao W, Bai L, Rao Y, Zhou J, Lu J. UniPC: A unified predictor-corrector framework for fast sampling of diffusion models. NeurIPS, 2023. ↩︎ ↩︎
Zhang Q, Chen Y. Fast sampling of diffusion models with exponential integrator. ICLR, 2023. ↩︎ ↩︎
Sabour A, Fidler S, Kreis K. Align your steps: Optimizing sampling schedules in diffusion models. ICML, 2024. ↩︎ ↩︎
Bao F, Li C, Zhu J, Zhang B. Analytic-DPM: An analytic estimate of the optimal reverse variance in diffusion probabilistic models. ICLR, 2022 (Outstanding Paper Award). ↩︎ ↩︎
Salimans T, Ho J. Progressive distillation for fast sampling of diffusion models. ICLR, 2022. ↩︎ ↩︎
Meng C, Rombach R, Gao R, et al. On distillation of guided diffusion models. CVPR, 2023. ↩︎
Sauer A, Lorenz D, Blattmann A, Rombach R. Adversarial diffusion distillation. ECCV, 2024. ↩︎ ↩︎
Sauer A, Boesel F, Dockhorn T, Blattmann A, Esser P, Rombach R. Fast high-resolution image synthesis with latent adversarial diffusion distillation. SIGGRAPH Asia, 2024. ↩︎
Liu X, Zhang X, Ma J, Peng J, Liu Q. InstaFlow: One step is enough for high-quality diffusion-based text-to-image generation. ICLR, 2024. ↩︎ ↩︎ ↩︎
Yin T, Gharbi M, Zhang R, Shechtman E, Durand F, Freeman W T, Park T. One-step diffusion with distribution matching distillation. CVPR, 2024. ↩︎ ↩︎
Yin T, Gharbi M, Park T, Zhang R, Shechtman E, Durand F, Freeman W T. Improved distribution matching distillation for fast image synthesis. NeurIPS, 2024. ↩︎
Bolya D, Hoffman J. Token merging for fast stable diffusion. CVPR Workshops, 2023. ↩︎
Krause F, Phan T, Gui M, Baumann S A, Hu V T, Ommer B. TREAD: Token routing for efficient architecture-agnostic diffusion training. arXiv:2501.04765, 2025. ↩︎
Ma X, Fang G, Wang X. DeepCache: Accelerating diffusion models for free. CVPR, 2024(arXiv:2312.00858). ↩︎ ↩︎
Selvaraju P, Ding T, Chen T, Zharkov I, Liang L. FORA: Fast-forward caching in diffusion transformer acceleration. arXiv:2407.01425, 2024. ↩︎ ↩︎
Chen P, Shen M, Ye P, et al. $\Delta$-DiT: A training-free acceleration method tailored for diffusion transformers. arXiv:2406.01125, 2024. ↩︎
Liu F, Zhang S, Wang X, et al. Timestep embedding tells: It’s time to cache for video diffusion model (TeaCache). CVPR, 2025. ↩︎
Liu J, Zou C, Lyu Y, Chen J, Zhang L. From reusing to forecasting: Accelerating diffusion models with TaylorSeers. ICCV, 2025. ↩︎
Peebles W, Xie S. Scalable diffusion models with transformers. ICCV, 2023. ↩︎ ↩︎
Song Y, Dhariwal P, Chen M, Sutskever I. Consistency models. ICML, 2023. ↩︎ ↩︎
Song Y, Dhariwal P. Improved techniques for training consistency models. ICLR, 2024. ↩︎
Lu C, Song Y. Simplifying, stabilizing and scaling continuous-time consistency models. ICLR, 2025. ↩︎
Luo S, Tan Y, Huang L, Li J, Zhao H. Latent consistency models: Synthesizing high-resolution images with few-step inference. arXiv:2310.04378, 2023. ↩︎
Luo S, Tan Y, Patil S, et al. LCM-LoRA: A universal Stable-Diffusion acceleration module. arXiv:2311.05556, 2023. ↩︎
Kim D, Lai C-H, Liao W-H, et al. Consistency trajectory models: Learning probability flow ODE trajectory of diffusion. ICLR, 2024. ↩︎ ↩︎
Lipman Y, Chen R T Q, Ben-Hamu H, Nickel M, Le M. Flow matching for generative modeling. ICLR, 2023. ↩︎ ↩︎
Tong A, Fatras K, Malkin N, et al. Improving and generalizing flow-based generative models with minibatch optimal transport. TMLR, 2024. ↩︎
Albergo M S, Vanden-Eijnden E. Building normalizing flows with stochastic interpolants. ICLR, 2023. ↩︎
Esser P, Kulal S, Blattmann A, et al. Scaling rectified flow transformers for high-resolution image synthesis (Stable Diffusion 3). ICML, 2024. ↩︎
Liu X, Gong C, Liu Q. Flow straight and fast: Learning to generate and transfer data with rectified flow. ICLR, 2023. ↩︎ ↩︎
Yan H, Liu X, Pan J, Liew J H, Liu Q, Feng J. PeRFlow: Piecewise rectified flow as universal plug-and-play accelerator. arXiv:2405.07510, 2024. ↩︎ ↩︎
Zhu Y, Liu X, Liu Q. SlimFlow: Training smaller one-step diffusion models with rectified flow. ECCV, 2024. ↩︎
Geng Z, Deng M, Bai X, Kolter J Z, He K. Mean flows for one-step generative modeling. arXiv:2505.13447, 2025. ↩︎ ↩︎
Zhang H, Siarohin A, Menapace W, Vasilkovsky M, Tulyakov S, Qu Q, Skorokhodov I. AlphaFlow: Understanding and improving MeanFlow models. arXiv:2510.20771, 2025. ↩︎ ↩︎
Lee K, Yu S, Shin J. Decoupled MeanFlow: Turning flow models into flow maps for accelerated sampling. arXiv:2510.24474, 2025. ↩︎ ↩︎
