深度学习扩散模型:基础与经典
作者:ResearchWriter_基础与经典 生成时间:2026-07-02
第1章:扩散模型数学基础与核心概念
1.1 引言与历史脉络
扩散模型(Diffusion Models)作为当前生成式人工智能领域最重要的技术范式之一,其理论根基横跨统计物理、随机过程和变分推断。2015年,Sohl-Dickstein等人1首次受非平衡统计力学启发,提出了通过前向扩散过程逐步破坏数据结构、再通过反向扩散过程恢复数据的生成模型框架。随后,Song & Ermon(2019)2从分数匹配(Score Matching)的角度重新审视这一问题,提出了噪声条件分数网络(NCSN);Ho等人(2020)3则发展了去噪扩散概率模型(DDPM),通过变分推断和简化的训练目标将扩散模型推向实用化。2021年,Song等人4进一步提出了基于随机微分方程(SDE)的统一框架,指出 NCSN 和 DDPM 分别是 VE-SDE 与 VP-SDE 这两类连续时间扩散过程的离散化,二者可以在同一套“分数 + SDE”的语言下描述。2022年,Karras等人5的EDM工作则系统阐明了扩散模型的设计空间,统一了预处理、损失权重和采样器的选择。本章将从数学基础出发,系统建立扩散模型的核心概念体系。
graph LR
A[2015 Sohl-Dickstein
扩散概率模型] --> B[2019 Song & Ermon
NCSN/Score Matching]
A --> C[2020 Ho et al.
DDPM]
B --> D[2021 Song et al.
Score SDE统一框架]
C --> D
D --> E[2022 Karras et al.
EDM设计空间]
E --> F[现代扩散模型
Stable Diffusion等]
1.2 前向扩散过程
扩散模型的核心思想是定义一个前向过程(Forward Process)——也称为扩散过程(Diffusion Process)——通过一系列马尔可夫链步骤逐步向数据样本中添加高斯噪声,直至数据分布完全退化为标准高斯分布。给定数据样本 $\mathbf{x}_0 \sim q(\mathbf{x}_0)$,前向过程定义如下:
$$ q(\mathbf{x}_t \mid \mathbf{x}_{t-1}) = \mathcal{N}\left(\mathbf{x}_t \mid \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I}\right) $$| 符号 | 含义 |
|---|---|
| $\mathbf{x}_0$ | 原始数据样本,维度为 $d$ |
| $\mathbf{x}_t$ | 第 $t$ 步加噪后的样本,$t \in \{1, \dots, T\}$ |
| $\beta_t$ | 第 $t$ 步的方差调度参数,$\beta_t \in (0, 1)$ |
| $T$ | 总扩散步数,通常 $T = 1000$ |
| $\mathbf{I}$ | 与数据同维度的单位矩阵 |
| $\mathcal{N}(\mu, \Sigma)$ | 均值为 $\mu$、协方差为 $\Sigma$ 的高斯分布 |
由于每一步都是条件高斯分布,前向过程的联合分布为:
$$ q(\mathbf{x}_{1:T} \mid \mathbf{x}_0) = \prod_{t=1}^{T} q(\mathbf{x}_t \mid \mathbf{x}_{t-1}) $$| 符号 | 含义 |
|---|---|
| $\mathbf{x}_{1:T}$ | 从 $t=1$ 到 $T$ 的所有中间变量 $\mathbf{x}_1, \dots, \mathbf{x}_T$ |
重参数化技巧:直接按马尔可夫链逐步采样效率很低。利用高斯分布的可加性,可以从 $\mathbf{x}_0$ 直接采样任意时刻 $t$ 的 $\mathbf{x}_t$:
$$ q(\mathbf{x}_t \mid \mathbf{x}_0) = \mathcal{N}\left(\mathbf{x}_t \mid \sqrt{\bar{\alpha}_t} \mathbf{x}_0, (1 - \bar{\alpha}_t) \mathbf{I}\right) $$其中 $\alpha_t = 1 - \beta_t$,$\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s$。等价地:
$$ \mathbf{x}_t = \sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t} \boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}) $$| 符号 | 含义 |
|---|---|
| $\alpha_t$ | $1 - \beta_t$,表示第 $t$ 步保留信号的比例 |
| $\bar{\alpha}_t$ | $\prod_{s=1}^{t} \alpha_s$,累积信号保留比例 |
| $\boldsymbol{\epsilon}$ | 从标准高斯分布采样的噪声向量 |
当 $T$ 足够大且 $\bar{\alpha}_T \approx 0$ 时,$\mathbf{x}_T \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$,即退化为标准高斯噪声。这意味着前向过程将任意复杂的数据分布 $q(\mathbf{x}_0)$ 平滑地变换为简单的先验分布 $p(\mathbf{x}_T) = \mathcal{N}(\mathbf{0}, \mathbf{I})$。
1.3 反向去噪过程
如果我们能够逆转上述前向过程,就可以从纯噪声 $\mathbf{x}_T \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$ 出发,逐步去噪得到真实数据样本。理论上,当 $\beta_t$ 足够小时,真实的反向条件分布 $q(\mathbf{x}_{t-1} \mid \mathbf{x}_t)$ 可以很好地近似为高斯分布1。然而,由贝叶斯公式 $q(\mathbf{x}_{t-1} \mid \mathbf{x}_t) = q(\mathbf{x}_t \mid \mathbf{x}_{t-1})\, q(\mathbf{x}_{t-1}) / q(\mathbf{x}_t)$ 可知,它依赖于整个数据分布诱导出的边际 $q(\mathbf{x}_{t-1})$ 和 $q(\mathbf{x}_t)$(等价地说,需要知道每个时刻的分数),无法直接计算。因此,扩散模型训练一个神经网络来参数化反向过程:
$$ p_{\theta}(\mathbf{x}_{t-1} \mid \mathbf{x}_t) = \mathcal{N}\left(\mathbf{x}_{t-1} \mid \boldsymbol{\mu}_{\theta}(\mathbf{x}_t, t), \Sigma_{\theta}(\mathbf{x}_t, t)\right) $$| 符号 | 含义 |
|---|---|
| $p_{\theta}$ | 由参数 $\theta$ 定义的反向过程分布 |
| $\boldsymbol{\mu}_{\theta}(\mathbf{x}_t, t)$ | 神经网络参数化的均值函数 |
| $\Sigma_{\theta}(\mathbf{x}_t, t)$ | 协方差矩阵(可固定或学习) |
| $\theta$ | 神经网络的参数 |
反向过程的联合分布从先验 $p(\mathbf{x}_T) = \mathcal{N}(\mathbf{0}, \mathbf{I})$ 开始:
$$ p_{\theta}(\mathbf{x}_{0:T}) = p(\mathbf{x}_T) \prod_{t=1}^{T} p_{\theta}(\mathbf{x}_{t-1} \mid \mathbf{x}_t) $$生成样本时,从标准高斯噪声 $\mathbf{x}_T$ 开始,迭代应用参数化的反向转移核,最终得到 $\mathbf{x}_0$。这个反向过程可以视为一系列共享参数、以时间步 $t$ 为条件的去噪自编码器(Denoising Autoencoders),通常用 U-Net 或 Transformer 架构实现。
直觉:前向过程像是把一滴墨水慢慢搅散在水里,每一步只“弄乱”一点点;反向过程则学习每一步该如何“往回收一点”。正因为每一步的变化都很小,单步反向转移才能用简单的高斯分布来近似。
graph LR
subgraph 前向过程
X0["x0
数据"] --> |加噪声| X1["x1
轻度噪声"]
X1 --> |...| XT["xT
纯噪声"]
end
subgraph 反向过程
XT --> |去噪| XT1["xT-1"]
XT1 --> |...| X0_out["x0
生成样本"]
end
style X0 fill:#e1f5e1
style X0_out fill:#e1f5e1
style XT fill:#f5e1e1
1.4 变分推断与证据下界(ELBO)
扩散模型的训练目标是最大化数据的对数似然 $\log p_{\theta}(\mathbf{x}_0)$。直接计算该似然需要积分掉所有中间变量 $\mathbf{x}_{1:T}$,这在高维空间中不可行。因此,我们采用变分推断(Variational Inference),通过优化**证据下界(Evidence Lower Bound, ELBO)**来间接最大化对数似然。
这里把前向过程 $q(\mathbf{x}_{1:T} \mid \mathbf{x}_0)$ 当作隐变量 $\mathbf{x}_{1:T}$ 的变分分布(类似 VAE 中的编码器,只不过它是固定的、没有可学习参数),把 $p_{\theta}(\mathbf{x}_{0:T})$ 当作生成模型。对 $\log p_{\theta}(\mathbf{x}_0) = \log \int p_{\theta}(\mathbf{x}_{0:T}) \, \mathrm{d}\mathbf{x}_{1:T}$ 在积分号内乘除 $q(\mathbf{x}_{1:T} \mid \mathbf{x}_0)$,再利用 Jensen 不等式($\log$ 是凹函数),可得:
$$ \log p_{\theta}(\mathbf{x}_0) \geq \mathbb{E}_{q(\mathbf{x}_{1:T} \mid \mathbf{x}_0)} \left[ \log \frac{p_{\theta}(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \mid \mathbf{x}_0)} \right] = -L_{\text{VLB}} $$| 符号 | 含义 |
|---|---|
| $L_{\text{VLB}}$ | 变分下界(负ELBO),训练目标是最小化它 |
| $\mathbb{E}_{q}[\cdot]$ | 关于分布 $q$ 的期望 |
为了把它拆成逐步可计算的项,关键一步是利用马尔可夫性和贝叶斯公式,把每一步前向转移改写为以 $\mathbf{x}_0$ 为条件的“反向”形式:
$$ q(\mathbf{x}_t \mid \mathbf{x}_{t-1}) = q(\mathbf{x}_t \mid \mathbf{x}_{t-1}, \mathbf{x}_0) = \frac{q(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0) \, q(\mathbf{x}_t \mid \mathbf{x}_0)}{q(\mathbf{x}_{t-1} \mid \mathbf{x}_0)} $$代入后,相邻的 $q(\mathbf{x}_t \mid \mathbf{x}_0)$ 项像望远镜一样逐项相消,下界便精确地分解为若干 KL 散度与一个重构项之和3:
$$ L_{\text{VLB}} = \mathbb{E}_{q} \left[ \underbrace{D_{\text{KL}}(q(\mathbf{x}_T \mid \mathbf{x}_0) \| p(\mathbf{x}_T))}_{L_T} + \sum_{t=2}^{T} \underbrace{D_{\text{KL}}(q(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0) \| p_{\theta}(\mathbf{x}_{t-1} \mid \mathbf{x}_t))}_{L_{t-1}} - \underbrace{\log p_{\theta}(\mathbf{x}_0 \mid \mathbf{x}_1)}_{L_0} \right] $$| 符号 | 含义 |
|---|---|
| $D_{\text{KL}}(q \| p)$ | KL 散度,衡量分布 $q$ 和 $p$ 之间的差异 |
| $q(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0)$ | 给定 $\mathbf{x}_0$ 时的反向条件分布(可解析计算,tractable) |
| $L_T$ | 先验匹配项,不含可学习参数;由于 $q(\mathbf{x}_T \mid \mathbf{x}_0)$ 和 $p(\mathbf{x}_T)$ 都接近标准高斯,此项接近 0,训练时可忽略 |
| $L_{t-1}$ | 每步的去噪匹配项,核心训练目标 |
| $L_0$ | 数据重构项(离散数据时对应解码器对数似然) |
由于 $q(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0)$ 是两个高斯分布的后验,其解析形式为:
$$ q(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}\left(\mathbf{x}_{t-1} \mid \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t \mathbf{I}\right) $$$$ \tilde{\boldsymbol{\mu}}_t = \frac{\sqrt{\bar{\alpha}_{t-1}} \beta_t}{1 - \bar{\alpha}_t} \mathbf{x}_0 + \frac{\sqrt{\alpha_t}(1 - \bar{\alpha}_{t-1})}{1 - \bar{\alpha}_t} \mathbf{x}_t $$$$ \tilde{\beta}_t = \frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t} \beta_t $$| 符号 | 含义 |
|---|---|
| $\tilde{\boldsymbol{\mu}}_t$ | 给定 $\mathbf{x}_0$ 和 $\mathbf{x}_t$ 时的真实后验均值 |
| $\tilde{\beta}_t$ | 给定 $\mathbf{x}_0$ 时的真实后验方差 |
注意:虽然真实的 $q(\mathbf{x}_{t-1} \mid \mathbf{x}_t)$ 不可计算,但额外以 $\mathbf{x}_0$ 为条件后的后验却是一个闭式高斯——这正是训练时可以“对着标准答案”监督反向过程的原因。当反向过程的方差 $\Sigma_{\theta}$ 固定为 $\tilde{\beta}_t \mathbf{I}$(或 $\beta_t \mathbf{I}$)时,两个协方差相同的高斯分布之间的 KL 散度只剩下均值差的平方项(外加与 $\theta$ 无关的常数),这引出了 DDPM 的简化训练目标(详见第2章)。
1.5 Score Matching 理论
1.5.1 显式 Score Matching (ESM)
Score 定义为对数概率密度关于数据的梯度:
$$ \mathbf{s}(\mathbf{x}) = \nabla_{\mathbf{x}} \log p(\mathbf{x}) $$| 符号 | 含义 |
|---|---|
| $\mathbf{s}(\mathbf{x})$ | 分数函数(score function),维度与 $\mathbf{x}$ 相同 |
| $\nabla_{\mathbf{x}}$ | 关于 $\mathbf{x}$ 的梯度算子 |
对于由能量函数 $E_{\theta}(\mathbf{x})$ 参数化的未归一化模型 $p_{\theta}(\mathbf{x}) = \frac{1}{Z_{\theta}} \exp(-E_{\theta}(\mathbf{x}))$,其分数为 $\nabla_{\mathbf{x}} \log p_{\theta}(\mathbf{x}) = -\nabla_{\mathbf{x}} E_{\theta}(\mathbf{x})$,不依赖于不可计算的归一化常数 $Z_{\theta}$。
显式 Score Matching (Explicit Score Matching, ESM)6 直接最小化模型分数与数据分数之间的 Fisher 散度:
$$ L_{\text{ESM}}(\theta) = \frac{1}{2} \mathbb{E}_{p_{\text{data}}(\mathbf{x})} \left[ \left\| \nabla_{\mathbf{x}} \log p_{\text{data}}(\mathbf{x}) - \nabla_{\mathbf{x}} \log p_{\theta}(\mathbf{x}) \right\|_2^2 \right] $$| 符号 | 含义 |
|---|---|
| $p_{\text{data}}$ | 真实数据分布 |
| $p_{\theta}$ | 模型分布(含参数 $\theta$) |
| $\|\cdot\|_2$ | L2 范数 |
然而,真实数据分布的分数 $\nabla_{\mathbf{x}} \log p_{\text{data}}(\mathbf{x})$ 是未知的,这使得 ESM 在实践中不可行。
1.5.2 Hyvärinen 隐式 Score Matching (ISM)
Hyvärinen(2005)6 的突破性贡献在于通过分部积分将数据分数从目标中消去。利用恒等式:
$$ \mathbb{E}_{p_{\text{data}}}\left[ \nabla_{\mathbf{x}} \log p_{\text{data}}(\mathbf{x})^{\top} \mathbf{s}_{\theta}(\mathbf{x}) \right] = -\mathbb{E}_{p_{\text{data}}}\left[ \nabla_{\mathbf{x}} \cdot \mathbf{s}_{\theta}(\mathbf{x}) \right] $$(推导要点:左边 $= \int \nabla_{\mathbf{x}} p_{\text{data}}(\mathbf{x})^{\top} \mathbf{s}_{\theta}(\mathbf{x}) \, \mathrm{d}\mathbf{x}$,再分部积分,并假设 $p_{\text{data}}(\mathbf{x}) \mathbf{s}_{\theta}(\mathbf{x})$ 在无穷远处趋于 0。)把 Fisher 散度中的平方展开,交叉项用上式替换,数据分数的平方项与 $\theta$ 无关,于是可将目标重写为:
$$ L_{\text{ISM}}(\theta) = \mathbb{E}_{p_{\text{data}}(\mathbf{x})} \left[ \text{tr}(\nabla_{\mathbf{x}} \mathbf{s}_{\theta}(\mathbf{x})) + \frac{1}{2} \|\mathbf{s}_{\theta}(\mathbf{x})\|_2^2 \right] + C $$| 符号 | 含义 |
|---|---|
| $\text{tr}(\cdot)$ | 矩阵迹(trace) |
| $\nabla_{\mathbf{x}} \mathbf{s}_{\theta}(\mathbf{x})$ | 模型分数的雅可比矩阵(当 $\mathbf{s}_{\theta} = \nabla_{\mathbf{x}} \log p_{\theta}$ 时即模型对数密度的 Hessian) |
| $C$ | 与 $\theta$ 无关的常数,优化时可忽略 |
ISM 的致命缺陷在于需要计算雅可比矩阵的迹 $\text{tr}(\nabla_{\mathbf{x}} \mathbf{s}_{\theta}(\mathbf{x}))$。对于高维数据(如图像,$d \sim 10^5$),这需要 $d$ 次反向传播,计算成本极高。
1.5.3 去噪 Score Matching (DSM)
Vincent(2011)7 提出了去噪 Score Matching(Denoising Score Matching, DSM),通过向数据添加高斯噪声来规避 Hessian 计算。核心思想是:对加噪后的数据分布 $q_{\sigma}(\tilde{\mathbf{x}}) = \int p_{\text{data}}(\mathbf{x}) \mathcal{N}(\tilde{\mathbf{x}} \mid \mathbf{x}, \sigma^2 \mathbf{I}) \mathrm{d}\mathbf{x}$ 学习分数,其显式目标为:
$$ L_{\text{DSM}}(\theta) = \frac{1}{2} \mathbb{E}_{p_{\text{data}}(\mathbf{x})} \mathbb{E}_{\tilde{\mathbf{x}} \sim \mathcal{N}(\mathbf{x}, \sigma^2 \mathbf{I})} \left[ \left\| \mathbf{s}_{\theta}(\tilde{\mathbf{x}}) - \nabla_{\tilde{\mathbf{x}}} \log q_{\sigma}(\tilde{\mathbf{x}} \mid \mathbf{x}) \right\|_2^2 \right] $$由于 $\nabla_{\tilde{\mathbf{x}}} \log q_{\sigma}(\tilde{\mathbf{x}} \mid \mathbf{x}) = -\frac{\tilde{\mathbf{x}} - \mathbf{x}}{\sigma^2}$,目标简化为:
$$ L_{\text{DSM}}(\theta) = \frac{1}{2} \mathbb{E}_{\mathbf{x}, \boldsymbol{\epsilon}} \left[ \left\| \mathbf{s}_{\theta}(\mathbf{x} + \sigma \boldsymbol{\epsilon}) + \frac{\boldsymbol{\epsilon}}{\sigma} \right\|_2^2 \right] $$| 符号 | 含义 |
|---|---|
| $\sigma$ | 噪声水平(标准差) |
| $\tilde{\mathbf{x}}$ | 加噪后的数据样本 |
| $q_{\sigma}$ | 加噪后的边缘分布 |
| $\boldsymbol{\epsilon}$ | 标准高斯噪声,$\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$ |
DSM 将分数学习转化为回归问题:神经网络预测加噪样本中的噪声方向,无需计算 Hessian。这是现代扩散模型的训练基础。
为什么回归“条件分数”就能学到“边际分数”? Vincent 证明了 $L_{\text{DSM}}$ 与在加噪分布 $q_{\sigma}$ 上的 ESM 目标只相差一个与 $\theta$ 无关的常数,因此最优解满足 $\mathbf{s}_{\theta^*}(\tilde{\mathbf{x}}) = \nabla_{\tilde{\mathbf{x}}} \log q_{\sigma}(\tilde{\mathbf{x}})$。直观地说,同一个 $\tilde{\mathbf{x}}$ 可能来自许多不同的干净样本 $\mathbf{x}$,均方回归会自动对这些“标准答案”取平均,而这个平均恰好就是边际分数。需要注意,DSM 学到的是加噪分布 $q_{\sigma}$ 的分数,只有当 $\sigma$ 很小时才接近 $p_{\text{data}}$ 的分数;而 $\sigma$ 很小时训练信号又只覆盖数据附近的区域——这正是后来同时使用多个噪声尺度的动机(见 2.3 节)。
1.5.4 切片 Score Matching (SSM)
Song 等人(2019)8 提出了切片 Score Matching(Sliced Score Matching, SSM),利用随机投影来估计迹。核心思想是将高维分数投影到随机方向上:
$$ L_{\text{SSM}}(\theta) = \mathbb{E}_{p_{\text{data}}} \mathbb{E}_{\mathbf{v} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})} \left[ \mathbf{v}^{\top} \nabla_{\mathbf{x}} \mathbf{s}_{\theta}(\mathbf{x}) \mathbf{v} + \frac{1}{2} \left( \mathbf{v}^{\top} \mathbf{s}_{\theta}(\mathbf{x}) \right)^2 \right] $$| 符号 | 含义 |
|---|---|
| $\mathbf{v}$ | 从标准高斯分布采样的随机投影向量 |
| $\mathbf{v}^{\top} \nabla_{\mathbf{x}} \mathbf{s}_{\theta} \mathbf{v}$ | 雅可比-向量积(JVP/HVP)再与 $\mathbf{v}$ 做内积,借助自动微分只需约一次额外的反向传播 |
SSM 利用 Hutchinson 迹估计器的思想($\mathbb{E}_{\mathbf{v}}[\mathbf{v}^{\top} \mathbf{A} \mathbf{v}] = \text{tr}(\mathbf{A})$,当 $\mathbb{E}[\mathbf{v}\mathbf{v}^{\top}] = \mathbf{I}$),把需要 $d$ 次反向传播的精确迹计算,替换为每个投影向量只需一次的无偏随机估计。然而,对于图像级扩散模型,DSM 仍然是最主流的实践选择,因为它更稳定且易于实现。
1.6 Tweedie 公式与去噪-分数等价性
Tweedie 公式9 建立了 MMSE(最小均方误差)去噪器与分数函数之间的深刻联系。对于高斯加噪模型 $q_{\sigma}(\tilde{\mathbf{x}}) = \int p_{\text{data}}(\mathbf{x}) \mathcal{N}(\tilde{\mathbf{x}} \mid \mathbf{x}, \sigma^2 \mathbf{I}) \mathrm{d}\mathbf{x}$,有:
$$ \nabla_{\tilde{\mathbf{x}}} \log q_{\sigma}(\tilde{\mathbf{x}}) = \frac{\mathbb{E}[\mathbf{x} \mid \tilde{\mathbf{x}}] - \tilde{\mathbf{x}}}{\sigma^2} $$| 符号 | 含义 |
|---|---|
| $\mathbb{E}[\mathbf{x} \mid \tilde{\mathbf{x}}]$ | 给定加噪样本 $\tilde{\mathbf{x}}$ 时,干净样本 $\mathbf{x}$ 的后验期望(即最优去噪器输出) |
这意味着:训练一个去噪器 $D_{\theta}(\tilde{\mathbf{x}}) \approx \mathbb{E}[\mathbf{x} \mid \tilde{\mathbf{x}}]$ 等价于学习分数函数。分数可以通过去噪器恢复:
$$ \mathbf{s}_{\theta}(\tilde{\mathbf{x}}) = \frac{D_{\theta}(\tilde{\mathbf{x}}) - \tilde{\mathbf{x}}}{\sigma^2} $$这一等价性是扩散模型理论统一的关键桥梁:DDPM 的 $\boldsymbol{\epsilon}$-预测(预测噪声)和 EDM 的 $D_{\theta}$-预测(预测去噪数据)本质上都是分数估计的不同参数化(具体换算见 1.9 节)。
直觉:分数 $\nabla_{\tilde{\mathbf{x}}} \log q_{\sigma}(\tilde{\mathbf{x}})$ 指向“概率更高的方向”;Tweedie 公式告诉我们,这个方向就是从当前加噪样本 $\tilde{\mathbf{x}}$ 指向“最可能的干净样本”$\mathbb{E}[\mathbf{x} \mid \tilde{\mathbf{x}}]$ 的方向,再除以噪声方差。
1.7 SDE/ODE 统一框架
1.7.1 前向 SDE
Song 等人(2021)4 将扩散过程从离散时间推广到连续时间,用**随机微分方程(Stochastic Differential Equation, SDE)**描述。前向 SDE 的一般形式为:
$$ \mathrm{d}\mathbf{x} = \mathbf{f}(\mathbf{x}, t) \mathrm{d}t + g(t) \mathrm{d}\mathbf{w} $$| 符号 | 含义 |
|---|---|
| $\mathbf{f}(\mathbf{x}, t)$ | 漂移系数(drift),决定确定性趋势 |
| $g(t)$ | 扩散系数(diffusion),决定随机噪声强度 |
| $\mathbf{w}$ | 标准维纳过程(Wiener process / Brownian motion) |
| $t$ | 连续时间变量,通常 $t \in [0, T]$ |
该 SDE 的边际分布 $p_t(\mathbf{x})$ 从 $t=0$ 时的数据分布 $p_0$ 平滑演化到 $t=T$ 时的先验分布(如标准高斯)。不同的 $\mathbf{f}$ 和 $g$ 选择对应不同的扩散模型:
- VP-SDE(Variance Preserving):DDPM 的连续极限(离散的 $\beta_i$ 与连续的 $\beta(t)$ 满足 $\beta_i \approx \beta(i/T)/T$,令 $T \to \infty$ 即得),$\mathbf{f}(\mathbf{x}, t) = -\frac{1}{2} \beta(t) \mathbf{x}$,$g(t) = \sqrt{\beta(t)}$;若数据方差为 1,则 $\mathbf{x}_t$ 的总方差始终保持为 1。
- VE-SDE(Variance Exploding):NCSN 的连续极限,$\mathbf{f}(\mathbf{x}, t) = \mathbf{0}$,$g(t) = \sqrt{\frac{\mathrm{d} \sigma^2(t)}{\mathrm{d}t}}$,信号不变而噪声方差爆炸。
| 符号 | 含义 |
|---|---|
| $\beta(t)$ | 连续时间方差调度函数 |
| $\sigma(t)$ | 连续时间噪声水平函数 |
| $p_t(\mathbf{x})$ | 时间 $t$ 时的边际分布 |
当漂移 $\mathbf{f}$ 关于 $\mathbf{x}$ 是线性函数时(VP、VE 都满足),给定 $\mathbf{x}_0$ 的条件分布(扰动核)有统一的闭式:
$$ p_{0t}(\mathbf{x}_t \mid \mathbf{x}_0) = \mathcal{N}\left(\mathbf{x}_t \mid s(t) \mathbf{x}_0, \sigma^2(t) \mathbf{I}\right) $$其中 $s(t)$ 和 $\sigma(t)$ 是调度函数。通过不同的选择可以恢复所有经典噪声调度:
| 模型 | $s(t)$ | $\sigma(t)$ | 特性 |
|---|---|---|---|
| DDPM/VP-SDE | $e^{-\frac{1}{2}\int_0^t \beta(s)\mathrm{d}s}$ | $\sqrt{1 - s(t)^2}$ | 方差保持 |
| NCSN/VE-SDE | $1$ | $\sigma_{\min}\left(\frac{\sigma_{\max}}{\sigma_{\min}}\right)^{t}$,$t \in [0, 1]$ | 方差爆炸 |
| EDM | $1$ | $t$(重参数化后) | 统一设计空间 |
| Rectified Flow / Flow Matching(OT 路径)10 | $1-t$ | $t$ | 线性插值(注意:DDIM 沿用的是 DDPM 的 VP 调度,并不属于这一行) |
1.7.2 反向 SDE
Anderson(1982)11 的时间反转定理指出:在较弱的正则性条件下,任何前向 SDE 都存在对应的反向 SDE,其形式为:
$$ \mathrm{d}\mathbf{x} = \left[ \mathbf{f}(\mathbf{x}, t) - g(t)^2 \nabla_{\mathbf{x}} \log p_t(\mathbf{x}) \right] \mathrm{d}t + g(t) \mathrm{d}\bar{\mathbf{w}} $$| 符号 | 含义 |
|---|---|
| $\nabla_{\mathbf{x}} \log p_t(\mathbf{x})$ | 时间 $t$ 时边际分布的分数(即需要学习的 score) |
| $\mathrm{d}\bar{\mathbf{w}}$ | 反向时间维纳过程 |
这里时间从 $T$ 倒流回 $0$,$\mathrm{d}t$ 是负的无穷小时间步。与前向 SDE 相比,反向 SDE 只多了一项 $-g(t)^2 \nabla_{\mathbf{x}} \log p_t(\mathbf{x})$:它沿分数方向把样本“推回”高密度区域,抵消前向扩散造成的发散。
关键洞察:反向 SDE 仅依赖于前向 SDE 的系数和时间依赖的分数函数。因此,训练一个时间条件的神经网络 $\mathbf{s}_{\theta}(\mathbf{x}, t) \approx \nabla_{\mathbf{x}} \log p_t(\mathbf{x})$ 即可进行采样。
1.7.3 概率流 ODE
Song 等人(2021)进一步发现:存在一个与前向/反向 SDE 边际分布完全相同的确定性过程,即概率流 ODE(Probability Flow ODE):
$$ \mathrm{d}\mathbf{x} = \left[ \mathbf{f}(\mathbf{x}, t) - \frac{1}{2} g(t)^2 \nabla_{\mathbf{x}} \log p_t(\mathbf{x}) \right] \mathrm{d}t $$| 符号 | 含义 |
|---|---|
| 右侧 | 无噪声项,确定性演化 |
为什么边际分布相同? 前向 SDE 的边际密度 $p_t$ 满足 Fokker–Planck 方程。当 $g$ 只依赖于 $t$ 时,利用恒等式 $\Delta_{\mathbf{x}} p_t = \nabla_{\mathbf{x}} \cdot \left( p_t \nabla_{\mathbf{x}} \log p_t \right)$,可以把扩散项也改写成“输运”的形式:
$$ \frac{\partial p_t}{\partial t} = -\nabla_{\mathbf{x}} \cdot \left( \mathbf{f} \, p_t \right) + \frac{1}{2} g(t)^2 \Delta_{\mathbf{x}} p_t = -\nabla_{\mathbf{x}} \cdot \left[ \left( \mathbf{f} - \frac{1}{2} g(t)^2 \nabla_{\mathbf{x}} \log p_t \right) p_t \right] $$右侧恰好是速度场为 $\mathbf{f} - \frac{1}{2} g(t)^2 \nabla_{\mathbf{x}} \log p_t$ 的确定性流所满足的连续性方程,所以沿这个速度场演化的 ODE 与原 SDE 拥有完全相同的 $p_t$。
概率流 ODE 与反向 SDE 共享相同的边际分布 $p_t$,但消除了随机性。这意味着:
- 从相同的初始噪声 $\mathbf{x}_T$ 出发,ODE 轨迹确定性地映射到唯一的 $\mathbf{x}_0$(反之亦然,可用于把图像“编码”回噪声);
- ODE 允许精确似然计算:借助连续归一化流的瞬时变量替换公式 $\frac{\mathrm{d} \log p_t(\mathbf{x}_t)}{\mathrm{d}t} = -\nabla_{\mathbf{x}} \cdot \tilde{\mathbf{f}}(\mathbf{x}_t, t)$($\tilde{\mathbf{f}}$ 为 ODE 的漂移),沿轨迹积分即可得到 $\log p_0(\mathbf{x}_0)$;
- DDIM($\eta = 0$)的确定性采样可以看作概率流 ODE 的一阶离散化(更高阶的 ODE 求解器见第5章)。
在随机一侧,Song 等人还提出了预测-校正(Predictor-Corrector, PC)采样:每一步先用反向 SDE 的数值求解器做“预测”,再用若干步基于分数的 Langevin MCMC 做“校正”,以减小离散化误差。
graph TD
A["Forward SDE
dx = f dt + g dw"] --> B["Reverse SDE
dx = (f - g²∇log p)dt + g dw̄"]
A --> C["Probability Flow ODE
dx = (f - ½g²∇log p)dt"]
B --> D["随机采样
DDPM/PC采样"]
C --> E["确定性采样
DDIM/Heun/Flow"]
style A fill:#f5e1e1
style B fill:#e1e1f5
style C fill:#e1f5e1
1.8 噪声调度的统一视角与等价性
所有现代扩散模型都可以统一到以下扰动核框架下:
$$ \mathbf{x}_t = \alpha_t \mathbf{x}_0 + \sigma_t \boldsymbol{\epsilon} $$其中 $\alpha_t$ 和 $\sigma_t$ 分别控制信号和噪声的幅度。
记号说明:本节沿用连续时间文献(如 VDM、EDM)的记号,$\alpha_t$ 表示信号系数,对应 DDPM 记号中的 $\sqrt{\bar{\alpha}_t}$,与 1.2 节的 $\alpha_t = 1 - \beta_t$ 不是同一个量;$\sigma_t$ 对应 $\sqrt{1 - \bar{\alpha}_t}$。它也等价于 1.7.1 节中的 $s(t)$ 与 $\sigma(t)$。
通过信噪比(Signal-to-Noise Ratio, SNR) $\text{SNR}(t) = \alpha_t^2 / \sigma_t^2$ 可以统一理解不同噪声调度的等价性5:
| 调度类型 | 等价关系 | 来源 |
|---|---|---|
| VP(DDPM) | $\alpha_t^2 + \sigma_t^2 = 1$ | Ho et al. 2020 |
| VE(NCSN) | $\alpha_t = 1$,$\sigma_t$ 递增 | Song & Ermon 2019 |
| EDM | $\alpha_t = 1$,$\sigma_t = t$(重参数化) | Karras et al. 2022 |
| Cosine | $\alpha_t \approx \cos\left(\frac{\pi t}{2}\right)$,$\sigma_t \approx \sin\left(\frac{\pi t}{2}\right)$(忽略小偏移 $s$,属于 VP) | Nichol & Dhariwal 202112 |
| Flow/OT | $\alpha_t = 1-t$,$\sigma_t = t$ | Lipman et al. 202310;Liu et al. 2023(Rectified Flow)13 |
关键结论:Kingma 等人(2021)在 VDM14 中证明,连续时间极限下的 ELBO 可以写成只依赖 SNR 的形式:
$$ \mathcal{L}_{\infty}(\mathbf{x}_0) = -\frac{1}{2} \mathbb{E}_{\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})} \int_{0}^{1} \text{SNR}'(t) \left\| \mathbf{x}_0 - \hat{\mathbf{x}}_{\theta}(\mathbf{x}_t; t) \right\|_2^2 \mathrm{d}t $$| 符号 | 含义 |
|---|---|
| $\text{SNR}'(t)$ | SNR 对时间的导数(SNR 随 $t$ 单调递减,故为负,整体损失为正) |
| $\hat{\mathbf{x}}_{\theta}(\mathbf{x}_t; t)$ | 网络对干净数据的预测 |
做变量替换 $\lambda = \log \text{SNR}$ 后可以看出:这个积分只取决于两个端点 $\text{SNR}(0)$ 和 $\text{SNR}(1)$,而与中间如何从高 SNR 过渡到低 SNR 无关。换句话说,不同调度的最优解本质相同,差别主要体现在**训练时对不同噪声水平的加权(或采样频率)**以及由此带来的梯度方差上。这也是为什么现代实践(如 EDM)倾向于直接以噪声水平 $\sigma$(或 $\log \text{SNR}$)为自变量来设计训练分布与损失权重,而不是以时间 $t$ 为自变量,从而获得更简洁的数学形式和更好的数值稳定性。
graph LR
subgraph "统一框架"
X0["x0"] --> |"α(t)"| PLUS["+"]
NOISE["ε ~ N(0,I)"] --> |"σ(t)"| PLUS
PLUS --> XT["xt"]
end
style X0 fill:#e1f5e1
style XT fill:#f5e1e1
1.9 网络预测目标的四种参数化:噪声、干净数据、v 与分数
在统一扰动核 $\mathbf{x}_t = \alpha_t \mathbf{x}_0 + \sigma_t \boldsymbol{\epsilon}$ 下,只要给定 $\mathbf{x}_t$ 和 $t$,“噪声”和“干净数据”知道其一就能算出另一个。因此网络可以选择预测下面任意一个量,它们彼此可以相互换算:
| 参数化 | 网络学习的目标 | 代表工作 |
|---|---|---|
| $\boldsymbol{\epsilon}$-预测 | 加入的噪声 $\boldsymbol{\epsilon}$ | DDPM3 |
| $\mathbf{x}_0$-预测 | 干净数据 $\mathbf{x}_0$ | EDM 的去噪器 $D_{\theta}$5 |
| $\mathbf{v}$-预测 | $\mathbf{v} = \alpha_t \boldsymbol{\epsilon} - \sigma_t \mathbf{x}_0$ | Salimans & Ho 202215,SD 2.x 的 768-v 模型 |
| 分数预测 | $\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)$,对单个样本的回归目标为 $-\boldsymbol{\epsilon}/\sigma_t$ | NCSN2、Score SDE4 |
换算关系($\hat{\cdot}$ 表示网络的预测值):
$$ \hat{\mathbf{x}}_0 = \frac{\mathbf{x}_t - \sigma_t \hat{\boldsymbol{\epsilon}}}{\alpha_t}, \qquad \mathbf{s}_{\theta}(\mathbf{x}_t, t) = -\frac{\hat{\boldsymbol{\epsilon}}}{\sigma_t} = \frac{\alpha_t \hat{\mathbf{x}}_0 - \mathbf{x}_t}{\sigma_t^2} $$其中第二个等号就是 1.6 节的 Tweedie 公式在 $\alpha_t \neq 1$ 时的推广。对于 VP 调度($\alpha_t^2 + \sigma_t^2 = 1$),$\mathbf{v}$ 与另外两者的换算为:
$$ \hat{\mathbf{x}}_0 = \alpha_t \mathbf{x}_t - \sigma_t \hat{\mathbf{v}}, \qquad \hat{\boldsymbol{\epsilon}} = \sigma_t \mathbf{x}_t + \alpha_t \hat{\mathbf{v}} $$不同参数化 = 不同的损失加权。 代入上面的换算可以得到:
$$ \left\| \boldsymbol{\epsilon} - \hat{\boldsymbol{\epsilon}} \right\|_2^2 = \text{SNR}(t) \left\| \mathbf{x}_0 - \hat{\mathbf{x}}_0 \right\|_2^2, \qquad \left\| \mathbf{v} - \hat{\mathbf{v}} \right\|_2^2 = \left( 1 + \text{SNR}(t) \right) \left\| \mathbf{x}_0 - \hat{\mathbf{x}}_0 \right\|_2^2 $$(第二式要求 VP 调度。)也就是说,三种参数化的最优解相同,区别只在于隐含地给不同噪声水平分配了不同的权重,以及数值上的稳定性:
- $\boldsymbol{\epsilon}$-预测:低噪声时任务简单、权重大;但在极高噪声($\alpha_t \to 0$)时,由 $\hat{\boldsymbol{\epsilon}}$ 反推 $\hat{\mathbf{x}}_0$ 需要除以 $\alpha_t$,误差会被放大。若终点 SNR 恰好为 0,$\boldsymbol{\epsilon}$-预测在最后一步甚至没有意义(此时 $\mathbf{x}_T$ 就是噪声本身)。
- $\mathbf{x}_0$-预测:高噪声时稳定,但低噪声时网络需要精确复现输入的细节,回归的有效权重偏小。
- $\mathbf{v}$-预测:在两端都比较稳定,是渐进蒸馏(Progressive Distillation)以及若干大模型采用的选择;EDM 的预处理在 $\sigma_{\text{data}} = 1$ 时也恰好让内部网络学习(相差一个符号的)$\mathbf{v}$。
- Flow Matching / Rectified Flow 的速度预测 $\mathbf{u} = \boldsymbol{\epsilon} - \mathbf{x}_0$(对应 $\alpha_t = 1-t$、$\sigma_t = t$)也属于同一家族,细节见第6章。
1.10 本章小结
本章系统建立了扩散模型的数学基础:
- 前向过程通过马尔可夫链或 SDE 将数据逐步退化为噪声;
- 反向过程通过参数化神经网络学习去噪;
- 变分推断提供了最大似然的下界优化框架;
- Score Matching 提供了绕开归一化常数的分数估计方法,其中 DSM 是最实用的形式;
- Tweedie 公式揭示了去噪器与分数函数的等价性;
- SDE/ODE 统一框架将离散模型推广到连续时间,解释了 DDPM、NCSN 和 DDIM 的深层联系;
- 噪声调度等价性表明所有主流方法本质上是同一设计空间的不同参数化:连续时间 ELBO 只依赖 SNR 的端点,调度主要影响损失加权;
- 预测目标($\boldsymbol{\epsilon}$、$\mathbf{x}_0$、$\mathbf{v}$、分数)可以相互换算,区别在于隐含的损失加权与数值稳定性。
这些基础概念为第2章分析具体经典模型提供了必要的理论准备。
第2章:经典扩散模型:DDPM、DDIM、NCSN 与 EDM
2.1 DDPM:去噪扩散概率模型(Ho et al., 2020)
Denoising Diffusion Probabilistic Models (DDPM)3 是将扩散模型从理论推向大规模图像生成的里程碑工作。其核心贡献在于:将复杂的变分下界简化为直观的噪声预测均方误差,并展示了与当时 GAN 相当甚至更好的图像质量。
2.1.1 完整推导与简化训练目标
DDPM 选择固定反向过程的方差为 $\Sigma_{\theta} = \sigma_t^2 \mathbf{I}$,其中 $\sigma_t^2 = \beta_t$ 或 $\tilde{\beta}_t$。此时,第 $t-1$ 步的 KL 散度 $L_{t-1}$ 完全取决于均方误差:
$$ L_{t-1} = \mathbb{E}_q \left[ \frac{1}{2\sigma_t^2} \left\| \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) - \boldsymbol{\mu}_{\theta}(\mathbf{x}_t, t) \right\|_2^2 \right] + C $$其中 $C$ 是与 $\theta$ 无关的常数。注意这里的 $\sigma_t^2$ 是反向过程的方差,与 1.8 节扰动核里的 $\sigma_t$ 含义不同。
Ho 等人发现,将反向均值 $\boldsymbol{\mu}_{\theta}$ 重新参数化为噪声预测器 $\boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t, t)$ 会带来巨大简化。由于 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}$,可以解出 $\mathbf{x}_0 = \frac{\mathbf{x}_t - \sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}}{\sqrt{\bar{\alpha}_t}}$。代入后验均值 $\tilde{\boldsymbol{\mu}}_t$:
$$ \tilde{\boldsymbol{\mu}}_t = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}} \boldsymbol{\epsilon} \right) $$因此,将模型预测参数化为:
$$ \boldsymbol{\mu}_{\theta}(\mathbf{x}_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}} \boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t, t) \right) $$| 符号 | 含义 |
|---|---|
| $\boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t, t)$ | 神经网络预测的噪声,$\boldsymbol{\epsilon}$-预测参数化 |
| 损失 | 真实噪声 $\boldsymbol{\epsilon}$ 与预测噪声 $\boldsymbol{\epsilon}_{\theta}$ 之间的 MSE |
把它代回 $L_{t-1}$,均值差变成噪声差:$\tilde{\boldsymbol{\mu}}_t - \boldsymbol{\mu}_{\theta} = \frac{\beta_t}{\sqrt{\alpha_t} \sqrt{1 - \bar{\alpha}_t}} \left( \boldsymbol{\epsilon}_{\theta} - \boldsymbol{\epsilon} \right)$,于是严格由 VLB 推出的是一个带权重的噪声回归:
$$ L_{t-1} = \mathbb{E}_{\mathbf{x}_0, \boldsymbol{\epsilon}} \left[ \frac{\beta_t^2}{2 \sigma_t^2 \alpha_t (1 - \bar{\alpha}_t)} \left\| \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t, t) \right\|_2^2 \right] + C $$Ho 等人发现,直接去掉前面的权重效果反而更好,得到简化目标:
$$ L_{\text{simple}} = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \left[ \| \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_{\theta}(\sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}, t) \|_2^2 \right] $$| 符号 | 含义 |
|---|---|
| $t$ | 从 $\{1, \dots, T\}$ 均匀采样的时间步 |
| $\mathbf{x}_0$ | 从训练集采样的干净数据 |
| $\boldsymbol{\epsilon}$ | 标准高斯噪声 |
| $L_{\text{simple}}$ | 简化损失(DDPM 标准训练目标) |
去掉权重相当于相对降低了小 $t$ 项(噪声很小、去噪很容易)的权重,让网络把容量更多地用在更难的大噪声去噪上,样本质量因此更好;代价是 $L_{\text{simple}}$ 不再是严格的似然下界,对数似然指标会略差。
关键洞察:由于 $\mathbf{s}_{\theta}(\mathbf{x}_t, t) = -\boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t, t) / \sqrt{1 - \bar{\alpha}_t}$,DDPM 的训练在特定的噪声水平加权下等价于**去噪分数匹配(DSM)**在 $T$ 个离散噪声水平上的加权和。$\boldsymbol{\epsilon}$-预测通过重参数化将分数估计转化为直观的噪声回归任务。
2.1.2 训练算法与代码实现
DDPM 训练算法:
| |
| 参数 | 说明 | 典型值 |
|---|---|---|
| $T$ | 总扩散步数 | 1000 |
| $\beta_1$ | 初始方差 | $10^{-4}$ |
| $\beta_T$ | 最终方差 | 0.02 |
| 调度 | 方差增长方式 | 线性(linear) |
| 网络 | 去噪网络架构 | U-Net with Time Embeddings |
2.1.3 采样算法
DDPM 采样从 $\mathbf{x}_T \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$ 开始,迭代执行:
$$ \mathbf{x}_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t, t) \right) + \sigma_t \mathbf{z} $$其中 $1 - \alpha_t = \beta_t$;$\mathbf{z} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$(当 $t > 1$ 时,$t = 1$ 时取 $\mathbf{z} = \mathbf{0}$);$\sigma_t^2$ 取 $\beta_t$ 或 $\tilde{\beta}_t$(Ho 等人发现两者效果相近,下面的代码使用 $\tilde{\beta}_t$)。
| 符号 | 含义 |
|---|---|
| $\mathbf{z}$ | 采样时注入的额外随机噪声 |
| $\sigma_t$ | 采样噪声的标准差 |
| |
DDPM 特点总结:
- 优点:训练稳定(单一回归损失,无对抗训练),生成质量高,理论可解释性强;
- 缺点:采样需要 $T$ 步网络前向传播(1000 次 NFE),速度慢;
- 使用场景:高质量图像生成、作为后续加速方法的基础模型;
- 关键参数:$T$、$\beta$ 调度、网络架构(通常使用 U-Net + Self-Attention);
- 注意事项:需要较大的批次和较长的训练时间;$\beta$ 调度对性能敏感。
2.1.4 Improved DDPM:余弦调度与可学习方差(Nichol & Dhariwal, 2021)
Nichol 与 Dhariwal12 针对 DDPM 的两个短板做了改进,这些改进被后来的 ADM、GLIDE 等模型广泛沿用。
1)余弦噪声调度。 线性调度在后半程把信息破坏得太快:$\bar{\alpha}_t$ 很早就接近 0,最后相当一部分时间步几乎都是纯噪声,对训练贡献很小(在低分辨率图像上尤其明显)。余弦调度直接定义 $\bar{\alpha}_t$,让它在中间段近似线性下降、两端变化平缓:
$$ \bar{\alpha}_t = \frac{f(t)}{f(0)}, \qquad f(t) = \cos^2\left( \frac{t/T + s}{1 + s} \cdot \frac{\pi}{2} \right) $$| 符号 | 含义 |
|---|---|
| $s$ | 小偏移量(取 $0.008$),避免 $t$ 接近 0 时 $\beta_t$ 过小 |
| $\beta_t$ | 由 $\beta_t = 1 - \bar{\alpha}_t / \bar{\alpha}_{t-1}$ 反推,并截断到不超过 $0.999$,防止 $t \to T$ 时出现奇异 |
2)可学习的反向方差。 DDPM 把方差固定为 $\beta_t$ 或 $\tilde{\beta}_t$,Ho 等人指出这两者分别对应两种极端情况($\mathbf{x}_0$ 服从标准高斯 / $\mathbf{x}_0$ 为确定值)下的最优方差,可看作真实反向方差的上界和下界。Improved DDPM 让网络额外输出一个向量 $\mathbf{v}$,在两者之间逐元素做对数域插值:
$$ \Sigma_{\theta}(\mathbf{x}_t, t) = \exp\left( \mathbf{v} \log \beta_t + (1 - \mathbf{v}) \log \tilde{\beta}_t \right) $$由于 $L_{\text{simple}}$ 不依赖方差,训练改用混合目标:
$$ L_{\text{hybrid}} = L_{\text{simple}} + \lambda L_{\text{VLB}}, \qquad \lambda = 0.001 $$其中 $L_{\text{VLB}}$ 项只用来学习方差(对均值做 stop-gradient)。
| 改进 | 效果 |
|---|---|
| 余弦调度 | 低分辨率数据上样本质量与似然更好 |
| 可学习方差 + $L_{\text{hybrid}}$ | 对数似然明显提升;减少采样步数(如 50 步)时质量下降更小 |
注意:这里网络输出的插值系数 $\mathbf{v}$ 与 1.9 节的 $\mathbf{v}$-预测目标只是同名,二者无关。
2.2 DDIM:去噪扩散隐式模型(Song et al., 2021)
DDPM 的主要瓶颈是采样慢。Song 等人(2021)16 提出了 Denoising Diffusion Implicit Models (DDIM),其核心思想是:定义一类非马尔可夫的前向过程,这些过程与 DDPM 共享相同的边际分布 $q(\mathbf{x}_t \mid \mathbf{x}_0)$,但允许更灵活的反向采样。
2.2.1 非马尔可夫前向过程
DDIM 直接定义一族以 $\mathbf{x}_0$ 为条件的“反向”条件分布(由贝叶斯公式反推得到的前向转移 $q_{\sigma}(\mathbf{x}_t \mid \mathbf{x}_{t-1}, \mathbf{x}_0)$ 同时依赖 $\mathbf{x}_{t-1}$ 和 $\mathbf{x}_0$,所以整个前向过程是非马尔可夫的):
$$ q_{\sigma}(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}\left(\mathbf{x}_{t-1} \mid \sqrt{\bar{\alpha}_{t-1}} \mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \frac{\mathbf{x}_t - \sqrt{\bar{\alpha}_t} \mathbf{x}_0}{\sqrt{1 - \bar{\alpha}_t}}, \sigma_t^2 \mathbf{I}\right) $$| 符号 | 含义 |
|---|---|
| $\sigma_t$ | 控制反向采样随机性的超参数,$0 \le \sigma_t \le \sqrt{1 - \bar{\alpha}_{t-1}}$ |
| 均值第一项 | $\sqrt{\bar{\alpha}_{t-1}} \mathbf{x}_0$:把干净信号缩放到第 $t-1$ 步应有的幅度 |
| 均值第二项 | $\frac{\mathbf{x}_t - \sqrt{\bar{\alpha}_t} \mathbf{x}_0}{\sqrt{1 - \bar{\alpha}_t}}$ 恰好等于 $\mathbf{x}_t$ 中所含的噪声 $\boldsymbol{\epsilon}$,即"指向 $\mathbf{x}_t$ 的方向" |
| 方差 $\sigma_t^2 \mathbf{I}$ | 唯一的随机来源 |
可以验证:对任意满足上述范围的 $\sigma_t$,这一族过程的边际分布 $q_{\sigma}(\mathbf{x}_t \mid \mathbf{x}_0)$ 都与 DDPM 相同,即 $\mathcal{N}\left(\sqrt{\bar{\alpha}_t} \mathbf{x}_0, (1 - \bar{\alpha}_t) \mathbf{I}\right)$。由于 $L_{\text{simple}}$ 只依赖这个边际,同一个训练好的 $\boldsymbol{\epsilon}_{\theta}$ 可以直接用于这一族中的任何一个生成过程,无需重新训练。特别地,当取
$$ \sigma_t = \sqrt{\frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t}} \sqrt{1 - \frac{\bar{\alpha}_t}{\bar{\alpha}_{t-1}}} \quad \left( \text{即 } \sigma_t^2 = \tilde{\beta}_t \right) $$时,前向过程重新变成马尔可夫的,恰好就是 DDPM。
2.2.2 确定性采样与加速
实践中用一个标量 $\eta \ge 0$ 统一控制随机性:$\sigma_t(\eta) = \eta \sqrt{\frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t}} \sqrt{1 - \frac{\bar{\alpha}_t}{\bar{\alpha}_{t-1}}}$。用网络预测的噪声代替真实的 $\boldsymbol{\epsilon}$(从而得到 $\mathbf{x}_0$ 的估计 $\hat{\mathbf{x}}_0$),通用的 DDIM 更新式为:
$$ \mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}} \, \hat{\mathbf{x}}_0 + \sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \, \boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t, t) + \sigma_t \mathbf{z}, \qquad \hat{\mathbf{x}}_0 = \frac{\mathbf{x}_t - \sqrt{1 - \bar{\alpha}_t} \, \boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t, t)}{\sqrt{\bar{\alpha}_t}} $$当 $\eta = 1$ 时恢复 DDPM 的随机采样;当 $\eta = 0$ 时得到完全确定性的采样:
$$ \mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}} \underbrace{\left(\frac{\mathbf{x}_t - \sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t, t)}{\sqrt{\bar{\alpha}_t}}\right)}_{\text{预测的 } \mathbf{x}_0} + \underbrace{\sqrt{1 - \bar{\alpha}_{t-1}} \boldsymbol{\epsilon}_{\theta}(\mathbf{x}_t, t)}_{\text{指向噪声方向}} $$| 符号 | 含义 |
|---|---|
| 括号内 | 由 $\mathbf{x}_t$ 和预测噪声推断的 $\mathbf{x}_0$ 估计 |
| 第二项 | 重新按 $\sqrt{1-\bar{\alpha}_{t-1}}$ 加噪到 $t-1$ 步的水平 |
DDIM 的核心优势:
- 训练不变性:使用与 DDPM 完全相同的训练目标,不需要重新训练;
- 少步采样:由于训练只依赖边际 $q(\mathbf{x}_t \mid \mathbf{x}_0)$,可以只在一个子序列 $\tau_1 < \dots < \tau_S$($S \ll T$,如 50 步甚至 10 步)上采样,把公式中的 $t-1$ 换成子序列里的前一个时间步即可;步数较少时,$\eta = 0$ 的质量明显优于随机采样;
- 可逆性:确定性映射提供了从数据到隐变量 $\mathbf{x}_T$ 的近似可逆编码,可用于插值和编辑;
- 隐空间操作:可以在隐空间 $\mathbf{x}_T$ 中进行语义操作,再解码到图像空间。
| 特点 | 说明 |
|---|---|
| 适用场景 | 需要快速推理、图像编辑、确定性编码的应用 |
| 关键参数 | $\eta \in [0, 1]$(随机性控制),子采样步数 $S$ |
| 注意事项 | 步数过少时确定性采样可能引入伪影;通常 $S \geq 20$ 效果较好 |
| |
2.3 NCSN / NCSNv2:噪声条件分数网络(Song & Ermon, 2019-2020)
Noise Conditional Score Networks (NCSN)2 是扩散模型发展史上的另一重要分支,直接从分数匹配的角度构建生成模型。
2.3.1 多噪声尺度分数估计
NCSN 的核心是训练一个噪声条件网络 $\mathbf{s}_{\theta}(\mathbf{x}, \sigma)$ 来同时估计多个噪声水平 $\{\sigma_i\}_{i=1}^L$ 下的分数:
$$ \forall \sigma \in \{\sigma_1, \dots, \sigma_L\}: \quad \mathbf{s}_{\theta}(\mathbf{x}, \sigma) \approx \nabla_{\mathbf{x}} \log q_{\sigma}(\mathbf{x}) $$| 符号 | 含义 |
|---|---|
| $L$ | 噪声水平数量:原始 NCSN 取 $L = 10$($\sigma_1 = 1$,$\sigma_L = 0.01$,像素值归一化到 $[0, 1]$);NCSNv2 在高分辨率数据上用到数百到上千个(如 CIFAR-10 为 232,FFHQ $256 \times 256$ 为 2311) |
| $\sigma_i$ | 第 $i$ 个噪声水平,通常呈几何级数 $\sigma_1 > \sigma_2 > \dots > \sigma_L$ |
| $q_{\sigma}(\mathbf{x})$ | $\int p_{\text{data}}(\tilde{\mathbf{x}}) \mathcal{N}(\mathbf{x} \mid \tilde{\mathbf{x}}, \sigma^2 \mathbf{I}) \mathrm{d}\tilde{\mathbf{x}}$ |
训练目标为每个噪声水平下的去噪分数匹配损失之和:
$$ L_{\text{NCSN}}(\theta) = \frac{1}{L} \sum_{i=1}^{L} \lambda(\sigma_i) \mathbb{E}_{\mathbf{x}_0, \boldsymbol{\epsilon}} \left[ \left\| \mathbf{s}_{\theta}(\mathbf{x}_0 + \sigma_i \boldsymbol{\epsilon}, \sigma_i) + \frac{\boldsymbol{\epsilon}}{\sigma_i} \right\|_2^2 \right] $$| 符号 | 含义 |
|---|---|
| $\lambda(\sigma_i)$ | 噪声水平相关的损失权重,通常 $\lambda(\sigma) = \sigma^2$:因为最优分数的范数约正比于 $1/\sigma$,乘以 $\sigma^2$ 后各尺度的损失量级大致相同 |
| 目标 | 网络输出 $\mathbf{s}_{\theta}$ 应预测 $-\boldsymbol{\epsilon}/\sigma_i$(即分数) |
2.3.2 退火 Langevin 采样
先回顾 Langevin 动力学:只要知道分数,就能从分布 $p(\mathbf{x})$ 中采样:
$$ \mathbf{x}_{k+1} = \mathbf{x}_k + \delta \, \nabla_{\mathbf{x}} \log p(\mathbf{x}_k) + \sqrt{2\delta} \, \mathbf{z}_k, \qquad \mathbf{z}_k \sim \mathcal{N}(\mathbf{0}, \mathbf{I}) $$| 符号 | 含义 |
|---|---|
| $\delta$ | 步长;当 $\delta \to 0$ 且迭代步数 $K \to \infty$ 时,$\mathbf{x}_K$ 的分布收敛到 $p(\mathbf{x})$ |
| 第二项 | 沿分数方向“爬坡”,走向高密度区域 |
| 第三项 | 注入噪声,防止所有样本都塌缩到同一个峰值 |
直接对数据分布做 Langevin 采样有两个问题:数据集中在低维流形附近,大部分区域密度极低、分数估计不准;多峰分布之间被低密度区域隔开,采样链很难在峰之间切换。NCSN 的解决办法是退火 Langevin 动力学(Annealed Langevin Dynamics):先在大噪声下采样(此时分布被充分平滑、各峰连成一片),再逐级降低噪声水平,每一级都用上一级的结果初始化 Langevin MCMC:
| |
| 符号 | 含义 |
|---|---|
| $\alpha_i$ | 第 $i$ 个噪声水平下的 Langevin 步长 |
| $T$ | 每个噪声水平的步数,通常 100-200 |
| 最后返回 | $\sigma_L$ 最小(接近 0)时的精细样本 |
步长选择原理:$\alpha_i = \epsilon \sigma_i^2 / \sigma_L^2$ 确保更新方向的信噪比在不同噪声水平下保持一致:大噪声时分数小,用大步长;小噪声时分数大,用小步长。
2.3.3 NCSNv2 的改进
NCSNv2(Song & Ermon, 2020)17 引入多项关键技术提升性能和稳定性:
- 改进噪声尺度选择:初始噪声 $\sigma_1$ 根据训练数据的最大成对距离选择,确保样本多样性;
- 几何级数噪声水平:$\sigma_i$ 严格按几何级数排列,$\sigma_1/\sigma_2 = \dots = \sigma_{L-1}/\sigma_L > 1$;
- 简化噪声条件:参数化 $\mathbf{s}_{\theta}(\mathbf{x}, \sigma) = \mathbf{s}_{\theta}(\mathbf{x}) / \sigma$,减少网络条件输入复杂度;
- EMA 稳定训练:使用指数移动平均(Exponential Moving Average)平滑模型权重,减少样本质量波动;
- 步数与步长选择:按理论分析选择每个噪声级上的 Langevin 步数 $T$ 和步长 $\epsilon$,而不是靠经验调参;
- 架构改进:由于噪声信息改为通过输出缩放注入,网络不再需要条件实例归一化(CondInstanceNorm++),改用不带噪声条件的归一化层,并加深、加宽 RefineNet 以支持更高分辨率。
| NCSN vs NCSNv2 | NCSN | NCSNv2 |
|---|---|---|
| CIFAR-10 FID | 25.32 | 10.87(带去噪) |
| 最高分辨率 | $32 \times 32$(原论文) | $256 \times 256$ |
| 噪声条件 | 显式条件 | 参数化 $\mathbf{s}_{\theta}(\mathbf{x})/\sigma$ |
| 训练稳定 | 一般 | EMA + 架构改进 |
| 步长调度 | 经验选择 | 理论驱动 |
| |
NCSN 特点总结:
- 优点:直接学习分数,理论简洁;多尺度加噪与退火采样缓解了低密度区域分数不准、多峰之间混合慢的问题;
- 缺点:需要大量 Langevin 步骤(通常 $L \times T > 1000$ NFE),速度极慢;在数据稀少的低密度区域,分数估计仍不准确;
- 使用场景:分数估计、密度估计、异常检测;
- 关键参数:噪声水平数量 $L$、几何级数比、步长 $\epsilon$;
- 注意事项:需要精心设计噪声范围;Langevin 动态在低密度区域可能不稳定。
2.4 EDM:阐明扩散模型的设计空间(Karras et al., 2022)
Elucidating the Design Space of Diffusion-based Generative Models (EDM)5 是扩散模型领域的系统性工程工作。它不是提出全新架构,而是统一、澄清和优化了扩散模型的所有关键设计选择,建立了模块化的设计空间。
2.4.1 统一框架与 $\sigma$-参数化
EDM 的核心是将所有扩散模型统一到以噪声水平 $\sigma$ 为自变量的连续框架。数据扰动表示为:
$$ \mathbf{x} = \mathbf{y} + \sigma \boldsymbol{\epsilon}, \quad \mathbf{y} \sim p_{\text{data}}, \boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}) $$| 符号 | 含义 |
|---|---|
| $\mathbf{y}$ | 干净数据(信号) |
| $\mathbf{x}$ | 加噪后的观测 |
| $\sigma$ | 连续噪声水平,$\sigma \in [\sigma_{\min}, \sigma_{\max}]$ |
EDM 训练一个去噪器 $D_{\theta}(\mathbf{x}; \sigma)$ 来预测干净数据 $\mathbf{y}$:
$$ \mathcal{L} = \mathbb{E}_{\sigma, \mathbf{y}, \boldsymbol{\epsilon}} \left[ \lambda(\sigma) \| D_{\theta}(\mathbf{y} + \sigma \boldsymbol{\epsilon}; \sigma) - \mathbf{y} \|_2^2 \right] $$| 符号 | 含义 |
|---|---|
| $D_{\theta}(\mathbf{x}; \sigma)$ | 去噪网络,输入加噪数据和噪声水平 |
| $\lambda(\sigma)$ | 噪声相关的损失权重 |
2.4.2 预处理(Preconditioning)
EDM 最重要的理论贡献是预处理方案,通过 $\sigma$-依赖的缩放函数使网络 $F_{\theta}$ 的输入和输出在不同噪声水平下保持单位方差:
$$ D_{\theta}(\mathbf{x}; \sigma) = c_{\text{skip}}(\sigma) \mathbf{x} + c_{\text{out}}(\sigma) F_{\theta}(c_{\text{in}}(\sigma) \mathbf{x}; c_{\text{noise}}(\sigma)) $$| 符号 | 含义 | EDM 选择 |
|---|---|---|
| $c_{\text{skip}}(\sigma)$ | Skip connection 缩放 | $\sigma_{\text{data}}^2 / (\sigma^2 + \sigma_{\text{data}}^2)$ |
| $c_{\text{out}}(\sigma)$ | 网络输出缩放 | $\sigma \cdot \sigma_{\text{data}} / \sqrt{\sigma^2 + \sigma_{\text{data}}^2}$ |
| $c_{\text{in}}(\sigma)$ | 网络输入缩放 | $1 / \sqrt{\sigma^2 + \sigma_{\text{data}}^2}$ |
| $c_{\text{noise}}(\sigma)$ | 噪声条件映射 | $\frac{1}{4} \ln(\sigma)$ |
| $\sigma_{\text{data}}$ | 数据标准差 | 0.5(图像归一化后) |
预处理的设计原理:
- $c_{\text{in}}$ 确保输入到 $F_{\theta}$ 的量级约为 1,与 $\sigma$ 无关;
- $c_{\text{out}}$ 确保 $F_{\theta}$ 输出的误差不会被放大;
- $c_{\text{skip}}$ 使网络在不同噪声水平下预测不同的目标:低噪声时主要预测残差(噪声),高噪声时主要预测信号(数据均值)。
2.4.3 损失权重与训练噪声分布
把预处理代入损失可得 $\lambda(\sigma) \left\| D_{\theta} - \mathbf{y} \right\|_2^2 = \lambda(\sigma) \, c_{\text{out}}(\sigma)^2 \left\| F_{\theta} - \frac{\mathbf{y} - c_{\text{skip}}(\sigma) \mathbf{x}}{c_{\text{out}}(\sigma)} \right\|_2^2$,即对内部网络 $F_{\theta}$ 而言,有效损失权重为 $\lambda(\sigma) \, c_{\text{out}}(\sigma)^2$。为使各噪声水平下的有效权重都等于 1,选择:
$$ \lambda(\sigma) = \frac{1}{c_{\text{out}}(\sigma)^2} = \frac{\sigma^2 + \sigma_{\text{data}}^2}{(\sigma \cdot \sigma_{\text{data}})^2} $$| 符号 | 含义 |
|---|---|
| $\lambda(\sigma)$ | 损失权重,平衡不同噪声水平 |
训练时噪声水平从对数正态分布采样:
$$ \ln(\sigma) \sim \mathcal{N}(P_{\text{mean}}, P_{\text{std}}^2) $$| 参数 | 含义 | 典型值 |
|---|---|---|
| $P_{\text{mean}}$ | 对数均值 | -1.2 |
| $P_{\text{std}}$ | 对数标准差 | 1.2 |
| $\sigma_{\min}$ | 最小噪声 | 0.002 |
| $\sigma_{\max}$ | 最大噪声 | 80.0 |
关键洞察:在极低噪声水平下,区分微小噪声是困难且不必要的;在极高噪声水平下,目标总是接近数据集均值。因此 EDM 将训练重点放在中间噪声水平,这些水平对形成可感知内容最关键。
2.4.4 采样器:Heun 二阶方法与 Stochastic Churn
EDM 提出了一种二阶确定性采样器(基于 Heun 方法)和一种随机采样器(含 churn 机制):
确定性采样器(Heun’s 2nd Order):
$$ \mathbf{k}_1 = f(\mathbf{x}_i, \sigma(t_i)), \quad \mathbf{k}_2 = f(\mathbf{x}_i + \Delta t \cdot \mathbf{k}_1, \sigma(t_{i+1})) $$$$ \mathbf{x}_{i+1} = \mathbf{x}_i + \frac{1}{2}(\mathbf{k}_1 + \mathbf{k}_2) \Delta t $$| 符号 | 含义 |
|---|---|
| $f(\mathbf{x}, \sigma)$ | 概率流 ODE 的导数 $\mathrm{d}\mathbf{x}/\mathrm{d}\sigma$,由去噪器计算 |
| $\Delta t$ | $t_{i+1} - t_i$;EDM 取 $\sigma(t) = t$,因此它就是噪声水平的变化量 $\sigma_{i+1} - \sigma_i$(为负值) |
EDM 取 $s(t) = 1$、$\sigma(t) = t$ 时,概率流 ODE 化简为 $\mathrm{d}\mathbf{x}/\mathrm{d}\sigma = -\sigma \nabla_{\mathbf{x}} \log p(\mathbf{x}; \sigma)$,再用 Tweedie 公式(1.6 节)把分数换成去噪器,得到:
$$ f(\mathbf{x}, \sigma) = -\sigma \nabla_{\mathbf{x}} \log p(\mathbf{x}; \sigma) = \frac{\mathbf{x} - D_{\theta}(\mathbf{x}; \sigma)}{\sigma} $$直观上,$f$ 指向“远离去噪结果”的方向;由于 $\Delta t < 0$,每一步实际上是朝着去噪结果 $D_{\theta}$ 前进。Heun 方法先用 Euler 步试探,再用终点处的斜率做梯形校正,每步需要 2 次网络评估;最后一步($\sigma_{i+1} = 0$)退化为单次 Euler 步。
噪声调度(EDM 离散化):
$$ \sigma_i = \left(\sigma_{\max}^{1/\rho} + \frac{i}{N-1}(\sigma_{\min}^{1/\rho} - \sigma_{\max}^{1/\rho})\right)^{\rho} $$| 符号 | 含义 | 典型值 |
|---|---|---|
| $N$ | 采样步数 | 18–40(CIFAR-10 到 ImageNet-64,对应 35–79 次 NFE) |
| $\rho$ | 调度形状参数,越大越把步数集中在低噪声端 | 7 |
| $\sigma_i$ | 第 $i$ 步的噪声水平,$\sigma_0 = \sigma_{\max}$,$\sigma_{N-1} = \sigma_{\min}$,另补 $\sigma_N = 0$ | — |
Stochastic Churn(随机搅拌):EDM 的随机采样器在每一步先增加噪声(churn):把噪声水平从 $\sigma_i$ 提高到 $\hat{\sigma}_i = (1 + \gamma_i) \sigma_i$,即加入方差为 $\hat{\sigma}_i^2 - \sigma_i^2$ 的新鲜噪声;再用一步 Heun 从 $\hat{\sigma}_i$ 确定性地积分到 $\sigma_{i+1}$。这种“先加噪再去噪”的往返思路上类似 Predictor-Corrector 中的 Langevin 校正,可以纠正前面步骤累积的误差。关键参数:
| 参数 | 含义 | EDM 在 ImageNet-64 上的取值 |
|---|---|---|
| $S_{\text{churn}}$ | 总的加噪强度,每步 $\gamma_i = \min\left( S_{\text{churn}}/N, \sqrt{2} - 1 \right)$ | 40 |
| $S_{\text{min}}$ | 只在 $\sigma_i \in [S_{\text{min}}, S_{\text{max}}]$ 内加噪的下限 | 0.05 |
| $S_{\text{max}}$ | 加噪区间上限 | 50 |
| $S_{\text{noise}}$ | 新噪声标准差的放大因子(略大于 1,补偿去噪器的过度平滑) | 1.003 |
这些参数的最优值随数据集和模型而异,EDM 通过网格搜索确定。
EDM 特点总结:
- 优点:模块化设计空间,训练稳定;发表时达到 SOTA:类条件 CIFAR-10 FID 1.79(无条件 1.97),仅需 35 次 NFE;
- 缺点:预处理参数需要针对数据分布调整;
- 使用场景:现代图像生成、结构生成(如蛋白质)、许多后续工作的基线;
- 关键参数:$\sigma_{\text{data}}$、$P_{\text{mean}}$/$P_{\text{std}}$、采样步数 $N$、$\rho$;
- 注意事项:当 $\sigma_{\text{data}} = 1$ 时,$F_{\theta}$ 的回归目标在形式上与 $\mathbf{v}$-预测一致(相差一个符号,见 1.9 节),即在 $\boldsymbol{\epsilon}$-预测与 $\mathbf{x}_0$-预测之间随噪声水平自适应插值;Heun 采样器与 EDM 的 $\sigma$ 调度强耦合。
| |
2.5 噪声调度等价性与模型关系
下表系统对比了所有经典方法在设计空间中的位置:
| 维度 | DDPM | DDIM | NCSN | NCSNv2 | EDM |
|---|---|---|---|---|---|
| 训练目标 | 变分下界 / $\boldsymbol{\epsilon}$-MSE | 与 DDPM 相同 | 多尺度 DSM | 多尺度 DSM | 去噪 MSE + 预处理 |
| 前向过程 | 马尔可夫 VP | 非马尔可夫($\eta$ 参数化) | VE 多尺度 | VE 多尺度 | 连续 $\sigma$ |
| 反向采样 | 随机马尔可夫 | 确定性($\eta = 0$,ODE)/ 随机($\eta > 0$) | 退火 Langevin | 退火 Langevin | Heun 2nd + churn |
| 参数化 | $\boldsymbol{\epsilon}$-预测 | $\boldsymbol{\epsilon}$-预测 | 分数 $\mathbf{s}_{\theta}$ | $\mathbf{s}_{\theta}(\mathbf{x})/\sigma$ | 去噪器 $D_{\theta}$ |
| 核心创新 | 简化 VLB | 非马尔可夫加速 | 多噪声分数 | 稳定性改进 | 设计空间统一 |
| 典型 NFE | 1000 | 10-50 | 1000+ | 1000+ | 35-79 |
| CIFAR-10 FID | 3.17 | 4.67(50 步)/ 4.04(1000 步) | 25.32 | 10.87 | 1.79(类条件;无条件 1.97) |
表中 FID 均取自各原论文,评测设置并不完全一致(例如 DDIM 使用 $\eta = 0$ 且与 DDPM 共用同一模型),只适合粗略比较。
graph TB
subgraph "扩散模型家族"
A["Score Matching
Hyvärinen 2005"] --> B["NCSN 2019
多噪声分数"]
A --> C["DDPM 2020
变分推断+ε预测"]
B --> D["Score SDE 2021
连续统一框架"]
C --> D
C --> E["DDIM 2020/2021
非马尔可夫/ODE"]
D --> F["EDM 2022
设计空间阐明"]
E --> F
B --> G["NCSNv2 2020
改进训练与架构"]
G --> D
end
style A fill:#fff3e1
style D fill:#e1f5ff
style F fill:#e1ffe1
各噪声调度的数学关系:所有调度都可以映射到 $\alpha_t$-$\sigma_t$ 表示。例如:
- DDPM 的 $\beta_t$ 调度对应 VP 属性 $\alpha_t^2 + \sigma_t^2 = 1$;
- NCSN 的 $\sigma_i$ 几何级数对应 VE 属性 $\alpha_t = 1$;
- DDIM 沿用 DDPM 的 VP 调度($\alpha_t = \sqrt{\bar{\alpha}_t}$,$\sigma_t = \sqrt{1 - \bar{\alpha}_t}$),只改变了采样过程;而 $\alpha_t = 1 - t$、$\sigma_t = t$ 的线性路径对应的是 Flow Matching / Rectified Flow;
- EDM 的 $\sigma$ 参数化将这些统一到连续噪声水平:任何 $\mathbf{x}_t = \alpha_t \mathbf{x}_0 + \sigma_t \boldsymbol{\epsilon}$ 都可以写成 $\mathbf{x}_t / \alpha_t = \mathbf{x}_0 + (\sigma_t / \alpha_t) \boldsymbol{\epsilon}$,即噪声水平为 $\sigma = \sigma_t / \alpha_t = 1/\sqrt{\text{SNR}}$ 的 VE 形式。
当采用 EDM 的预处理时,不同调度下的网络 $F_{\theta}$ 实际上学习相同的信息,只是通过不同的输入/输出缩放呈现。这也解释了为什么 EDM 的采样器可以直接用于此前训练好的 VP、VE 模型并显著提升其效果——采样器与训练过程可以分开设计。
2.6 本章小结
本章深入分析了四种经典扩散模型:
- DDPM 通过变分推断和 $\boldsymbol{\epsilon}$-预测将扩散模型简化,建立了训练稳定性与高质量生成的基础;Improved DDPM 进一步引入余弦调度与可学习方差;
- DDIM 构造了与 DDPM 边际分布相同的非马尔可夫过程族,从而在不重新训练的前提下得到确定性、可跳步的采样,实现了 10–50 倍的加速;
- NCSN/NCSNv2 从分数匹配的角度直接学习多噪声水平的分数,用退火 Langevin 采样缓解了低密度区域与多峰混合的问题,但计算成本高;
- EDM 统一了扩散模型的设计空间,通过预处理、损失权重和采样器的系统性优化,达到当前最优的 FID 和效率。
这些模型构成了现代扩散模型(如 Stable Diffusion、DALL·E 2/3、Sora 等)的基石。理解它们之间的数学关系——特别是分数匹配、去噪和变分推断的等价性——是掌握后续高级主题(如条件生成、流匹配、一致性模型)的必要前提。
参考文献
Sohl-Dickstein, J., Weiss, E., Maheswaranathan, N., & Ganguli, S. (2015). Deep unsupervised learning using nonequilibrium thermodynamics. ICML. ↩︎ ↩︎
Song, Y., & Ermon, S. (2019). Generative modeling by estimating gradients of the data distribution. NeurIPS. ↩︎ ↩︎ ↩︎
Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. NeurIPS. ↩︎ ↩︎ ↩︎ ↩︎
Song, Y., Sohl-Dickstein, J., Kingma, D. P., Kumar, A., Ermon, S., & Poole, B. (2021). Score-based generative modeling through stochastic differential equations. ICLR. ↩︎ ↩︎ ↩︎
Karras, T., Aittala, M., Aila, T., & Laine, S. (2022). Elucidating the design space of diffusion-based generative models. NeurIPS. ↩︎ ↩︎ ↩︎ ↩︎
Hyvärinen, A. (2005). Estimation of non-normalized statistical models by score matching. Journal of Machine Learning Research, 6, 695-709. ↩︎ ↩︎
Vincent, P. (2011). A connection between score matching and denoising autoencoders. Neural Computation, 23(7), 1661-1674. ↩︎
Song, Y., Garg, S., Shi, J., & Ermon, S. (2019). Sliced score matching: A scalable approach to density and score estimation. UAI 2019(PMLR 115, 2020 年出版). ↩︎
Efron, B. (2011). Tweedie’s formula and selection bias. Journal of the American Statistical Association, 106(496), 1602-1614. ↩︎
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nickel, M., & Le, M. (2023). Flow matching for generative modeling. ICLR. ↩︎ ↩︎
Anderson, B. D. O. (1982). Reverse-time diffusion equation models. Stochastic Processes and their Applications, 12(3), 313-326. ↩︎
Nichol, A., & Dhariwal, P. (2021). Improved denoising diffusion probabilistic models. ICML. ↩︎ ↩︎
Liu, X., Gong, C., & Liu, Q. (2023). Flow straight and fast: Learning to generate and transfer data with rectified flow. ICLR. ↩︎
Kingma, D. P., Salimans, T., Poole, B., & Ho, J. (2021). Variational diffusion models. NeurIPS. ↩︎
Salimans, T., & Ho, J. (2022). Progressive distillation for fast sampling of diffusion models. ICLR. ↩︎
Song, J., Meng, C., & Ermon, S. (2021). Denoising diffusion implicit models. ICLR. ↩︎
Song, Y., & Ermon, S. (2020). Improved techniques for training score-based generative models. NeurIPS. ↩︎
