第7章:跨模态扩散——视频、3D、音频与离散数据
扩散模型最初在图像生成领域取得突破,但它的核心思想——从简单分布出发,通过迭代去噪逼近复杂的数据分布——并不局限于二维像素。近年来,研究者把扩散框架拓展到视频、三维几何、音频以及离散符号序列等多种模态,形成了跨模态扩散(Cross-Modal Diffusion)这一活跃前沿。本章逐一梳理这些方向,重点回答三个问题:每种模态难在哪里、主流方法改了扩散框架的哪一部分、以及各方法之间的共性与取舍。
Note
本章沿用前几章的记号:$t$ 表示扩散时间步,$T$ 表示扩散总步数,$\epsilon_\theta$ 为噪声预测网络。为避免混淆,视频的帧数记为 $N_f$,而不是 $T$。
7.1 视频扩散模型
视频在图像之外多了一个时间维度,生成的核心挑战是时序一致性(temporal coherence):物体在帧与帧之间应当保持形状、颜色和位置的连续变化,而不是像逐帧独立采样那样出现闪烁与变形。视频扩散模型必须在保留空间细节的同时,有效建模时间上的动态。
7.1.1 视频生成的时序建模框架
视频可以表示为张量 $v \in \mathbb{R}^{N_f \times C \times H \times W}$。视频扩散模型通常在预训练图像模型的基础上做"时序扩展"(temporal inflation),即在 U-Net 或 Transformer 中插入负责跨帧交互的时序层。主要的架构选择包括:
| 架构 | 时序建模方式 | 代表模型 | 特点 |
|---|---|---|---|
| 3D U-Net(分解式卷积 + 时序注意力) | 把 2D 卷积扩展为只作用于空间的 3D 卷积($1 \times 3 \times 3$),再插入时序注意力 | VDM(Ho et al. 2022) | 最早的视频扩散模型之一,图像与视频可联合训练 |
| 时序注意力 / 时序卷积插件 | 在预训练图像模型的空间层之后插入跨帧注意力或 1D 时序卷积 | Video LDM、SVD | 复用图像先验,灵活捕捉长程时序依赖 |
| 可插拔运动模块 | 冻结图像模型,只训练独立的时序模块 | AnimateDiff | 训练成本低,可迁移到个性化模型 |
| 时空 Transformer | 把视频切成时空块作为 token,做(分解或联合的)时空注意力 | Latte、W.A.L.T、Sora、CogVideoX | 扩展性强,支持变长输入 |
符号说明:
| 符号 | 含义 |
|---|---|
| $v$ | 视频张量 |
| $N_f$ | 视频帧数(时间维度长度) |
| $C$ | 通道数(像素空间为 3,即 RGB) |
| $H, W$ | 空间高度与宽度 |
| $\epsilon_\theta$ | 参数为 $\theta$ 的噪声预测网络 |
7.1.2 Video LDM:对齐潜变量的视频生成
Video LDM(Blattmann et al., CVPR 2023)1 是把潜在扩散模型(LDM,§3.4)从图像扩展到视频的开创性工作。核心思路是:复用预训练图像 LDM 的自编码器与去噪网络,只额外学习"时间对齐"——在 U-Net 中插入时序层(时序注意力与 3D 卷积,并与原空间层的输出可学习地混合),同时在 VAE 解码器中加入时序层以保证帧间连贯。
Video LDM 的前向加噪过程与图像 LDM 一致,只是作用在逐帧编码得到的潜变量序列 $z \in \mathbb{R}^{N_f \times C' \times H' \times W'}$ 上:
$$ q(z_t \mid z_{t-1}) = \mathcal{N}\left(z_t; \sqrt{1 - \beta_t}\, z_{t-1}, \beta_t \mathbf{I}\right) $$其中 $z_0 = \mathcal{E}(v)$ 为 VAE 编码器(逐帧)输出,$\beta_t$ 为噪声调度参数。
符号说明:
| 符号 | 含义 |
|---|---|
| $z_t$ | 扩散时间步 $t$ 的潜变量(包含所有帧) |
| $\mathcal{E}$ | VAE 编码器 |
| $\beta_t$ | 第 $t$ 步的噪声方差参数 |
| $\mathcal{N}(\mu, \Sigma)$ | 均值为 $\mu$、协方差为 $\Sigma$ 的高斯分布 |
Video LDM 的另一项关键设计是解码器时序微调。图像 VAE 的解码器从未见过视频,逐帧独立解码会导致闪烁。因此 Video LDM 在解码器中插入时序层,并用一个基于 3D 卷积的、按 patch 判别的视频判别器进行对抗微调,使解码结果在帧间保持连贯。编码器保持冻结,确保潜空间与原图像 LDM 兼容(因而可以直接复用图像模型)。
7.1.3 Stable Video Diffusion(SVD):规模化视频扩散
Stable Video Diffusion(Blattmann et al., 2023)2 在 Video LDM 的基础上做了系统性的训练扩展研究,提出并验证了三阶段训练范式:
- 文本到图像预训练:基于 Stable Diffusion 2.1,奠定视觉质量与语义理解的基础;
- 大规模视频预训练:在经过系统筛选(含自动标注与过滤)的大规模视频数据集上训练,学习运动先验;
- 高质量视频微调:在规模更小但质量更高的视频子集上精调,提升生成保真度。
论文的一个重要结论是:精心筛选的预训练数据对最终视频质量至关重要。SVD 沿用 Video LDM 的设置,在每个空间卷积层和注意力层之后插入时序卷积和时序注意力,共新增约 6.56 亿(656M)参数,使 U-Net 总参数量达到约 15.2 亿(1521M)2。模型通过 motion_bucket_id 等微条件(micro-conditioning)控制运动幅度,并通过帧率微条件控制帧率。
公开发布的 SVD 权重主要是图像到视频(image-to-video)模型:SVD 生成 14 帧、SVD-XT 生成 25 帧,分辨率均为 576×1024。它们采用 EDM 框架(§2.4)训练,并使用无分类器引导(CFG)。
7.1.4 AnimateDiff:即插即用的运动模块
AnimateDiff(Guo et al., ICLR 2024)3 采取了更轻量的策略:不修改预训练文本到图像扩散模型的权重,而是引入一个独立的运动模块(Motion Module),只在视频数据上训练这个模块。
运动模块本质上是一组沿时间轴做自注意力的 Transformer 层(带时序位置编码,输出投影零初始化),插入 Stable Diffusion U-Net 的各个分辨率层级。训练时图像骨干冻结,只更新运动模块。这种设计最大的优势是可迁移性:训练好的运动模块可以直接插入任何源自同一基座、经过微调或个性化(如 DreamBooth、LoRA,§4.5)的 Stable Diffusion 模型,让它"动起来",无需针对每个模型重新训练。论文还提出了 MotionLoRA,用少量数据和计算把运动模块适配到新的运动模式(如不同的镜头运动)。
AnimateDiff 的去噪网络可以写成"冻结的图像参数 + 可训练的运动参数":
$$ \hat{\epsilon} = \epsilon_{\theta_{\text{img}}, \theta_{\text{motion}}}\left( z_t, t, c_{\text{text}} \right), \qquad \theta_{\text{img}} \text{ 冻结,仅 } \theta_{\text{motion}} \text{ 可训练} $$采样时照常迭代去噪得到 $z_0$,再逐帧解码得到视频 $v_{\text{gen}} = \mathcal{D}(z_0)$。训练目标仍是标准的噪声预测损失 $\left\lVert \epsilon - \hat{\epsilon} \right\rVert_2^2$。
符号说明:
| 符号 | 含义 |
|---|---|
| $v_{\text{gen}}$ | 生成的视频 |
| $z_t$ | 扩散时间步 $t$ 的潜变量(所有帧) |
| $c_{\text{text}}$ | 文本条件嵌入 |
| $\theta_{\text{img}}$ | 冻结的图像 U-Net 参数(可替换为任意个性化版本) |
| $\theta_{\text{motion}}$ | 运动模块的可训练参数 |
| $\mathcal{D}$ | VAE 解码器 |
7.1.5 Latte:潜在扩散 Transformer
Latte(Ma et al., 2024)4 把视频扩散的主干从 U-Net 换成 Transformer,验证了 DiT(§6.1)架构在视频生成中的有效性。Latte 先从视频潜变量中提取时空 token,再用一系列 Transformer 块建模视频分布。为了应对视频 token 数量巨大的问题,论文从"如何分解空间维与时间维"的角度设计了四种高效变体:
- 变体 1(交错融合):空间 Transformer 块(只在同一帧内做注意力)与时间 Transformer 块(只在同一空间位置的不同帧之间做注意力)交替堆叠;
- 变体 2(后期融合):块数相同,但先堆叠全部空间块,再堆叠全部时间块;
- 变体 3(分解注意力):在每个 Transformer 块内部,先做空间自注意力、再做时间自注意力;
- 变体 4(分解注意力头):把多头注意力的头分成两组,一组负责空间、一组负责时间,最后合并。
论文还系统比较了视频 patch 嵌入方式(逐帧切块 vs 跨帧的时空管道切块)、时间步 / 类别信息的注入方式、时序位置编码和训练策略,实验中变体 1 表现最好。Latte 在 FaceForensics、SkyTimelapse、UCF101、Taichi-HD 四个标准数据集上取得了当时最优的结果,并可扩展到文本到视频生成4。
7.1.6 Sora:时空统一的 DiT 范式
Sora(OpenAI, 2024)5 是视频生成领域的标志性工作。其技术报告只公开了高层方法,可以概括为:
视频压缩网络:不同于逐帧编码,Sora 训练了一个同时在时间和空间上压缩的自编码器,把视频映射为分辨率更低、时间维也更短的潜变量,再在这个潜空间中训练和生成。
时空 patch 与扩散 Transformer:把压缩后的潜变量切成时空 patch(spacetime patches)作为 Transformer 的 token。由于图像就是只有一帧的视频,这种表示可以统一处理图像和视频。Sora 直接在原始分辨率、时长和宽高比的数据上训练,而不是把视频裁剪成固定尺寸;生成时通过排布不同大小的噪声 patch 网格来控制输出尺寸。报告指出 Sora 是一个扩散 Transformer,训练目标是从带噪 patch 预测原始的"干净" patch。
重新标注(re-captioning):沿用 DALL·E 3 的方法,先训练一个高描述性的视频字幕模型,为所有训练视频生成详细字幕;推理时再用 GPT 把用户的简短提示扩写成详细描述,从而显著提升对复杂文本指令的遵循能力。
由于实现细节未公开,下面只用通用的扩散反向过程示意 Sora 这类模型的去噪步骤:
$$ p_\theta(z_{t-1} \mid z_t, c) = \mathcal{N}\left(z_{t-1};\, \mu_\theta(z_t, t, c),\, \Sigma_\theta(t)\right) $$其中 $z_t$ 为压缩后的时空潜变量,$c$ 为文本条件,$\mu_\theta$ 由 Transformer 网络给出。
符号说明:
| 符号 | 含义 |
|---|---|
| $z_t$ | 时空压缩潜变量 |
| $c$ | 文本条件 / 提示 |
| $\mu_\theta$ | 神经网络预测的去噪均值 |
| $\Sigma_\theta(t)$ | 预设或预测的时间相关协方差 |
7.1.7 CogVideo、CogVideoX 与开源生态
CogVideo(Hong et al., 2022)是较早的开源大规模文本到视频模型,但它不是扩散模型:它基于预训练的文本到图像模型 CogView2,用自回归 Transformer 生成视频 token,并采用分层生成策略——先生成低帧率的关键帧,再通过插帧生成中间帧。其后继 CogVideoX(Yang et al., ICLR 2025)6 转向扩散框架,引入 3D 因果 VAE(在时空上同时压缩,且时间方向因果,使首帧可以独立编码为图像)和带"专家自适应 LayerNorm"的 Transformer,并采用 3D 全注意力,提升了生成质量与长视频能力。近年的开源视频扩散模型(如 HunyuanVideo、Wan 等)也普遍采用"3D 因果 VAE + 时空 DiT + 流匹配训练"的技术路线。
时序建模的核心权衡在于计算量。设潜空间中每帧有 $h \times w$ 个 token、共 $N_f$ 帧:
- 3D 全注意力把所有 $N_f h w$ 个 token 放在一起做注意力,表达能力最强,但计算量为 $O\left( (N_f h w)^2 \right)$;
- 分解式时空注意力(先帧内、再跨帧,如 Latte 变体 3)的计算量为 $O\left( N_f h w \cdot (h w + N_f) \right)$,在高分辨率、长视频下要便宜得多,但跨帧、跨位置的信息只能间接交换。
7.1.8 长视频与自回归式视频扩散
上述模型一次生成固定长度的片段。要生成更长的视频,常见做法有:
- 分段生成 + 重叠:以前一段的最后几帧为条件生成下一段(SVD 等模型的常见用法);
- Diffusion Forcing7:训练时为序列中的每个 token(帧)独立采样噪声水平,使模型既能像扩散模型一样整体去噪,又能像自回归模型一样"已知前文、生成后文",从而支持变长、可持续延展的序列生成。这类"逐帧不同噪声水平"的思想已成为自回归视频扩散与世界模型的重要基础。
7.2 三维扩散模型
三维生成要求模型输出具有空间结构的数据(点云、网格、体素、隐式场、3D 高斯或多视角图像),核心挑战是多视角一致性和几何 / 拓扑的有效性。同时,高质量 3D 训练数据远少于图像数据。因此出现了两大类范式:直接 3D 扩散(在某种 3D 表示上训练扩散模型)与借助 2D 先验的 3D 生成(用预训练的 2D 扩散模型指导 3D 表示的优化或重建)。
7.2.1 直接三维表示扩散
Point-E:三阶段点云生成
Point-E(Nichol et al., OpenAI, 2022)8 把文本到 3D 生成分解为级联的三步:
- 文本到图像:用在 3D 渲染图上微调过的 GLIDE 文本到图像扩散模型,生成一张合成视角图像;
- 图像到粗点云:以该图像为条件,用扩散模型生成 1024 个点的粗点云(含颜色);
- 点云上采样:再用一个以低分辨率点云为条件的扩散模型,把点云细化到 4096 个点。
如需网格,Point-E 额外训练一个回归模型从点云预测 SDF,再用 Marching Cubes 提取表面。Point-E 生成很快(单卡一两分钟),但保真度有限,因为点云本身缺乏表面拓扑信息。
Shap-E:隐式函数的条件扩散
Shap-E(Jun & Nichol, OpenAI, 2023)9 改为生成隐式函数的参数,这些参数既可以渲染为纹理网格,也可以渲染为神经辐射场(NeRF)。训练分两个阶段:
- 编码器训练:训练一个编码器,把 3D 资产确定性地映射为隐式函数(MLP)的参数;
- 条件扩散:在编码器输出的参数上训练条件扩散模型,以文本或图像为条件生成新的隐式函数参数。
论文发现,尽管 Shap-E 要建模的输出空间维度更高、还要同时支持多种表示,它仍比 Point-E 收敛更快,且样本质量相当或更好,并能直接得到可渲染的纹理网格。
体素、点云与三平面扩散
其他代表性表示包括:
- 点云扩散:如 PVD(Point-Voxel Diffusion),用点-体素混合网络直接对点坐标去噪;
- 隐式场 / 体素扩散:如 Diffusion-SDF,在符号距离场(SDF)等隐式或体素化表示上做扩散;
- 三平面扩散(如 NFD):把 3D 形状编码为三个正交平面的 2D 特征图,再对这些特征图做扩散,既能复用 2D 扩散架构,又能显著降低计算复杂度。
7.2.2 Score Distillation Sampling(SDS):用 2D 先验生成 3D
DreamFusion(Poole et al., Google, ICLR 2023 杰出论文)10 提出了一种全新的 3D 生成范式:不训练任何 3D 扩散模型,而是把预训练的 2D 文本到图像扩散模型当作"评委",通过分数蒸馏采样(Score Distillation Sampling, SDS)优化一个可微的 3D 表示(如 NeRF),使它从任意视角渲染出的图像都"像"符合文本描述的真实图片。
SDS 核心公式
给定可微 3D 表示的参数 $\phi$(如 NeRF 的 MLP 权重),以及从视角 $\pi$ 渲染出的图像 $x = g(\phi, \pi)$。SDS 用下面的梯度迭代更新 $\phi$:
$$ \nabla_\phi \mathcal{L}_{\text{SDS}} = \mathbb{E}_{t, \pi, \epsilon} \left[ w(t) \left( \epsilon_\theta(x_t; t, c) - \epsilon \right) \frac{\partial x}{\partial \phi} \right] $$其中 $x_t = \alpha_t x + \sigma_t \epsilon$ 为渲染图像的前向加噪结果(连续时间记号,同 §5.1.3),$\epsilon_\theta$ 为冻结的预训练 2D 扩散模型的噪声预测,$c$ 为文本条件,$w(t)$ 为时间步权重。
这个梯度从哪里来? 如果直接对扩散模型的训练损失 $w(t) \lVert \epsilon_\theta(x_t; t, c) - \epsilon \rVert^2$ 关于 $\phi$ 求导,链式法则会产生一项 U-Net 的雅可比矩阵 $\partial \epsilon_\theta / \partial x_t$,计算昂贵且不稳定。DreamFusion 发现直接省略这一项效果反而更好,得到上面的简洁形式。由于 $\epsilon_\theta - \epsilon$ 正比于(负的)分数差,SDS 可以理解为:用 2D 扩散模型提供的分数,把每个视角的渲染图推向"给定文本下的高概率图像区域"。
符号说明:
| 符号 | 含义 |
|---|---|
| $\phi$ | 3D 表示(如 NeRF)的可训练参数 |
| $g(\phi, \pi)$ | 从视角 $\pi$ 渲染图像的可微渲染函数 |
| $x$ | 渲染出的 2D 图像 |
| $x_t$ | 对 $x$ 加噪后的图像 |
| $\epsilon_\theta$ | 冻结的预训练 2D 扩散模型的噪声预测网络 |
| $c$ | 文本条件 / 提示 |
| $w(t)$ | 时间步相关的权重系数 |
| $\alpha_t, \sigma_t$ | 信号与噪声系数 |
变体与改进
SDS 存在过饱和、过度平滑、多样性差以及"多面体 / Janus 问题"(物体从多个方向看都长出正脸)等缺陷,并且需要很大的 CFG 尺度(DreamFusion 使用 100)。后续改进包括:
- Magic3D(Lin et al., NVIDIA, CVPR 2023):coarse-to-fine 两阶段——先用低分辨率扩散先验优化粗糙的神经场,再提取 DMTet 网格,用高分辨率潜扩散模型精调;
- Fantasia3D(Chen et al., ICCV 2023):解耦几何与外观(材质),分别优化;
- ProlificDreamer / VSD(Wang et al., NeurIPS 2023)11:提出变分分数蒸馏(Variational Score Distillation),把 3D 参数视为一个分布而非单点,用一个在当前渲染图上在线微调的 LoRA 扩散模型 $\epsilon_\psi$ 替代 SDS 中的随机噪声 $\epsilon$:
VSD 能在正常的 CFG 尺度(如 7.5)下工作,显著缓解过饱和与过平滑,细节与多样性更好。它与第 5 章的分布匹配蒸馏(DMD,§5.3.4)是同一类"两个分数之差"的思想;
- MVDream(Shi et al., ICLR 2024):训练能一次生成多个一致视角的多视角扩散模型,用它替代单视角 2D 先验做 SDS,显著缓解 Janus 问题。
7.2.3 多视角一致性扩散与 3D 重建
SV3D:从视频扩散到多视角合成
SV3D(Voleti et al., Stability AI, ECCV 2024)12 巧妙地把视频扩散模型改造为多视角扩散模型:围绕物体旋转一周拍摄的"轨道视频"本身就是一组多视角图像,视频中的每一帧对应一个视角。SV3D 在 Stable Video Diffusion 的基础上加入相机位姿条件(仰角 elevation 与方位角 azimuth),实现了从单张图像出发、相机可控的多视角合成。
它的 3D 生成流程也是 coarse-to-fine:先用生成的多视角图像监督优化 NeRF,再提取 DMTet 网格做精调。对于生成视角之外的不可见区域,SV3D 引入 Masked SDS 损失,只在不可见区域施加分数蒸馏;并联合优化一个解耦的光照模型,减少光照被"烘焙"进纹理的问题。
Consistent123 与 Free3D
- Consistent123(Weng et al., 2023)13:同时合成多个新视角,通过跨视角注意力与共享自注意力在视角之间传递信息,并采用渐进式无分类器引导,提升单图到 3D 的多视角一致性;
- Free3D(Zheng & Vedaldi, CVPR 2024)14:与 Zero-1-to-3 类似,从预训练 2D 图像生成器出发微调做新视角合成,但不使用任何显式 3D 表示,也不额外训练 3D 重建网络。其关键是射线条件归一化层(Ray Conditioning Normalization, RCN),告诉每个像素自己的观察方向;再配合轻量的多视角注意力和多视角共享噪声,提升视角间的一致性。
3D Gaussian Splatting 与扩散的结合
3D Gaussian Splatting(3DGS)因其可微、渲染极快的特点,成为 3D 生成的新载体:
- DreamGaussian(Tang et al., ICLR 2024):把 SDS 与 3DGS 结合,用 3D 高斯的渐进致密化替代 NeRF 的占用剪枝,收敛快得多;再把高斯转换为纹理网格并在 UV 空间精调。从单张图像生成高质量纹理网格只需约 2 分钟,比当时已有方法快约 10 倍;
- 直接在 3D 高斯参数上扩散:把每个高斯的位置、协方差、颜色和不透明度作为扩散对象,是当前活跃的研究方向;
- 前馈式重建:如 Splatter Image(Szymanowicz et al., CVPR 2024)用网络一次前向就从单张图像回归出 3D 高斯参数(它本身是回归模型,不是扩散模型)。实践中常见的高效流程是"多视角扩散模型生成多视角图像 + 前馈式大重建模型(LRM 类)重建 3D",在秒级到分钟级完成单图 / 文本到 3D。
7.2.4 3D 生成方法对比
| 方法 | 表示形式 | 条件 | 优点 | 缺点 | 关键参数 |
|---|---|---|---|---|---|
| Point-E | 点云 | 文本 / 图像 | 生成速度快 | 无拓扑,细节差 | 点数量、扩散步数 |
| Shap-E | 隐式函数参数 | 文本 / 图像 | 直接输出可渲染网格 / NeRF | 训练流程复杂 | 隐式函数参数维度 |
| DreamFusion(SDS) | NeRF / 网格 | 文本 | 无需 3D 数据,利用强大 2D 先验 | 过饱和、Janus 问题、逐样本优化慢 | guidance scale、学习率 |
| ProlificDreamer(VSD) | NeRF / 网格 | 文本 | 细节与多样性更好 | 优化更慢 | LoRA 学习率、CFG |
| SV3D | 多视角图像 → NeRF / 网格 | 单图像 + 位姿 | 多视角一致性强,相机可控 | 依赖预训练视频模型 | 相机位姿范围 |
| Free3D | 无显式 3D | 单图像 | 无需重建,直接新视角合成 | 不直接得到 3D 模型 | 位姿编码、视角数 |
| 3DGS + 扩散 | 3D 高斯 | 文本 / 图像 | 渲染极快 | 高斯数量可能膨胀 | 高斯数、球谐(SH)阶数 |
7.3 音频扩散模型
音频信号是随时间变化的一维波形 $a(t) \in \mathbb{R}$(这里的 $t$ 是物理时间),具有很强的时间结构和频率特性。由于原始波形采样率高(16–48 kHz)、序列极长,音频扩散模型通常不直接在波形上生成,而是先在时频域(如梅尔频谱图)或学习到的潜空间中进行扩散,再用声码器(vocoder)或解码器还原波形。
7.3.1 频谱图潜扩散范式
AudioLDM(Liu et al., ICML 2023)15 是将 LDM 框架应用于文本到音频生成的代表性工作。其流程为:
- 将音频波形通过 STFT 转换为梅尔频谱图 $X \in \mathbb{R}^{L \times F}$;
- 用在梅尔频谱图上训练的 VAE 将其压缩为潜变量 $z \in \mathbb{R}^{C \times L' \times F'}$;
- 在潜空间中训练扩散模型。训练时以 CLAP 的音频嵌入 $E^{x}$ 为条件,采样时换成 CLAP 的文本嵌入 $E^{y}$——由于 CLAP 把音频和文本对齐到同一个嵌入空间,模型无需成对的"文本-音频"数据也能实现文本到音频生成;
- 生成后通过 VAE 解码器还原梅尔频谱图,再用 HiFi-GAN 声码器还原为波形。
AudioLDM 的前向过程与图像 LDM 一致(用 $n$ 表示扩散步,以免与频谱的时间轴混淆):
$$ q(z_n \mid z_{n-1}) = \mathcal{N}\left(z_n; \sqrt{1 - \beta_n}\, z_{n-1}, \beta_n \mathbf{I}\right) $$训练目标为噪声预测(训练时条件为音频嵌入 $E^{x}$):
$$ \mathcal{L}(\theta) = \mathbb{E}_{z_0, \epsilon, n} \left[ \left\lVert \epsilon - \epsilon_\theta(z_n, n, E^{x}) \right\rVert_2^2 \right] $$符号说明:
| 符号 | 含义 |
|---|---|
| $X$ | 梅尔频谱图($L$ 个时间帧、$F$ 个梅尔频带) |
| $z$ | VAE 压缩后的音频潜变量 |
| $E^{x}$ / $E^{y}$ | CLAP 音频嵌入(训练时) / CLAP 文本嵌入(采样时) |
| $\epsilon$ | 注入的高斯噪声 |
| $n$ | 离散扩散时间步 |
| $\epsilon_\theta$ | 噪声预测网络(U-Net) |
AudioLDM 的关键配置:AudioLDM-S 约 1.81 亿参数、AudioLDM-L 约 7.39 亿参数;扩散步数 $N = 1000$,线性噪声调度从 $\beta_1 = 0.0015$ 到 $\beta_N = 0.0195$;采样使用 DDIM 200 步,CFG 尺度 $w = 2.0$(按 AudioLDM 原文的 CFG 写法)15。
7.3.2 音频生成模型谱系
| 模型 | 表示 | 条件 | 核心特点 | 适用场景 |
|---|---|---|---|---|
| AudioGen(Meta) | 离散音频 token | 文本 | 自回归生成(非扩散),作为对照 | 通用音效、环境音 |
| AudioLDM | 连续潜变量 | 文本 / 音频 | 用 CLAP 实现无需配对数据的文本到音频,支持零样本编辑 | 音效、音乐、语音 |
| MusicLDM | 连续潜变量 | 文本 | 在 AudioLDM / SD 架构上为音乐重新训练 CLAP 与 HiFi-GAN,提出节拍同步 mixup 以提升新颖性、减少抄袭 | 音乐生成 |
| VoiceFlow | 梅尔频谱图 | 文本 | 用 Rectified Flow 流匹配替代扩散,少步即可高质量合成 | 语音合成(TTS) |
| Stable Audio | 连续潜变量 | 文本 + 时长 | 基于全卷积 VAE 的潜扩散,以时间嵌入控制时长;可生成最长约 95 秒的 44.1 kHz 立体声 | 音乐与音效制作 |
频谱图 / 潜空间扩散的优势在于:梅尔频谱图把高采样率波形整理成结构规整、类似图像的二维表示(例如 16 kHz 音频、hop length 为 160、64 个梅尔频带时,每秒为 $100 \times 64 = 6400$ 个数值,约为原始波形的 $1/2.5$),再经 VAE 压缩后维度会进一步大幅降低,便于直接复用图像扩散架构。不过梅尔频谱图丢失了相位信息,需要高质量声码器(如 HiFi-GAN、BigVGAN)重建波形;STFT 的固定窗长也让瞬态声音(如打击乐的起音)的重建不够精确。
值得一提的是,扩散模型也被用作声码器本身:DiffWave、WaveGrad 等直接在波形上做条件扩散,把梅尔频谱图还原为波形。在语音合成中,基于流匹配的非自回归 TTS(如 VoiceFlow、Voicebox)也已成为主流方向之一。
7.3.3 音频编辑与风格转换
训练好的音频扩散模型支持多种零样本编辑任务(与图像中的 SDEdit、inpainting 思路相同,见 §4.4):
- 音频修复(Inpainting):对潜变量中特定的时间-频率区域做掩码,让模型填充缺失内容;
- 风格转换:对已有音频加噪到中间时刻,再以新的文本条件(如把 “calm music” 换成 “energetic music”)去噪,在保留整体结构的同时改变风格;
- 超分辨率:以低频部分为已知条件,生成缺失的高频细节。
7.4 离散数据扩散模型
标准扩散模型假设数据位于连续空间 $\mathbb{R}^d$,通过高斯噪声进行前向加噪。但文本、分子图、类别数据等本质上是离散的,“给一个单词加 0.1 的高斯噪声"没有意义。把扩散框架拓展到离散域,需要重新定义"加噪”——用状态之间的随机转移来逐步破坏数据。
7.4.1 多类别离散扩散(D3PM)
D3PM(Discrete Denoising Diffusion Probabilistic Models; Austin et al., NeurIPS 2021)16 把高斯扩散推广到离散状态空间。设每个变量有 $K$ 个可能取值,用 one-hot 行向量 $x_t$ 表示,前向过程通过转移矩阵 $Q_t$ 实现状态间的概率转移:
$$ q(x_t \mid x_{t-1}) = \mathrm{Cat}\left(x_t;\, p = x_{t-1} Q_t\right) $$其中 $[Q_t]_{ij} = q(x_t = j \mid x_{t-1} = i)$,$Q_t \in \mathbb{R}^{K \times K}$ 的每一行之和为 1。与高斯情形类似,多步转移可以直接合成,得到任意时刻的闭式边际分布和前向后验:
$$ q(x_t \mid x_0) = \mathrm{Cat}\left(x_t;\, p = x_0 \bar{Q}_t\right), \quad \bar{Q}_t = Q_1 Q_2 \cdots Q_t; \qquad q(x_{t-1} \mid x_t, x_0) = \mathrm{Cat}\left(x_{t-1};\, p = \frac{x_t Q_t^{\top} \odot x_0 \bar{Q}_{t-1}}{x_0 \bar{Q}_t x_t^{\top}}\right) $$因此训练时可以一步采样出 $x_t$,反向网络则学习预测 $x_0$(或直接预测后验)。对于多维数据 $x \in \{1, \dots, K\}^{D}$,各维度独立转移:
$$ q(x_t \mid x_{t-1}) = \prod_{d=1}^{D} \mathrm{Cat}\left(x_t^{d};\, p = x_{t-1}^{d} Q_t\right) $$符号说明:
| 符号 | 含义 |
|---|---|
| $x_t$ | 时间步 $t$ 的离散状态(one-hot 行向量) |
| $K$ | 每维的类别数 |
| $D$ | 数据维度(如序列长度) |
| $Q_t$, $\bar{Q}_t$ | 单步 / 累积转移概率矩阵 |
| $\mathrm{Cat}(\cdot\,; p)$ | 以概率向量 $p$ 为参数的类别分布 |
| $\odot$ | 逐元素相乘 |
D3PM 探索了多种转移矩阵设计:
- Uniform(均匀扩散):以一定概率把当前值均匀随机地重采样为任意类别;
- Absorbing(吸收态扩散):以一定概率转移到特殊的
[MASK]吸收态,一旦被掩码就不再变化,类似 BERT 的掩码语言建模; - Discretized Gaussian(离散高斯):适用于有序类别(如像素值),更倾向于转移到相邻取值,模拟高斯扩散的局部性;
- Token embedding 近邻:按词嵌入空间中的相似度定义转移,使单词更可能变成语义相近的词。
实验表明,吸收态扩散在文本上表现最好:模型从完全掩码的状态出发,逐步"揭开"原始文本,与自回归语言模型形成有趣的对照。
7.4.2 自回归扩散模型(ARDM)
ARDM(Autoregressive Diffusion Models; Hoogeboom et al., ICLR 2022)17 揭示了吸收态扩散与"任意顺序自回归模型"(order-agnostic ARM)之间的联系:在连续时间极限下,每个变量在某个随机时刻被吸收进掩码态,前向过程因此等价于在所有变量排列中均匀选择一个"掩码顺序";反向过程按相反顺序"解掩码",相当于以随机顺序逐个生成变量。ARDM 的优势在于:
- 并行生成:与必须按固定顺序逐 token 生成的标准自回归模型不同,ARDM 可以在一步中并行预测多个尚未生成的变量;
- 动态规划分组:可以用动态规划为给定的步数预算选择最优的"每步生成多少个变量",在网络调用次数与似然之间做权衡,从而用远少于数据维度的步数完成生成;
- 似然:在 Text8 上达到 $\le 1.43$ BPC(bits per character,越低越好)。
7.4.3 连续时间与掩码扩散语言模型
SEDD(Score Entropy Discrete Diffusion; Lou et al., ICML 2024)把"分数"的概念推广到离散空间:学习不同状态之间的概率比 $p_t(y)/p_t(x)$(称为具体分数,concrete score),并提出 score entropy 损失,显著缩小了扩散语言模型与自回归模型之间的困惑度差距。
MDLM(Masked Diffusion Language Models; Sahoo et al., NeurIPS 2024)18 则表明,简单的掩码扩散配合现代训练技巧就非常强大。在连续时间下,它的负 ELBO 可以化简为一个简洁的形式:
$$ \mathcal{L}_{\text{NELBO}}^{\infty} = \mathbb{E}_{q} \int_{0}^{1} \frac{\alpha_t'}{1 - \alpha_t} \sum_{\ell} \log \left\langle x_\theta^{\ell}(z_t, t),\, x^{\ell} \right\rangle \mathrm{d}t $$| 符号 | 含义 |
|---|---|
| $\alpha_t$ | $t$ 时刻 token 未被掩码的概率,从 $\alpha_0 \approx 1$ 单调递减到 $\alpha_1 \approx 0$ |
| $\alpha_t'$ | $\alpha_t$ 对 $t$ 的导数(为负,故整体为正的损失) |
| $z_t$ | 部分被掩码的序列 |
| $x_\theta^{\ell}(z_t, t)$ | 网络对第 $\ell$ 个位置原始 token 的预测分布 |
| $\left\langle \cdot, x^{\ell} \right\rangle$ | 取出真实 token $x^{\ell}$ 对应的预测概率(求和只对被掩码的位置非零) |
直觉:这个目标就是"不同掩码率下的 BERT 式掩码语言建模损失的加权平均",它在生成式扩散模型与仅编码器的 BERT 之间架起了桥梁。沿着这条路线,LLaDA(Nie et al., 2025)19 从头训练了 80 亿参数的掩码扩散语言模型,在预训练 + 监督微调范式下与同规模自回归基线(如 LLaMA3 8B)表现相当,并在"逆转诅咒"类任务(如反向补全诗句)上表现突出,表明扩散模型在大规模语言建模上同样可行。
7.4.4 连续松弛与嵌入空间扩散
另一类策略不修改高斯扩散本身,而是把离散数据放到连续空间里扩散:
- Bit Diffusion / Analog Bits(Chen et al., ICLR 2023):把整数数据表示为二进制位,在实数化的位上做连续扩散,生成后再阈值化回离散值;
- Plaid(Gulrajani & Hashimoto, NeurIPS 2023):把离散 token 映射到连续嵌入空间,在嵌入上做高斯扩散,并通过似然训练与缩放规律研究缩小与自回归模型的差距;
- RDLM(Riemannian Diffusion Language Model; Jo & Hwang, NeurIPS 2025)20:利用类别分布的几何结构,在统计流形上定义连续扩散,建立离散扩散与流形上连续流之间的联系,并结合径向对称性实现免模拟训练;在 Text8 上达到 $\le 1.32$ BPC,超过此前所有扩散模型。
7.4.5 离散扩散方法对比
| 方法 | 噪声 / 建模方式 | Text8 BPC(越低越好) | 关键特点 |
|---|---|---|---|
| Multinomial Diffusion | 均匀转移 | $\le 1.72$ | 最早的离散扩散之一 |
| D3PM Uniform | 均匀转移 | $\le 1.61$ | 系统探索多种转移矩阵 |
| D3PM Absorb | 吸收态(掩码) | $\le 1.45$ | 离散转移中文本表现最佳 |
| ARDM | 连续时间吸收 / 任意顺序自回归 | $\le 1.43$ | 可并行生成 |
| SEDD Absorb | 连续时间,具体分数 | $\le 1.39$ | 基于分数的离散扩散 |
| MDLM | 连续时间掩码扩散 | $\le 1.40$ | 目标简洁,可扩展到大模型(LLaDA) |
| RDLM | 统计流形上的连续扩散 | $\le 1.32$ | 截至该论文发表时 Text8 上最优的扩散模型 |
数值引自 RDLM 论文汇总的各方法原始结果(均为似然上界)20。
7.5 科学应用:分子、蛋白质与材料生成
扩散模型在自然科学中的应用正快速增长,尤其是需要生成满足物理化学约束的三维结构时。这类数据的共同特点是:结构在旋转、平移(有时还有反射)下不变,因此网络通常需要是 E(3) / SE(3) 等变的——把输入分子整体旋转,预测的噪声或速度也应随之同样旋转。
7.5.1 分子生成与基于结构的药物设计
FlowSBDD(Zhang et al., 2024)21 把 Rectified Flow(§6.5)引入基于结构的药物设计(SBDD):给定蛋白质口袋,生成能与之结合的三维配体分子。论文指出,传统扩散模型受限于其固定的学习目标,难以灵活地加入额外优化目标或条件;FlowSBDD 基于 Rectified Flow 框架(时间约定同 §6.4,$x_0$ 为噪声、$x_1$ 为分子):
$$ \frac{\mathrm{d}x_t}{\mathrm{d}t} = v_\theta\left(x_t, t, c_{\text{pocket}}\right), \quad x_0 \sim p_0, \; x_1 \sim p_1 $$其中 $x_t$ 为分子的原子坐标与原子类型,$v_\theta$ 为速度场网络,$c_{\text{pocket}}$ 为蛋白质口袋条件。由于训练目标只是在线性插值路径上回归速度,FlowSBDD 可以:
- 灵活加入额外损失(如键长损失)以改善化学有效性;
- 把额外条件作为输入,或用其他分布替换初始高斯分布;
- 在 CrossDocked2020 上达到平均 Vina Dock 分数 −8.50 和 75.0% 的多样性21。
符号说明:
| 符号 | 含义 |
|---|---|
| $x_t$ | 时间 $t$ 的分子状态(坐标 + 原子类型) |
| $v_\theta$ | 神经网络参数化的速度场 |
| $c_{\text{pocket}}$ | 蛋白质口袋的条件特征 |
| $p_0, p_1$ | 初始分布(噪声)和目标分布(真实分子) |
其他代表性工作包括:
- EDM(E(3) Equivariant Diffusion Model; Hoogeboom et al., ICML 2022):用 E(3) 等变图网络同时对原子坐标(连续)与原子类型去噪,生成三维分子。注意它与第 2 章 Karras 等人的 EDM(Elucidating the Design space of diffusion Models)同名但完全不同;
- GeoDiff(Xu et al., ICLR 2022):给定分子图,生成其三维构象,保证旋转平移不变性;
- TargetDiff(Guan et al., ICLR 2023):口袋条件下的 SE(3) 等变扩散,联合生成配体的原子位置与类型;
- DiffSBDD(Schneuing et al., 2022 / 2024)22:E(3) 等变的三维条件扩散,直接在口袋中生成配体分子。
7.5.2 蛋白质结构生成
蛋白质骨架生成要求输出物理上可折叠、可设计的氨基酸链结构。主要方法包括:
- ProteinSGM:基于分数的生成模型,在残基间的距离与角度矩阵上扩散,再用 Rosetta 重建三维坐标;
- FoldingDiff:把蛋白质骨架表示为一串内部角(扭转角与键角),在角度上用 DDPM 生成,天然具有旋转平移不变性,避免直接建模三维坐标的复杂性;
- Chroma(Ingraham et al., Nature 2023):直接在骨架原子坐标上扩散,使用符合高分子统计规律的相关噪声,并支持多种可组合的条件约束;
- RFdiffusion(Watson et al., Nature 2023):在结构预测网络 RoseTTAFold 的基础上微调得到的扩散模型,支持无条件骨架生成以及功能位点支架(motif scaffolding)、结合物设计等条件任务,并经过大量实验验证;
- Protpardelle:全原子(含侧链)的蛋白质扩散模型,同时生成序列与结构;
- AlphaFold 3(Abramson et al., Nature 2024):在结构预测任务中用扩散模块直接生成所有原子的坐标,取代了 AlphaFold 2 的结构模块,可预测蛋白质、核酸、小分子等复合物结构。
7.5.3 材料设计与晶体结构生成
扩散模型在材料科学中的应用包括:
- 晶体结构生成:CDVAE、DiffCSP 等模型在晶格的周期性约束下进行扩散,生成满足特定化学计量比的晶体结构;
- MatterGen(Zeni et al.)23:提出一种同时逐步细化原子类型、坐标和周期晶格的扩散过程,可生成覆盖整个元素周期表的稳定、多样的无机材料;并通过适配器模块在带标签的数据上微调,按目标性质(如化学组成、对称性、磁性、电子和力学性质)引导生成。论文报告其生成结构"新颖且稳定"的比例是以往生成模型的两倍以上,且更接近局部能量极小值;
- 性质导向生成:通过分类器引导或无分类器引导(§3.2–§3.3),生成具有目标带隙、离子电导率等性质的新材料。
graph TD
A[跨模态扩散模型] --> B[视频扩散]
A --> C[3D扩散]
A --> D[音频扩散]
A --> E[离散扩散]
A --> F[科学应用]
B --> B1[Latent Video: VideoLDM/SVD]
B --> B2[Motion Adapter: AnimateDiff]
B --> B3[Video DiT: Latte/Sora/CogVideoX]
B --> B4[长视频: Diffusion Forcing]
C --> C1[直接3D: Point-E/Shap-E]
C --> C2[2D提升3D: DreamFusion/SDS/VSD]
C --> C3[多视角: SV3D/Consistent123]
C --> C4[3DGS: DreamGaussian]
D --> D1[AudioLDM]
D --> D2[MusicLDM/Stable Audio]
D --> D3[VoiceFlow]
E --> E1[D3PM]
E --> E2[ARDM/SEDD/MDLM]
E --> E3[连续松弛: Plaid/RDLM]
F --> F1[FlowSBDD]
F --> F2[TargetDiff/E3-EDM]
F --> F3[RFdiffusion/AlphaFold3]
F --> F4[晶体生成: MatterGen]
第8章:实践指南——参数选择、代码实现与陷阱
从理论到一个真正能跑、能出好结果的扩散模型,还要跨过工程实现、超参数调优和训练稳定性等多道门槛。本章提供面向实践的选型框架、可复用的代码模板、评估方法和常见问题的排查指南。
Warning
本章表格中的超参数和资源数字,除特别标注出处的以外,都是经验范围或数量级估计,用于帮助建立直觉;具体项目应以所用模型的官方配置和自己的实验为准。
8.1 方法选择决策树
面对不同的生成任务,如何选择合适的扩散模型架构和训练策略?下面的决策树给出一套系统的选型逻辑。
graph TD
Q1{数据类型?} -->|图像| Q2
Q1 -->|视频| V1[VideoLDM/SVD/Latte/CogVideoX]
Q1 -->|3D| Q3
Q1 -->|音频| A1[AudioLDM/Stable Audio]
Q1 -->|文本/离散| D1[MDLM/SEDD/LLaDA]
Q1 -->|分子/蛋白质| S1[E3-EDM/FlowSBDD/RFdiffusion]
Q2{分辨率/质量要求?} -->|高分辨率| Q4
Q2 -->|快速原型| Q5
Q3{是否有3D训练数据?} -->|是| C1[直接3D扩散: Shap-E/Point-E]
Q3 -->|否| C2[2D提升3D: DreamFusion/SDS/VSD]
Q3 -->|单图生成3D| C3[SV3D/多视角扩散+重建]
Q4{计算预算?} -->|充足| I1[训练LDM/DiT from scratch]
Q4 -->|有限| I2[微调Stable Diffusion/Flux]
Q5{条件类型?} -->|文本| I3[SD + LoRA/DreamBooth]
Q5 -->|类别| I4[DiT/ADM]
V1 --> V2{是否已有图像模型?} -->|是| V3[AnimateDiff Motion Module]
V2 -->|否| V4[端到端视频LDM训练]
决策要点:
| 场景 | 推荐方案 | 理由 |
|---|---|---|
| 快速文本到图像 | 微调 Stable Diffusion + LoRA | 训练成本最低,可复用社区生态 |
| 高分辨率图像 | LDM / 潜空间 DiT,或级联扩散 | 潜空间计算高效;级联方案在像素空间保证细节 |
| 视频动画 | AnimateDiff + 个性化 SD | 无需训练完整视频模型,即插即用 |
| 可控长视频 | SVD-XT / 分段生成 + 重叠,或 Diffusion Forcing 类方法 | 平衡质量与显存限制 |
| 文本到 3D(无 3D 数据) | SDS / VSD + 多视角先验(如 MVDream) | 利用 2D 先验,零样本 3D 生成 |
| 单图到 3D | SV3D,或多视角扩散 + 前馈重建 | 多视角一致性强,相机可控 |
| 音效 / 环境音 | AudioLDM | 潜空间高效,支持零样本文本编辑 |
| 音乐生成 | MusicLDM / Stable Audio | 音乐专用训练,支持长音频与时长控制 |
| 分子设计 | FlowSBDD / TargetDiff | 等变性保证,口袋条件灵活 |
| 蛋白质骨架 | RFdiffusion / Chroma | 结构先验强,支持条件生成 |
| 离散文本 | MDLM / SEDD(研究),LLaDA(大规模) | 并行生成,扩散模型中困惑度领先 |
8.2 关键超参数对比与推荐
超参数对扩散模型的训练稳定性和生成质量影响很大。下表汇总了不同模态下的经验值。
8.2.1 通用训练超参数
| 超参数 | 图像 LDM | 视频 LDM | 音频 LDM | 3D 扩散 | 离散扩散 | 说明 |
|---|---|---|---|---|---|---|
| 学习率 | $1 \times 10^{-4}$ ~ $5 \times 10^{-4}$ | $5 \times 10^{-5}$ ~ $1 \times 10^{-4}$ | $3 \times 10^{-5}$ ~ $1 \times 10^{-4}$ | $1 \times 10^{-4}$ ~ $2 \times 10^{-4}$ | $1 \times 10^{-4}$ ~ $3 \times 10^{-4}$ | 视频 / 微调通常更低;DiT 原文使用恒定 $1 \times 10^{-4}$ |
| Batch Size | 256~2048 | 64~256 | 96~512 | 64~256 | 128~512 | 受显存严格限制,可用梯度累积 |
| 训练步数 | 300k~1M | 100k~500k | 100k~500k | 200k~1M | 300k~1M | 视数据规模而定 |
| 扩散步数 $T$ | 1000 | 1000 | 1000 | 1000 | 1000 / 连续时间 | 采样时可用 DDIM / DPM-Solver 减少到 20~200 |
| 噪声调度 | Linear / Cosine / 流匹配 | Linear / EDM / 流匹配 | Linear | Cosine | 掩码率调度 | 高分辨率需注意调度偏移(见 §8.4.4) |
| EMA decay | 0.9999 | 0.9999 | 0.9999 | 0.9999 | 0.9999 | 强烈建议启用,采样用 EMA 权重 |
| 梯度裁剪 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 | 防止梯度爆炸 |
| 混合精度 | FP16 / BF16 | BF16 | FP16 / BF16 | FP32 / FP16 | BF16 / FP32 | BF16 数值范围更大,更不易溢出 |
| CFG 条件丢弃率 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1~0.15 | 训练时随机丢弃条件(§3.3.1) |
EMA(指数移动平均)权重按下式更新,采样时使用 $\theta_{\text{EMA}}$ 而不是训练中的 $\theta$:
$$ \theta_{\text{EMA}} \leftarrow \mu\, \theta_{\text{EMA}} + (1 - \mu)\, \theta $$其中 $\mu$ 为衰减率(如 0.9999)。直观上,它相当于对最近约 $1/(1 - \mu)$ 步(这里约 1 万步)的参数取平均,能平滑掉训练噪声。
8.2.2 采样超参数
| 超参数 | 图像生成 | 视频生成 | 音频生成 | 3D(SDS) | 推荐值 |
|---|---|---|---|---|---|
| Guidance Scale($w$) | 3~7.5 | 1.5~3.0(图生视频) | 2.0~3.0 | 约 100(SDS);约 7.5(VSD) | SD 系列默认 7.5 |
| 采样步数 | 20~50 | 25~50 | 20~200 | 优化迭代 10k~100k | 步数与质量非线性相关 |
| 采样器 | DDIM / DPM++ / Euler | DDIM / DPM-Solver / EDM-Euler | DDIM | — | DPM++ 2M 是常用的稳妥选择 |
| 分辨率 | 512~1024 | 576~1024 | 由频谱图尺寸决定 | 渲染 64~512 | 需匹配训练分辨率 |
| 随机种子 | 固定 / 变化 | 固定 | 固定 | 每步随机视角 | 固定种子用于复现 |
Note
本表的 $w$ 采用 diffusers 的约定 $\hat{\epsilon} = \epsilon_{\text{uncond}} + w\left(\epsilon_{\text{cond}} - \epsilon_{\text{uncond}}\right)$,$w = 1$ 等于不使用引导。有些论文写成 $\hat{\epsilon} = \epsilon_{\text{cond}} + w'\left(\epsilon_{\text{cond}} - \epsilon_{\text{uncond}}\right)$,两者关系为 $w = 1 + w'$。比较不同来源的数值时要先确认写法。
8.2.3 各模态特殊参数
| 模态 | 特殊参数 | 典型值 | 影响 |
|---|---|---|---|
| 视频 | motion_bucket_id | 0~255(SVD 默认 127) | 控制运动幅度,越大运动越剧烈 |
| 视频 | fps 微条件 | 5~30 | 影响生成视频的帧率感 |
| 视频 | 帧数 $N_f$ | 14 / 25(SVD / SVD-XT) | 显存至少随 $N_f$ 线性增长,3D 全注意力下计算量约随 $N_f^2$ 增长 |
| 音频 | 梅尔频带数 | 64~128 | 影响频率分辨率 |
| 音频 | hop length / window | 160 / 1024(16 kHz) | 决定时间-频率分辨率的权衡 |
| 3D SDS | guidance scale | 约 100 | 远高于图像生成:SDS 具有"寻找众数"(mode-seeking)的特性,小 CFG 时结果模糊、过平滑 |
| 3D SDS | 学习率 | $1 \times 10^{-3}$ 量级 | NeRF / 3DGS 参数优化通常需要较高的学习率 |
| 离散 | 转移矩阵类型 | absorb / uniform | 吸收态(掩码)对文本效果最好 |
| 离散 | 采样步数 | 数十 ~ 1000 | 掩码扩散可在步数与质量之间灵活权衡 |
8.3 评估指标
生成模型没有"标准答案",需要用一组互补的指标衡量保真度(像不像真实数据)、多样性(是否覆盖数据分布)和条件一致性(是否遵循提示)。
FID(Fréchet Inception Distance):把真实样本与生成样本分别送入 Inception-v3 网络,取特征并各自拟合一个高斯分布 $\mathcal{N}(\mu_r, \Sigma_r)$ 和 $\mathcal{N}(\mu_g, \Sigma_g)$,计算两个高斯之间的 Fréchet 距离:
$$ \mathrm{FID} = \left\lVert \mu_r - \mu_g \right\rVert_2^2 + \operatorname{Tr}\left( \Sigma_r + \Sigma_g - 2 \left( \Sigma_r \Sigma_g \right)^{1/2} \right) $$FID 越低越好,同时反映保真度与多样性。它对样本数量和实现细节都很敏感,比较时必须使用相同的样本数(常用 5 万张,即 FID-50K)、相同的参考集和相同的评测代码。
其他常用指标:
| 指标 | 衡量内容 | 适用模态 | 备注 |
|---|---|---|---|
| IS(Inception Score) | 保真度与类别多样性 | 图像 | 越高越好,不与真实数据比较 |
| Precision / Recall | 分别衡量保真度与覆盖度 | 图像 | 可把 FID 的两种失败模式拆开看 |
| CLIP Score | 图文一致性(CLIP 嵌入的余弦相似度) | 文生图 | 越高越好;常与 FID 一起画权衡曲线 |
| FVD(Fréchet Video Distance) | 视频版 FID,使用视频特征网络(I3D) | 视频 | 同时衡量单帧质量与时序一致性 |
| FAD / FD(Fréchet Audio Distance) | 音频版 FID,使用音频特征网络 | 音频 | AudioLDM 等使用 |
| BPC / 困惑度(PPL) | 似然(或其上界) | 文本 / 离散 | 扩散模型通常报告 ELBO 给出的上界 |
| 人类偏好评测 | 主观质量与提示遵循 | 全部 | 大模型时代越来越重要 |
8.4 常见陷阱与排雷指南
8.4.1 训练不稳定
症状:损失发散、出现 NaN 梯度、生成样本崩溃为纯色或噪声。
根因与对策:
| 根因 | 诊断 | 解决方案 |
|---|---|---|
| 学习率过高 | 前 1000 步损失震荡后发散 | 降低学习率至 $1 \times 10^{-4}$ 左右,并使用 warmup |
| 噪声调度不当 | 训练后期损失不降,或高 / 低噪声段质量差 | 改用 cosine 调度、EDM 框架或流匹配,检查时间步采样分布 |
| 梯度爆炸 | 梯度范数远大于正常水平 | 启用梯度裁剪(max_norm=1.0),检查初始化 |
| 数值溢出 | FP16 下出现 Inf / NaN | 改用 BF16,或在 FP32 中计算损失与归一化层 |
| VAE 数值问题 | 潜变量数值过大或溢出 | 按官方的缩放因子(如 SD 的 0.18215)缩放潜变量,检查 VAE 版本 |
| 时序层训练不当 | 视频训练发散 | 先冻结空间层、单独训练时序层,再联合微调 |
关键公式:一种常见的带 warmup 的学习率调度(Transformer 原论文的"逆平方根"调度),记第 $k$ 个训练步的学习率为:
$$ \mathrm{lr}(k) = \mathrm{lr}_{\text{base}} \cdot \min\left( \frac{k}{k_{\text{warmup}}},\; \left( \frac{k}{k_{\text{warmup}}} \right)^{-1/2} \right) $$前 $k_{\text{warmup}}$ 步线性升到 $\mathrm{lr}_{\text{base}}$,之后按 $1/\sqrt{k}$ 衰减。§8.6.4 的训练脚本使用的是另一种同样常见的"线性 warmup + 余弦衰减"。
符号说明:
| 符号 | 含义 |
|---|---|
| $\mathrm{lr}(k)$ | 第 $k$ 步的学习率 |
| $\mathrm{lr}_{\text{base}}$ | 基础(峰值)学习率 |
| $k$ | 当前训练步数(用 $k$ 而不是 $t$,以免与扩散时间步混淆) |
| $k_{\text{warmup}}$ | 预热步数(通常 1000~10000) |
8.4.2 多样性下降与条件失效
症状:生成样本多样性不足,总是输出相似的几种结果;或条件生成忽略文本 / 类别提示。严格意义上的"模式坍塌"在扩散模型中较少见,更常见的是引导和数据带来的多样性损失。
根因与对策:
| 根因 | 解决方案 |
|---|---|
| 条件丢弃率设置不当 | 过低时无条件分支学不好、CFG 效果差;过高时条件遵循变弱。一般取 10%~15% |
| 训练数据分布偏斜 | 对数据重采样,平衡各类别 / 文本长度,改进标注质量 |
| Guidance Scale 过高 | 采样时降低 $w$(图像一般 < 10,视频一般 < 3),或使用 CFG 重缩放 / 引导区间等技巧 |
| 模型容量不足 | 增加通道数或网络深度 |
| 过拟合小数据集 | 使用 Dropout(0.1~0.2)、数据增强、提前停止;微调时注意记忆训练样本的风险 |
| 未使用 EMA | 始终使用 EMA 权重采样,避免参数振荡 |
8.4.3 内存溢出(OOM)
症状:CUDA out of memory,无法完成训练或采样。
优化策略(按推荐尝试顺序):
- 混合精度训练:FP16 / BF16 让激活显存大约减半(FP16 需配合梯度缩放);
- 梯度检查点(Gradient Checkpointing):以时间换空间,可显著减少激活显存(常见为 30%~50%,取决于模型);
- 降低 Batch Size:配合梯度累积保持等效 batch size;
- 高效注意力:使用 FlashAttention / xFormers 等显存高效的注意力实现;
- 降低分辨率:对图像 / 视频 / 频谱图下采样,或先低分辨率训练再高分辨率微调;
- 分布式策略:大模型使用 FSDP、DeepSpeed ZeRO 等切分参数与优化器状态;
- 视频特定:减少帧数 $N_f$、降低空间分辨率,或分段生成长视频。
8.4.4 采样质量差
症状:生成模糊、结构错误、文字不可读、视频闪烁。
排查清单:
- 是否使用了 EMA 模型,而不是训练中的原始权重;
- CFG 尺度是否过高(图像 $w > 15$ 常导致过饱和);
- 采样步数是否足够(DDIM 通常需要 20 步以上);
- 条件编码是否正确(文本 tokenizer、CLIP / T5 模型版本是否与训练一致);
- VAE 解码器是否匹配(视频需要时序 VAE,否则容易闪烁);
- 噪声调度和预测类型($\epsilon$ / $v$ / 速度)是否与训练一致(如训练用 linear 调度,采样就不能按 cosine 计算系数);
- 终端 SNR 与起始时间步:常见调度在 $t = T$ 时并非纯噪声(终端 SNR 不为 0),部分采样器实现也不从最后一个时间步开始,导致训练与推理不一致,例如 Stable Diffusion 难以生成很亮或很暗的图像。Lin 等人24 建议把调度重缩放为零终端 SNR、改用 $v$-预测、让采样器总是从最后一个时间步开始,并对 CFG 做重缩放以防止过曝;
- 分辨率与噪声调度偏移:分辨率越高,相邻像素越相关,同样的噪声水平"破坏"的信息越少,因此高分辨率模型通常需要把时间步 / 噪声调度往高噪声方向偏移(如 SD3 的分辨率相关时间步偏移)。
8.5 计算资源需求对比
| 任务 | 模型规模 | 训练显存(单卡) | 训练时间 | 推理显存 | 备注 |
|---|---|---|---|---|---|
| 图像 LDM(512×512) | 约 1B 参数 | 40GB+ | 数天(微调)~ 数周(从头) | 8GB | 从头训练需多卡与大规模数据 |
| 图像 DiT(256×256) | 约 675M(XL/2) | 32GB+ | 数天 ~ 2 周 | 6GB | 扩展性优于 U-Net |
| 视频 SVD(25 帧) | 约 1.5B | 80GB | 数周 | 约 16–24GB | 需要多卡训练 |
| AnimateDiff | SD1.5 U-Net(约 0.86B)+ 运动模块(数亿参数) | 24GB+ | 数天 | 12GB | 只训练运动模块 |
| AudioLDM-L | 约 0.74B | 32GB | 数天 | 8GB | 另含 VAE 与 HiFi-GAN 声码器 |
| DreamFusion 类(SDS) | 2D 扩散模型 + NeRF | 16GB+ | 每个样本约数十分钟 ~ 数小时 | 16GB | 逐样本优化,而非训练模型 |
| SV3D 多视角 | 约 1.5B | — | 使用预训练模型 | 16GB+ | 多视角生成 + 3D 优化 |
| 3DGS + SDS | 2D 扩散模型 + 3DGS | 16GB | 数分钟(如 DreamGaussian 约 2 分钟) | 16GB | 比 NeRF 快得多 |
| 分子 FlowSBDD | 千万级参数 | 16GB | 数天 | 4GB | 等变网络参数量较小 |
| 蛋白质 RFdiffusion | — | — | 使用预训练模型 | 16GB | 需要结构数据库 |
| 离散文本 MDLM 类 | 约 100M~1B | 24GB+ | 数天 | 8GB | 扩散 Transformer |
训练时间按单台 8×A100 粗略估计("—“表示未查到可靠数字),实际取决于数据规模、分辨率与并行策略。
8.6 PyTorch 核心代码实现
8.6.1 DDPM 训练循环
下面的代码展示了一个完整的 DDPM 训练前向过程,包含时间步采样、前向加噪、条件丢弃(为 CFG 做准备)和噪声预测损失:
| |
8.6.2 DDPM 采样循环(含 CFG)
| |
Warning
代码使用 $\hat{\epsilon} = \epsilon_{\text{uncond}} + w\left(\epsilon_{\text{cond}} - \epsilon_{\text{uncond}}\right)$,它展开后等于 $w\, \epsilon_{\text{cond}} + (1 - w)\, \epsilon_{\text{uncond}}$。注释中写的"等价于 $(1 + w)\, \epsilon_{\text{cond}} - w\, \epsilon_{\text{uncond}}$“并不成立——后者对应的是另一种写法 $\epsilon_{\text{cond}} + w\left(\epsilon_{\text{cond}} - \epsilon_{\text{uncond}}\right)$(见 §8.2.2 的说明)。按这段代码的写法,
guide_w=0是纯无条件生成,guide_w=1是普通条件生成,guide_w>1才是增强引导。
8.6.3 Flow Matching 训练(Rectified Flow)
Flow Matching 直接在噪声与数据之间学习线性插值的速度场,训练稳定、采样路径更直(原理见 §6.4–§6.5)。下面的代码采用 §6.4 的时间约定($x_0$ 为噪声、$x_1$ 为数据):
| |
8.6.4 完整训练脚本框架
| |
Tip
这个框架省略了 EMA。实际训练时应额外维护一份 EMA 权重(按 §8.2.1 的公式在每次
optimizer.step()之后更新),保存检查点和采样时都使用 EMA 权重;PyTorch 的torch.optim.swa_utils.AveragedModel或 diffusers 的EMAModel都可以直接使用。
8.7 质量检查清单
在部署扩散模型前,可以用以下清单验证实现的正确性:
- 公式正确性:训练目标是否为 $\lVert \epsilon - \epsilon_\theta \rVert^2$(DDPM 噪声预测)或 $\lVert v - v_\theta \rVert^2$(Flow Matching)?时间方向约定(哪一端是数据)是否前后一致?
- 符号一致性:所有公式中的变量是否都在正文中定义?
- CFG 实现:训练时是否以约 10% 的概率丢弃条件?采样时是否同时计算有条件和无条件预测,且引导公式的写法与所用 $w$ 的约定一致?
- EMA 使用:训练时是否维护 EMA 模型?采样时是否使用 EMA 权重?
- 噪声调度:训练与采样的噪声调度是否一致?在 DDIM / DDPM 之间切换时,$\alpha$ 与 $\bar{\alpha}$ 的计算是否匹配?
- 时间编码:时间步 $t$ 是否按训练时的方式(如 $t/T$ 或连续时间)输入网络?
- 梯度检查:是否启用梯度裁剪?FP16 混合精度是否配合 GradScaler?
- 维度检查:条件嵌入的广播维度是否与数据维度匹配?
- 评估:FID 等指标是否使用固定的样本数、参考集与评测代码?
- 复现测试:固定随机种子后,相同输入是否产生相同输出?
- 显存监控:训练脚本是否记录峰值显存?
参考文献
文档生成日期:2026-07-02(2026-11-19 修订)
Blattmann, A., Rombach, R., Ling, H., Dockhorn, T., Kim, S. W., Fidler, S., & Kreis, K. (2023). Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models. CVPR. ↩︎
Blattmann, A., Dockhorn, T., Kulal, S., Mendelevitch, D., Kilian, M., Lorenz, D., … & Rombach, R. (2023). Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets. arXiv:2311.15127. ↩︎ ↩︎
Guo, Y., Yang, C., Rao, A., Liang, Z., Wang, Y., Qiao, Y., Agrawala, M., Lin, D., & Dai, B. (2024). AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning. ICLR. ↩︎
Ma, X., Wang, Y., Chen, X., Jia, G., Liu, Z., Li, Y.-F., Chen, C., & Qiao, Y. (2024). Latte: Latent Diffusion Transformer for Video Generation. arXiv:2401.03048(后发表于 TMLR 2025). ↩︎ ↩︎
Brooks, T., Peebles, B., Holmes, C., DePue, W., Guo, Y., Jing, L., Schnurr, D., Taylor, J., Luhman, T., Luhman, E., Ng, C., Wang, R., & Ramesh, A. (2024). Video Generation Models as World Simulators. OpenAI Technical Report. ↩︎
Yang, Z., Teng, J., Zheng, W., Ding, M., Huang, S., Xu, J., … & Tang, J. (2025). CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer. ICLR. ↩︎
Chen, B., Martí Monsó, D., Du, Y., Simchowitz, M., Tedrake, R., & Sitzmann, V. (2024). Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion. NeurIPS. ↩︎
Nichol, A., Jun, H., Dhariwal, P., Mishkin, P., & Chen, M. (2022). Point-E: A System for Generating 3D Point Clouds from Complex Prompts. arXiv:2212.08751. ↩︎
Jun, H., & Nichol, A. (2023). Shap-E: Generating Conditional 3D Implicit Functions. arXiv:2305.02463. ↩︎
Poole, B., Jain, A., Barron, J. T., & Mildenhall, B. (2023). DreamFusion: Text-to-3D using 2D Diffusion. ICLR(arXiv:2209.14988, 2022). ↩︎
Wang, Z., Lu, C., Wang, Y., Bao, F., Li, C., Su, H., & Zhu, J. (2023). ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation. NeurIPS. ↩︎
Voleti, V., Yao, C.-H., Boss, M., Letts, A., Pankratz, D., Tochilkin, D., … & Jampani, V. (2024). SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion. ECCV. ↩︎
Weng, H., Yang, T., Wang, J., Li, Y., Zhang, T., Chen, C. L. P., & Zhang, L. (2023). Consistent123: Improve Consistency for One Image to 3D Object Synthesis. arXiv:2310.08092. ↩︎
Zheng, C., & Vedaldi, A. (2024). Free3D: Consistent Novel View Synthesis without 3D Representation. CVPR. ↩︎
Liu, H., Chen, Z., Yuan, Y., Mei, X., Liu, X., Mandic, D., Wang, W., & Plumbley, M. D. (2023). AudioLDM: Text-to-Audio Generation with Latent Diffusion Models. ICML. ↩︎ ↩︎
Austin, J., Johnson, D. D., Ho, J., Tarlow, D., & van den Berg, R. (2021). Structured Denoising Diffusion Models in Discrete State-Spaces. NeurIPS. ↩︎
Hoogeboom, E., Gritsenko, A. A., Bastings, J., Poole, B., van den Berg, R., & Salimans, T. (2022). Autoregressive Diffusion Models. ICLR. ↩︎
Sahoo, S. S., Arriola, M., Schiff, Y., Gokaslan, A., Marroquin, E., Chiu, J. T., Rush, A., & Kuleshov, V. (2024). Simple and Effective Masked Diffusion Language Models. NeurIPS. ↩︎
Nie, S., Zhu, F., You, Z., Zhang, X., Ou, J., Hu, J., Zhou, J., Lin, Y., Wen, J.-R., & Li, C. (2025). Large Language Diffusion Models. arXiv:2502.09992. ↩︎
Jo, J., & Hwang, S. J. (2025). Continuous Diffusion Model for Language Modeling. NeurIPS(arXiv:2502.11564). ↩︎ ↩︎
Zhang, D., Gong, C., & Liu, Q. (2024). Rectified Flow for Structure Based Drug Design. arXiv:2412.01174(ELLIS ML4Molecules Workshop 2024). ↩︎ ↩︎
Schneuing, A., Harris, C., Du, Y., Didi, K., Jamasb, A., Igashov, I., … & Correia, B. (2024). Structure-based Drug Design with Equivariant Diffusion Models. Nature Computational Science(arXiv:2210.13695, 2022). ↩︎
Zeni, C., Pinsler, R., Zügner, D., Fowler, A., Horton, M., Fu, X., … & Xie, T. (2025). A generative model for inorganic materials design (MatterGen). Nature(arXiv:2312.03687). ↩︎
Lin, S., Liu, B., Li, J., & Yang, X. (2024). Common Diffusion Noise Schedules and Sample Steps are Flawed. WACV(arXiv:2305.08891). ↩︎
