扩散模型综述
日期: 2026-07-02(2026-11-19 修订:核对论文年份与出处,补充缺失分支) 搜索策略: 由粗到细,5次搜索覆盖宏观、结构、前沿
本文是整个扩散模型笔记系列的“地图”:先用一页纸列出主要技术分支和代表工作,具体原理请跳转到对应章节笔记阅读(见第 6 节“阅读导航”)。年份一般指论文正式发表的会议/期刊年份,括号内注明会议名称。
1. 宏观发现
扩散模型(Diffusion Models)已成为深度学习中生成式AI的主流范式,在图像、视频、3D、音频等领域取得突破性进展。核心思想是:先定义一个逐步向数据加噪、最终把数据变成纯噪声的前向过程,再训练神经网络学习每一步的反向去噪,生成时从纯噪声出发一步步“去噪”得到新样本。
从数学上看,扩散模型有三种相互等价的视角,后续所有分支几乎都是在这三种视角上做文章:
| 视角 | 核心对象 | 代表工作 |
|---|---|---|
| 变分推断(离散时间) | 证据下界(ELBO),噪声预测 | DDPM |
| 分数匹配 | 数据分布的分数 $\nabla_{\mathbf{x}} \log p(\mathbf{x})$ | NCSN |
| 随机/常微分方程(连续时间) | 反向 SDE、概率流 ODE | Score SDE、EDM、Flow Matching |
关键综述文献:
- Yang et al., “Diffusion Models: A Comprehensive Survey of Methods and Applications”, ACM Computing Surveys, 2023
- Cao et al., “A Survey on Generative Diffusion Models”, IEEE TKDE, 2024
- Chen et al., “Comprehensive exploration of diffusion models in image generation: a survey”, Artificial Intelligence Review, 2025
- Ma et al., “Efficient Diffusion Models: A Comprehensive Survey from Principles to Practices”, IEEE TPAMI, 2025
- Ma et al., “Video diffusion generation: comprehensive review and open problems”, Artificial Intelligence Review, 2025
2. 结构映射:主要技术分支
2.1 理论基础分支
- Score Matching: Hyvärinen (JMLR 2005), Vincent (Neural Computation 2011) — 绕开归一化常数估计分数;去噪分数匹配(DSM)是现代扩散模型的训练基础
- Sliced Score Matching: Song et al. (UAI 2019) — 用随机投影估计分数匹配中的迹项
- NCSN (Score-based Generative Models): Song & Ermon (NeurIPS 2019) — 噪声条件分数网络 + 退火 Langevin 采样;改进版 NCSNv2 (NeurIPS 2020)
- SDE/ODE统一框架: Song et al. (ICLR 2021) — 连续时间扩散,统一 VP/VE-SDE,提出反向 SDE、概率流 ODE 与预测-校正采样
- VDM (Variational Diffusion Models): Kingma et al. (NeurIPS 2021) — 以信噪比(SNR)刻画噪声调度,证明连续时间 ELBO 只依赖 SNR 端点
- EDM: Karras et al. (NeurIPS 2022) — 阐明扩散设计空间(预处理、损失权重、噪声分布、采样器)
2.2 离散概率扩散
- 扩散概率模型的提出: Sohl-Dickstein et al. (ICML 2015) — 受非平衡热力学启发的最早框架
- DDPM: Ho et al. (NeurIPS 2020) — 去噪扩散概率模型,奠基之作
- DDIM: Song et al. (ICLR 2021) — 非马尔可夫的确定性隐式模型,无需重训即可少步采样
- Improved DDPM: Nichol & Dhariwal (ICML 2021) — 余弦噪声调度和可学习方差
- ADM (Ablated Diffusion Model): Dhariwal & Nichol (NeurIPS 2021) — 改进 U-Net 架构 + Classifier Guidance,首次在 ImageNet 上全面超越 GAN
2.3 采样加速方法
- Training-Free(免训练求解器): DDIM, DPM-Solver, DPM-Solver++, UniPC, DEIS, AYS (Align Your Steps)
- Training-Required(需要额外训练): Progressive Distillation (Salimans & Ho, ICLR 2022), Consistency Models (Song et al., ICML 2023)
- 对抗/蒸馏方法: Adversarial Diffusion Distillation (Sauer et al., ECCV 2024), Latent Adversarial Diffusion Distillation (Sauer et al., 2024), Truncated Diffusion Models (Zheng et al., ICLR 2023)
2.4 Latent Diffusion & 条件生成
- LDM: Rombach et al. (CVPR 2022) — 在预训练自编码器的潜空间中做扩散,大幅降低计算量
- Stable Diffusion: 基于 LDM 的开源文本到图像模型系列(SD 1.x / 2.x / SDXL / SD 3 / SD 3.5)
- Classifier Guidance: Dhariwal & Nichol (NeurIPS 2021) — 用噪声分类器的梯度引导采样
- Classifier-Free Guidance (CFG): Ho & Salimans (2022) — 条件/无条件联合训练,无需额外分类器的引导
- 大规模文本到图像: GLIDE (Nichol et al., ICML 2022), DALL·E 2 (Ramesh et al., 2022), Imagen (Saharia et al., NeurIPS 2022)
- ControlNet: Zhang et al. (ICCV 2023) — 可训练副本 + 零卷积的空间条件控制
- T2I-Adapter / IP-Adapter: Mou et al. (AAAI 2024) / Ye et al. (2023) — 轻量级结构条件与图像提示适配
- SDXL: Podell et al. (ICLR 2024) — 更大 U-Net、双文本编码器与 micro-conditioning
- SD 3 / SD 3.5 / FLUX.1: Esser et al. (ICML 2024) 等 — 基于 DiT(MMDiT)与 Rectified Flow 的流匹配模型
2.5 个性化与图像编辑
- 个性化微调: Textual Inversion (Gal et al., ICLR 2023), DreamBooth (Ruiz et al., CVPR 2023), LoRA (Hu et al., ICLR 2022;广泛用于扩散模型)
- 图像编辑: SDEdit (Meng et al., ICLR 2022), Prompt-to-Prompt (Hertz et al., ICLR 2023), Null-text Inversion (Mokady et al., CVPR 2023), InstructPix2Pix (Brooks et al., CVPR 2023)
- 图像修复: RePaint (Lugmayr et al., CVPR 2022),以及 SD-Inpainting 等专用模型
2.6 架构创新
- DiT (Diffusion Transformers): Peebles & Xie (ICCV 2023) — 可扩展Transformer骨干,展现出清晰的缩放规律
- U-Net演进: 从 DDPM 的 U-Net 到 ADM U-Net,再到 LDM 中带交叉注意力的 U-Net
- Dynamic DMs: 动态计算分配,如DyDiT, AdaDiff, Learning-to-Cache
2.7 替代范式(2023-2025前沿)
- Flow Matching: Lipman et al. (ICLR 2023) — 连续归一化流的无模拟(simulation-free)训练
- Rectified Flow: Liu et al. (ICLR 2023) — 直线化ODE路径,Reflow 进一步拉直轨迹
- Stochastic Interpolants: Albergo & Vanden-Eijnden (ICLR 2023) 及后续工作 — 统一流与扩散
- Poisson Flow (PFGM / PFGM++): Xu et al. (NeurIPS 2022 / ICML 2023) — 基于泊松方程(静电场)的生成模型
- Consistency Models: Song et al. (ICML 2023) — 自一致性映射,1-2步采样
- Consistency Trajectory Models: Kim et al. (ICLR 2024) — 一致性轨迹,可在轨迹任意两点间跳转
- MeanFlow: Geng et al. (2025) — 学习平均速度场,1步生成
- Inductive Moment Matching: Zhou, Ermon & Song (ICML 2025) — 单阶段训练,1-2步采样
- AlphaFlow: Zhang et al. (Snap,ICLR 2026) — 把 MeanFlow 目标分解为轨迹流匹配与轨迹一致性,用课程学习缓解二者冲突
- Decoupled MeanFlow: Lee, Yu & Shin (KAIST,2025) — 不改架构即可把预训练流模型转为流映射(flow map),1–4 步生成
2.8 跨模态扩散
- 视频: Video LDM (Blattmann et al., CVPR 2023), AnimateDiff, Stable Video Diffusion (SVD), Latte, Sora (OpenAI, 2024)
- 3D: Point-E (OpenAI, 2022), DreamFusion (Poole et al., ICLR 2023), Shap-E (2023), SV3D (ECCV 2024), LN3Diff (ECCV 2024), Free3D (CVPR 2024)
- 音频: AudioLDM, AudioTurbo, VoiceFlow, ReFlow-TTS
- 文本/离散数据: D3PM (Austin et al., NeurIPS 2021), ARDM, 多项式(multinomial)扩散,吸收态(mask)扩散
2.9 离散化与采样优化
- DPM-Solver: Lu et al. (NeurIPS 2022) — 利用半线性结构的高阶 ODE 求解器,约 10–20 步
- DPM-Solver++: Lu et al. (arXiv 2022;Machine Intelligence Research 2025) — 面向引导采样的高阶求解器(数据预测参数化 + 多步法)
- DPM-Solver-v3: Zheng et al. (NeurIPS 2023) — 利用模型经验统计量的求解器
- UniPC: Zhao et al. (NeurIPS 2023) — 统一预测-校正框架
- DEIS: Zhang & Chen (ICLR 2023) — 指数积分器
- AYS: Sabour et al. (ICML 2024) — 优化采样时间步调度
- ERK-Guid: (ICLR 2026) — “Error as Signal: Stiffness-Aware Diffusion Sampling via Embedded Runge-Kutta Guidance”,利用 Heun 与 Euler 两种阶数解的差异估计刚性,在不增加网络评估次数的前提下减小局部截断误差
- Bespoke Solvers: 针对特定模型的定制求解器
3. 前沿趋势 (2024-2026)
- DiT + Flow Matching 成为主流: SD 3 / SD 3.5、FLUX.1 均采用 DiT 类骨干 + 流匹配(Rectified Flow)目标
- 1-2步生成质量逼近多步: Consistency Models, MeanFlow, InstaFlow, Decoupled MeanFlow
- Rectified Flow 被广泛验证: 不只是理论框架,已在 Stable Diffusion 3 系列和 FLUX.1 中实际部署
- 视频生成成为热点: Sora引领,但一致性、长视频、物理合理性仍是挑战
- 3D生成从优化转向直接生成: SV3D, LN3Diff等无需per-instance优化
- 可控性增强: ControlNet生态扩展,IP-Adapter, T2I-Adapter等轻量方法
- 模型效率: 动态计算、缓存、量化、剪枝、蒸馏
- 科学计算应用: 药物设计(FlowSBDD)、分子生成、多尺度不确定性量化
- 测试时缩放: 通过更多计算提升采样质量
- 与RL/机器人结合: Diffusion Policy, 轨迹规划
4. 关键争议与冲突点
- Rectified Flow vs 传统扩散: 是否在所有场景都优于传统扩散?目前证据主要在图像生成;从 1.8–1.9 节的观点看,二者很大程度上只是噪声调度与预测目标(损失加权)的不同选择
- Flow Matching的泛化性: 在离散数据(如文本)上的表现仍有待验证
- Consistency Models的质量-速度权衡: 1步生成质量与多步扩散仍有差距
- DPM-Solver调度最优性: AYS表明传统启发式调度在小NFE下系统性次优
- U-Net vs Transformer: DiT在大规模上胜出,但U-Net在中小型任务上仍有优势
5. 需要深入调查的维度
- 各种噪声调度的数学等价性与差异
- Score Matching的不同变体(Sliced, Generalized, Denoising)
- Classifier Guidance vs Classifier-Free Guidance的理论对比
- 视频扩散的时间建模机制(3D卷积 vs 时序注意力)
- 3D扩散的表示空间(NeRF, 3D Gaussian Splatting, Voxel, Point Cloud)
- 离散扩散的数学框架(多分类、吸收态、连续松弛)
- 不同采样器的误差分析与收敛性
- 模型蒸馏的理论基础(Progressive Distillation, Consistency Distillation)
- Flow Matching与Score-based模型的数学统一
- 计算效率优化(Token剪枝、动态路由、缓存)
6. 阅读导航
| 主题 | 对应笔记与章节 |
|---|---|
| 数学基础(前向/反向过程、ELBO、分数匹配、Tweedie、SDE/ODE、噪声调度、预测目标参数化) | 第1章 |
| 经典模型(DDPM、Improved DDPM、DDIM、NCSN/NCSNv2、EDM) | 第2章 |
| 条件生成与潜在扩散(Classifier Guidance、CFG、LDM、Stable Diffusion 系列、文本编码器) | 第3章 |
| 可控生成与编辑(ControlNet、T2I-Adapter、IP-Adapter、Inpainting、LoRA/DreamBooth/Textual Inversion、SDEdit/P2P/InstructPix2Pix) | 第4章 |
| 采样算法、蒸馏与效率优化 | 第5章 |
| 前沿范式(DiT、Consistency Models、Flow Matching、Rectified Flow、MeanFlow) | 第6章 |
| 跨模态扩散(视频、3D、音频、离散数据、科学应用) | 第7章 |
| 实践指南(超参数、常见陷阱、代码实现) | 第8章 |
