第3章:条件生成与 Latent Diffusion Models
3.1 从无条件生成到条件生成
扩散模型最初以无条件生成(unconditional generation)的形式出现,即学习一个数据分布 $p(x)$,从噪声中采样得到与训练数据相似的新样本。然而,在实际应用中,用户需要更精细的控制:指定类别、文本描述、风格参考等。条件生成(conditional generation)的目标是学习一个条件分布 $p(x \mid c)$,其中 $c$ 为条件信息(conditioning signal),可以是类别标签、文本嵌入、图像掩码或空间结构图等。
在扩散模型框架中,条件生成的核心思想是将条件信息 $c$ 注入到去噪网络 $\epsilon_\theta(x_t, t, c)$ 中。根据注入方式的不同,可分为两大类:
- 训练时条件化:在训练阶段就把条件 $c$ 作为去噪网络的输入一起训练,得到条件模型 $\epsilon_\theta(x_t, t, c)$;Classifier-Free Guidance (CFG) 就是建立在这类模型之上的引导技巧。
- 推理时条件化:扩散模型本身不变(可以是无条件模型),在采样阶段借助额外的分类器或其他可微目标来引导生成方向,如 Classifier Guidance。
两者都可以从“分数”的角度统一理解:条件生成需要的是条件分数 $\nabla_{x_t} \log p(x_t \mid c)$,而 $\epsilon$-预测与分数之间只差一个缩放,$\epsilon_\theta(x_t, t) \approx -\sqrt{1 - \bar{\alpha}_t} \, \nabla_{x_t} \log p(x_t)$(见 1.9 节)。下面的各种引导方法,本质上都是在用不同方式构造或放大这个条件分数。
| 符号 | 含义 |
|---|---|
| $x$ | 数据样本(图像) |
| $c$ | 条件信息(文本、类别、图像等) |
| $x_t$ | 时间步 $t$ 的加噪样本 |
| $\epsilon_\theta$ | 参数为 $\theta$ 的去噪网络 |
| $p(x \mid c)$ | 条件数据分布 |
3.2 Classifier Guidance
3.2.1 原理与公式
Classifier Guidance 由 Dhariwal & Nichol (2021) 提出,其核心思想是:利用一个在噪声图像上训练的分类器来引导预训练的无条件扩散模型的采样过程1。
根据贝叶斯定理,条件得分函数可以分解为:
$$\nabla_{x_t} \log p(x_t \mid c) = \nabla_{x_t} \log p(x_t) + \nabla_{x_t} \log p(c \mid x_t)$$(由 $p(x_t \mid c) = p(c \mid x_t) \, p(x_t) / p(c)$ 取对数再求梯度得到,$\log p(c)$ 与 $x_t$ 无关,梯度为 0。)
| 符号 | 含义 |
|---|---|
| $\nabla_{x_t} \log p(x_t \mid c)$ | 条件得分函数(目标) |
| $\nabla_{x_t} \log p(x_t)$ | 无条件扩散模型学到的得分函数 |
| $\nabla_{x_t} \log p(c \mid x_t)$ | 分类器对数似然的梯度(指导信号) |
| $c$ | 条件(如类别标签) |
| $x_t$ | 时间步 $t$ 的噪声样本 |
在 DDPM 的噪声预测框架中,把 $\epsilon = -\sqrt{1 - \bar{\alpha}_t} \times \text{分数}$ 的关系代入上式,并给分类器梯度乘上一个引导尺度 $s$,就得到 Classifier Guidance 的修正噪声预测:
$$\hat{\epsilon}_\theta(x_t, t) = \epsilon_\theta(x_t, t) - s \cdot \sqrt{1 - \bar{\alpha}_t} \, \nabla_{x_t} \log p_\phi(c \mid x_t)$$| 符号 | 含义 |
|---|---|
| $\hat{\epsilon}_\theta$ | 修正后的噪声预测 |
| $\epsilon_\theta(x_t, t)$ | 无条件扩散模型的噪声预测 |
| $s$ | 引导尺度(guidance scale),$s > 0$;$s = 1$ 对应严格的贝叶斯条件分数,实践中常取 $s > 1$ |
| $\bar{\alpha}_t$ | 累积信号保留系数,$\bar{\alpha}_t = \prod_{i=1}^t (1 - \beta_i)$;$1 - \bar{\alpha}_t$ 是累积噪声方差 |
| $p_\phi(c \mid x_t)$ | 带参数 $\phi$ 的分类器,在噪声图像 $x_t$ 上预测条件 $c$ 的概率 |
| $\nabla_{x_t} \log p_\phi(c \mid x_t)$ | 分类器梯度,指向使条件 $c$ 更可能的图像区域 |
取 $s > 1$ 相当于从一个“更尖锐”的分布 $\tilde{p}(x_t \mid c) \propto p(x_t) \, p_\phi(c \mid x_t)^s$ 中采样:分类器越有把握的样本被放大得越多。因此增大 $s$ 会增强条件遵循度和单张样本的保真度(FID/IS 的权衡中 IS 上升),但过高会导致样本多样性下降、模式坍缩或视觉伪影。
3.2.2 实现、优缺点与使用场景
实现要点:
- 需要一个在各噪声级别 $x_t$ 上训练的分类器(time-dependent classifier),这增加了训练成本。
- 分类器通常使用 U-Net 或 ResNet 架构,输入为 $x_t$ 和时间步 $t$ 的嵌入。
- 在采样时,每个去噪步骤都需要额外计算分类器梯度,增加了推理开销。
优点:
- 无需重新训练扩散模型,即可为已有无条件模型添加条件控制。
- 灵活性高,可更换不同的分类器实现不同条件(类别、属性、文本 CLIP 相似度等)。
缺点:
- 需要额外训练噪声分类器,成本高。
- 分类器在噪声数据上训练困难,准确率有限,梯度可能不稳定。
- 梯度尺度 $s$ 需要仔细调参,$s$ 过大易导致图像过饱和或模式坍缩。
- 分类器梯度与扩散模型得分叠加,可能引入对抗性伪影。
使用场景:
- 为已有无条件扩散模型(如早期 DDPM、ADM)快速添加类别条件控制。
- 需要精细控制生成样本的特定属性(如 ImageNet 类别、年龄、颜色等)。
3.2.3 PyTorch 代码示例
| |
3.3 Classifier-Free Guidance (CFG)
3.3.1 原理与训练策略
Classifier-Free Guidance (CFG) 由 Ho & Salimans (2022) 提出,它无需额外分类器,通过在训练阶段随机丢弃条件信息,让单个模型同时学习条件生成与无条件生成2。
训练策略:
- 以概率 $p_{\text{drop}}$(常用 $10\%$ 左右)将条件 $c$ 替换为空条件(null token)$\emptyset$。
- 模型输入变为:$\epsilon_\theta(x_t, t, c)$(有条件)或 $\epsilon_\theta(x_t, t, \emptyset)$(无条件)。
- 训练损失为标准的 MSE:
| 符号 | 含义 |
|---|---|
| $p_{\text{drop}}$ | 条件丢弃概率,通常 $0.1$ |
| $\emptyset$ | 空条件(null token),表示无条件生成 |
| $c_{\text{masked}}$ | 以概率 $p_{\text{drop}}$ 被替换为 $\emptyset$ 的条件 |
| $\epsilon$ | 真实添加的高斯噪声 |
| $x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon$ | 前向扩散加噪公式 |
3.3.2 采样公式
在推理阶段,CFG 将条件预测与无条件预测外推(extrapolate):
$$\hat{\epsilon}_\theta(x_t, t, c) = \epsilon_\theta(x_t, t, \emptyset) + w \cdot \left( \epsilon_\theta(x_t, t, c) - \epsilon_\theta(x_t, t, \emptyset) \right)$$等价形式:
$$\hat{\epsilon}_\theta(x_t, t, c) = w \cdot \epsilon_\theta(x_t, t, c) + (1 - w) \cdot \epsilon_\theta(x_t, t, \emptyset)$$注意两种记号约定:Ho & Salimans 原论文写作 $(1 + w') \, \epsilon_\theta(x_t, t, c) - w' \, \epsilon_\theta(x_t, t, \emptyset)$,其中 $w' = w - 1$,因此原论文的 $w' = 0$ 就是普通条件采样。本笔记以及 diffusers 等主流代码库使用上面的 $w$(即
guidance_scale),$w = 1$ 对应普通条件采样。阅读论文时要先确认用的是哪一种。
| 符号 | 含义 |
|---|---|
| $w$ | CFG 引导尺度(guidance scale),通常 $w \in [1, 10]$ |
| $\epsilon_\theta(x_t, t, c)$ | 条件分支的噪声预测 |
| $\epsilon_\theta(x_t, t, \emptyset)$ | 无条件分支的噪声预测(空文本) |
| $\hat{\epsilon}_\theta$ | 最终用于去噪的修正噪声预测 |
当 $w = 1$ 时,退化为标准条件采样;$w > 1$ 时,沿“条件方向”外推,增强条件遵循度与图像保真度,但可能牺牲多样性。$w = 0$ 对应无条件生成。
为什么叫“无分类器”引导? 用分数的语言改写 CFG($\epsilon$ 与分数只差一个负的缩放因子):
$$\nabla_{x_t} \log p(x_t) + w \left( \nabla_{x_t} \log p(x_t \mid c) - \nabla_{x_t} \log p(x_t) \right) = \nabla_{x_t} \log p(x_t \mid c) + (w - 1) \, \nabla_{x_t} \log p(c \mid x_t)$$其中用到了贝叶斯公式 $\nabla_{x_t} \log p(c \mid x_t) = \nabla_{x_t} \log p(x_t \mid c) - \nabla_{x_t} \log p(x_t)$。可见,条件分支与无条件分支之差本身就是一个隐式分类器的梯度,CFG 等价于用引导尺度 $w - 1$ 的 Classifier Guidance,却不需要单独训练一个噪声分类器。与之对应,CFG 近似从 $\tilde{p}(x_t \mid c) \propto p(x_t) \, p(c \mid x_t)^{w}$ 中采样。
负向提示词(negative prompt):实际系统中常把无条件分支的 $\emptyset$ 换成一段“不想要的内容”的文本嵌入 $c_{\text{neg}}$,即 $\hat{\epsilon} = \epsilon_\theta(x_t, t, c_{\text{neg}}) + w \left( \epsilon_\theta(x_t, t, c) - \epsilon_\theta(x_t, t, c_{\text{neg}}) \right)$。这样外推方向不仅朝向 $c$,还远离 $c_{\text{neg}}$。
3.3.3 特点、参数与注意事项
| 特性 | 说明 |
|---|---|
| 训练成本 | 无需额外分类器,单模型联合训练,成本低于 Classifier Guidance |
| 推理成本 | 每次去噪需两次前向传播(条件 + 无条件),计算量翻倍 |
| 关键参数 | $p_{\text{drop}}$(训练时,推荐 $0.05 \sim 0.15$);$w$(推理时,推荐 $3.0 \sim 7.5$) |
| 注意事项 | $w$ 过高会导致图像过锐、对比度过强、模式坍缩;$p_{\text{drop}}$ 过低则削弱无条件分支能力 |
| 适用场景 | 现代文本到图像模型的标准配置(SD、DALL·E 2、Imagen、SDXL、SD3 等);部分蒸馏模型(如 FLUX.1 [schnell])已把引导效果蒸馏进模型,推理时不再需要 CFG |
3.3.4 PyTorch 代码示例
| |
3.4 Latent Diffusion Model (LDM) 架构详解
3.4.1 核心动机:从像素空间到潜空间
原始扩散模型(如 DDPM、ADM)直接在像素空间操作,对于高分辨率图像(如 $512 \times 512$),计算和内存开销巨大。Latent Diffusion Model (LDM) 由 Rombach et al. (2022) 提出,核心洞察是:图像像素空间存在大量冗余信息,扩散过程可在压缩后的潜空间(latent space)中进行3。
3.4.2 LDM 完整架构
LDM 由三大核心组件构成:
- 感知压缩模型(自编码器,常称 VAE):编码器 $\mathcal{E}$ 将图像 $x$ 压缩为潜变量 $z = \mathcal{E}(x)$;解码器 $\mathcal{D}$ 将潜变量重建为图像 $\tilde{x} = \mathcal{D}(z)$。Stable Diffusion 采用空间下采样因子 $f = 8$(每边缩小 8 倍),如 $512 \times 512 \times 3 \to 64 \times 64 \times 4$,张量元素数减少约 48 倍。
- 去噪 U-Net:在潜空间 $z$ 上执行扩散去噪,预测噪声 $\epsilon_\theta(z_t, t, c)$。
- 条件编码器:如 CLIP 文本编码器,将文本 $y$ 编码为嵌入 $c = \tau_\theta(y)$,通过交叉注意力注入 U-Net。对于与图像空间对齐的条件(如修复任务的掩码、超分任务的低分辨率图),LDM 也可以直接把条件沿通道拼接到 $z_t$ 上作为输入。
两阶段训练:先单独训练自编码器,之后冻结它,再在其潜空间里训练扩散模型。自编码器的训练使用 L1 重建损失 + 感知损失(LPIPS)+ 基于图像块的对抗损失,使解码结果锐利而不是模糊;同时对潜空间施加很轻的正则——要么是权重很小的 KL 惩罚(KL-reg,Stable Diffusion 采用这种),要么是向量量化(VQ-reg)——防止潜变量方差过大、分布过于任意。
为什么是 $f = 8$? LDM 论文比较了 $f \in \{1, 2, 4, 8, 16, 32\}$:$f$ 太小,扩散仍需处理大量冗余像素、训练慢;$f$ 太大,压缩损失过多细节、生成质量上限下降。$f = 4 \sim 16$ 在效率和质量之间取得了较好的平衡,其中 LDM-4 和 LDM-8 的综合表现最好。
潜空间缩放因子:编码得到的潜变量方差并不是 1,而扩散的噪声调度默认数据大致为单位方差。因此训练前会把潜变量乘以一个常数 $s_z \approx 1/\hat{\sigma}_z$(用数据估计的潜变量标准差的倒数),使其方差约为 1;解码前再除回去。Stable Diffusion 1.x/2.x 中这个常数就是代码里常见的 0.18215,SDXL 的 VAE 则为 0.13025。忘记缩放是自己实现推理或训练时最常见的错误之一。
graph LR
subgraph 像素空间
X[图像 x
3×512×512]
D[VAE 解码器 𝒟]
X2[重建图像 x̃
3×512×512]
end
subgraph 潜空间
E[VAE 编码器 ℰ]
Z0[潜变量 z₀
4×64×64]
FD[前向扩散
加噪得到 zₜ]
UN[U-Net εθ
去噪预测]
ZT[噪声 z_T
4×64×64]
end
subgraph 条件
TE[文本编码器 τθ
CLIP / T5]
C[条件嵌入 c]
end
X --> E
E --> Z0
Z0 --> FD
FD --> ZT
ZT --> UN
UN --> Z0
Z0 --> D
D --> X2
TE --> C
C -->|交叉注意力| UN
3.4.3 前向与反向扩散过程
前向过程(在潜空间):
$$z_t = \sqrt{\bar{\alpha}_t} \, z_0 + \sqrt{1 - \bar{\alpha}_t} \, \epsilon, \quad \epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$$| 符号 | 含义 |
|---|---|
| $z_0 = s_z \, \mathcal{E}(x)$ | VAE 编码(并乘以缩放因子 $s_z$)后的干净潜变量 |
| $z_t$ | 时间步 $t$ 的加噪潜变量 |
| $\bar{\alpha}_t$ | 累积信号保留系数(与像素空间扩散相同),对应的信噪比为 $\bar{\alpha}_t / (1 - \bar{\alpha}_t)$ |
| $\epsilon$ | 标准高斯噪声 |
反向过程(训练目标):
$$\mathcal{L}_{\text{LDM}} = \mathbb{E}_{\mathcal{E}(x), \epsilon, t, c} \left[ \left\| \epsilon - \epsilon_\theta(z_t, t, c) \right\|^2 \right]$$| 符号 | 含义 |
|---|---|
| $\epsilon_\theta$ | 潜空间去噪 U-Net |
| $c$ | 条件嵌入(文本、类别等) |
| $z_t$ | 如上定义的前向加噪潜变量 |
生成过程(推理):
- 采样 $z_T \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$。
- 迭代去噪:从 $t = T$ 到 $1$,使用 DDPM/DDIM(或第5章的高阶求解器)更新规则得到 $z_{t-1}$,通常配合 CFG。
- 解码:$x = \mathcal{D}(z_0 / s_z)$。
可以看到,LDM 的扩散部分与像素空间扩散在数学上完全相同,只是把 $x$ 换成了 $z$;全部收益来自“在更小、更语义化的空间里做扩散”。
3.4.4 PyTorch 实现框架
| |
3.5 Stable Diffusion 系列演进
Stable Diffusion (SD) 是基于 LDM 架构的最具影响力的开源文本到图像生成模型系列。其演进反映了 VAE、文本编码器、去噪骨干和训练目标的持续改进。
| 版本 | 发布时间 | 关键特性 | 去噪骨干 | 文本编码器 | 潜空间(原生分辨率下) |
|---|---|---|---|---|---|
| SD v1.x | 2022-08 | 首个开源版本,奠定社区生态 | U-Net (860M) | CLIP ViT-L/14 | 4 通道,$64 \times 64$(512 px) |
| SD v2.x | 2022-11 | 更强的 OpenCLIP,768 px 的 v-预测模型 | U-Net (865M) | OpenCLIP ViT-H/14 | 4 通道,$96 \times 96$(768 px)/ $64 \times 64$(512 px) |
| SDXL | 2023-07(0.9 版 2023-06) | 更大 U-Net、micro-conditioning、可选 Refiner | U-Net (2.6B) | CLIP ViT-L + OpenCLIP ViT-bigG | 4 通道,$128 \times 128$(1024 px) |
| SD 3 | 2024-06(Medium 开源;论文 2024-03) | MMDiT 架构,Rectified Flow | MMDiT(开源 Medium 为 2B,论文最大 8B) | CLIP-L + OpenCLIP-bigG + T5-XXL | 16 通道,$128 \times 128$(1024 px) |
| SD 3.5 | 2024-10 | QK 归一化等改进,提供 Large / Large Turbo / Medium | MMDiT(Large 8.1B)/ MMDiT-X(Medium 2.5B) | CLIP-L + OpenCLIP-bigG + T5-XXL | 16 通道,$128 \times 128$(1024 px) |
| FLUX.1 | 2024-08 | Rectified Flow Transformer,12B 参数 | 双流 + 单流 Transformer (12B) | CLIP-L + T5-XXL | 16 通道,$128 \times 128$(1024 px) |
3.5.1 SD v1.x 与 v2.x
- SD v1.x:基于 CompVis 的 LDM 论文实现,使用 CLIP ViT-L/14 文本编码器,VAE 潜空间为 4 通道。社区生态最繁荣,衍生出大量微调模型与 LoRA。
- SD v2.x:将文本编码器替换为 OpenCLIP ViT-H/14(文本塔约 354M 参数,约为 CLIP ViT-L 文本塔的 3 倍),并在经过 NSFW 过滤的 LAION-5B 子集上从头训练。768 px 版本(768-v)采用 $v$-预测目标(见 1.9 节),并推出了深度引导(depth2img)、inpainting 专用和 4 倍超分等模型。
3.5.2 SDXL
SDXL(Podell et al., 2023)4是架构上的大幅扩展:
- 更大的 U-Net:参数量从约 0.86B 提升至 2.6B;Transformer 块被集中到较低分辨率的层级(各层级为 0/2/10 个),并去掉了最低的 $8\times$ 下采样层级。
- 双文本编码器:同时使用 CLIP ViT-L 和 OpenCLIP ViT-bigG(两者文本塔合计约 817M 参数),把两者倒数第二层的序列特征沿通道拼接成 2048 维供交叉注意力使用;另将 OpenCLIP ViT-bigG 的池化嵌入作为全局条件,与时间步嵌入相加。
- Micro-conditioning(微条件):把训练图像的原始尺寸 $(h_{\text{orig}}, w_{\text{orig}})$ 和随机裁剪坐标 $(c_{\text{top}}, c_{\text{left}})$ 经傅里叶特征编码后加到时间步嵌入上。这样既不必丢弃小图(SDXL 预训练数据中约 39% 的图像小于 $256^2$),又能在推理时设 $(c_{\text{top}}, c_{\text{left}}) = (0, 0)$,避免早期 SD 常见的“主体被裁掉”问题。
- 多宽高比训练:按宽高比分桶微调,原生支持非正方形输出。
- Base + 可选 Refiner:Refiner 是在同一潜空间里专门负责低噪声段的模型,对 Base 的输出做类似 SDEdit 的细节修饰;它不是像素级的级联超分,可以不用。
- 重新训练的 VAE:潜空间仍为 4 通道,但用更大的 batch 和 EMA 重新训练,重建质量更好。
3.5.3 SD 3 / SD 3.5:从 U-Net 到 MMDiT
SD 3 是架构上的范式转移:
- MMDiT (Multimodal Diffusion Transformer):彻底抛弃 U-Net,在 DiT5 的基础上构建 Transformer 骨干。图像 patch($2 \times 2$)和文本 token 拼接成一个序列,两种模态各用一套权重,但在注意力计算时合并,从而实现双向信息流动6;时间步和池化文本向量则通过 adaLN 调制注入。
- Rectified Flow7:用线性插值路径 $z_t = (1 - t) \, x_0 + t \, \epsilon$ 连接数据与噪声,网络预测速度 $v = \epsilon - x_0$,替代 DDPM 的 $\epsilon$-预测目标;训练时用 logit-normal 分布采样 $t$,让模型更关注中间噪声段。路径越接近直线,少步采样的离散化误差越小(流匹配的细节见第6章)。
- 三文本编码器:CLIP-L + OpenCLIP-bigG + T5-XXL(T5 编码器约 4.7B 参数)。论文中 T5 的序列长度为 77 个 token(SD 3.5 Medium 训练后期扩展到 256,diffusers 推理默认 256)。T5 主要提升复杂提示和文字渲染能力;训练时三个编码器各自以约 46% 的概率独立置零,因此推理时可以去掉 T5 以节省显存,代价是复杂提示和文字渲染变差。
- 16 通道 VAE:相比 4 通道,保留更丰富的细节信息,显著提升文本渲染和精细结构生成。
SD 3.5(2024 年 10 月)并没有改变基本范式,主要改进包括:在 Transformer 块中加入 QK 归一化以稳定训练,Large 版采用 8.1B 参数的 MMDiT,Large Turbo 是其少步蒸馏版本,Medium 版(2.5B)采用改进的 MMDiT-X 架构并进行多分辨率训练。
3.5.4 Flux
FLUX.1 由 Black Forest Labs 于 2024 年 8 月发布(该公司由 LDM / Stable Diffusion 的多位核心作者创立),是发布时开源(开放权重)文本到图像模型中的佼佼者8:
- 12B 参数 Rectified Flow Transformer:同样基于流匹配,规模大于 SD3 Medium。
- 混合单流/双流块:19 个双流块(图像与文本各用一套权重,在注意力中交互,类似 MMDiT)+ 38 个单流块(拼接后的序列共享权重),兼顾模态交互与计算效率。
- 多轴 RoPE:对 token 位置的多个坐标轴分别做旋转位置编码,便于处理不同分辨率和宽高比。
- 多个版本:FLUX.1 [pro] 仅通过 API 提供;[dev] 为开放权重的引导蒸馏模型,把引导强度作为输入,推理时只需一次前向;[schnell] 采用潜空间对抗扩散蒸馏(Latent Adversarial Diffusion Distillation, LADD)9,可在 1–4 步内生成高质量图像,无需 CFG。
3.6 文本编码器与交叉注意力机制
3.6.1 文本编码器演进
文本编码器负责将文本提示 $y$ 转换为向量表示 $c$,其质量直接决定生成图像的语义准确性。
| 编码器 | 参数量(仅文本部分) | 上下文长度 | 特点 | 代表模型 |
|---|---|---|---|---|
| CLIP ViT-L/14 | 约 123M | 77 | 通用视觉-语言对齐,开源 | SD 1.x、SDXL、SD3、FLUX.1 |
| OpenCLIP ViT-H/14 | 约 354M | 77 | 在 LAION-2B 上训练,检索与零样本能力强于 ViT-L | SD 2.x |
| OpenCLIP ViT-bigG/14 | 约 695M | 77 | 更大容量,风格/构图理解 | SDXL、SD3 |
| T5-XXL(v1.1,仅编码器) | 约 4.7B | 视模型而定(SD3 训练时 77;FLUX.1 [dev] 为 512) | 深层语义、复杂关系、长文本 | SD3、FLUX.1 |
SDXL 的双编码器策略:将 CLIP-L 与 OpenCLIP-bigG 倒数第二层的序列特征沿通道拼接(用于交叉注意力),另取 OpenCLIP-bigG 的池化嵌入作为全局条件,兼顾细粒度语义与整体风格。
SD3/FLUX.1 的 T5-XXL:T5 原本是编码器-解码器结构的语言模型,这里只使用其编码器来提取深层语义表示。与 CLIP 文本塔(训练目标只是与图像对齐、上限 77 token)相比,T5 对语序、数量关系和拼写更敏感,能明显缓解早期模型中的“属性绑定错误”(attribute binding errors)和“主体遗漏”(subject neglect)问题,并提升图中文字的渲染效果。
3.6.2 交叉注意力机制
交叉注意力(Cross-Attention)是 LDM 中条件注入的核心机制。在 U-Net 多个分辨率层级的 Transformer 块中,图像特征作为 Query (Q),文本嵌入作为 Key (K) 和 Value (V):
$$\text{Attention}(Q, K, V) = \text{softmax}\left( \frac{Q K^{\top}}{\sqrt{d}} \right) V$$$$Q = z W_Q, \quad K = c W_K, \quad V = c W_V$$| 符号 | 含义 |
|---|---|
| $z$ | U-Net 中间层图像特征(展平后),形状 $(hw, d_z)$ |
| $c$ | 文本编码器输出,形状 $(L, d_c)$;$d_c$ 可以与 $d_z$ 不同 |
| $W_Q, W_K, W_V$ | 可学习的投影矩阵,把 $z$ 和 $c$ 投影到同一维度 $d$ |
| $d$ | Query/Key 的维度(多头注意力时为单个头的维度),$\sqrt{d}$ 用于防止点积过大导致 softmax 饱和 |
| $hw$ | 图像特征图的空间分辨率(展平后) |
| $L$ | 文本 token 数量(如 77 或 512) |
交叉注意力图 $A = \text{softmax}\left( Q K^{\top} / \sqrt{d} \right) \in \mathbb{R}^{hw \times L}$ 量化了每个图像位置对每个文本 token 的响应强度(每一行和为 1)。可视化注意力图可解释模型如何“阅读”文本:例如,“猫”对应的 token 会在图像中猫出现的区域产生高响应。这一机制也被后续的图像编辑方法(如 Prompt-to-Prompt)直接利用,通过替换或修改注意力图实现语义编辑(见 4.6 节)。
第4章:可控生成:ControlNet、适配器与图像编辑
4.1 ControlNet:结构化的精确控制
4.1.1 架构设计
ControlNet 由 Zhang et al. (2023) 提出,旨在为预训练的文本到图像扩散模型添加空间结构条件(如边缘、深度、姿态、语义分割图),同时保持原模型的生成能力与知识10。
核心设计思想:
- 锁定原模型(Locking):冻结预训练扩散模型(如 SD 1.5)的全部参数,保留其经过数十亿图像训练的强先验知识。
- 可训练副本(Trainable Copy):创建原模型编码器(Encoder)和中间块(Middle Block)的可训练副本,用于学习条件控制。
- 零卷积(Zero Convolution):用权重和偏置都初始化为零的 $1 \times 1$ 卷积层连接副本与原始模型。初始阶段,副本输出为零,确保训练开始时不会破坏原模型的稳定性;随着训练进行,参数逐渐增长,控制信号平滑注入。
用公式表示,对原模型中的某个网络块 $\mathcal{F}(\cdot; \Theta)$,加上 ControlNet 后的输出为:
$$y_c = \mathcal{F}(x; \Theta) + \mathcal{Z}\left( \mathcal{F}\left( x + \mathcal{Z}(c; \Theta_{z1}); \Theta_c \right); \Theta_{z2} \right)$$| 符号 | 含义 |
|---|---|
| $\Theta$ | 原模型参数(冻结) |
| $\Theta_c$ | 可训练副本的参数(用 $\Theta$ 初始化) |
| $\mathcal{Z}(\cdot; \Theta_{z1})$、$\mathcal{Z}(\cdot; \Theta_{z2})$ | 两个零卷积 |
| $c$ | 条件特征 |
训练第一步时两个零卷积都输出 0,所以 $y_c = \mathcal{F}(x; \Theta)$,模型行为与原模型完全一致。零初始化并不会让网络“学不动”:零卷积的权重梯度与其输入成正比,而输入不为零,因此第一次更新后权重就会离开零点。
graph TB
subgraph ControlNet 架构
C[条件图像
如边缘/深度/姿态]
CE[条件编码器
4层卷积]
ZC1[零卷积
1×1 Conv, 初始化为0]
ENC[可训练编码器副本
Copy of SD Encoder]
MID[可训练中间块副本
Copy of SD Middle Block]
ZC2[零卷积
1×1 Conv, 初始化为0]
ADD[逐元素相加
接入 SD Decoder]
end
subgraph 冻结的 Stable Diffusion
SD_ENC[SD Encoder
冻结]
SD_MID[SD Middle Block
冻结]
SD_DEC[SD Decoder
冻结]
OUT[最终输出]
end
C --> CE
CE --> ZC1
ZC1 --> ENC
ENC --> MID
MID --> ZC2
ZC2 --> ADD
SD_ENC --> SD_MID --> SD_DEC
SD_DEC --> ADD
ADD --> OUT
4.1.2 训练方式与条件控制机制
ControlNet 的训练目标是潜空间中的噪声预测:
$$\mathcal{L}_{\text{ControlNet}} = \mathbb{E}_{z_0, t, c_{\text{text}}, c_{\text{cond}}, \epsilon} \left[ \left\| \epsilon - \epsilon_\theta(z_t, t, c_{\text{text}}, c_{\text{cond}}) \right\|^2 \right]$$| 符号 | 含义 |
|---|---|
| $c_{\text{cond}}$ | 空间条件(如 Canny 边缘图、OpenPose 骨架)经编码器后的特征 |
| $c_{\text{text}}$ | 文本条件嵌入 |
| $\epsilon_\theta$ | 原 SD U-Net 与 ControlNet 副本的联合输出 |
条件图像(如 $512 \times 512$)首先通过一个 4 层卷积小网络($4 \times 4$ 卷积核、步长 2)转换为与 SD 潜空间分辨率一致的 $64 \times 64$ 特征图,然后经零卷积加到可训练编码器的输入上。可训练编码器各层与中间块的输出再通过零卷积,加到原 SD U-Net 解码器对应层级的跳跃连接(以及中间块)上,形成多尺度残差控制。
训练时,在 50% 的样本中丢弃文本提示,迫使 ControlNet 直接从空间条件推断语义内容,增强鲁棒性。ControlNet 可在小数据集(<50k)上训练,也支持百万级数据扩展。
4.1.3 支持的控制类型与使用建议
| 控制类型 | 输入 | 适用场景 |
|---|---|---|
| Canny | 边缘检测图 | 精确轮廓控制、线稿上色 |
| Depth | 深度估计图 | 三维空间感、场景构图 |
| Normal | 法线贴图 | 表面朝向、光照一致性 |
| OpenPose | 人体骨架 | 人物姿态、动作生成 |
| MLSD | 直线段检测 | 建筑、室内设计 |
| HED | 软边缘 | 自然轮廓、艺术风格 |
| Scribble | 用户涂鸦 | 快速草图到图像 |
| Semantic Segmentation | 语义分割图 | 场景布局、物体放置 |
| Reference(注) | 参考图像 | 风格迁移、内容一致 |
注:Reference-only 是 WebUI ControlNet 扩展中的一种无需训练的注意力注入预处理器,并非单独训练的 ControlNet 模型,详见 4.3.2。
关键参数:
controlnet_conditioning_scale(控制强度):$0.0$ 到 $2.0$,越高控制越严格,但可能削弱文本创造性。guess_mode:无需提示词,让 ControlNet 自行推断。
注意事项:
- ControlNet 必须与匹配的 SD 版本配合使用(SD 1.5 ControlNet 不能用于 SDXL)。
- 多 ControlNet 可叠加使用(如 Canny + Depth + OpenPose),但需平衡各控制强度。
- 控制图分辨率应与目标输出分辨率匹配(SD 1.5 通常为 $512 \times 512$)。
4.1.4 PyTorch 代码示例
| |
4.2 T2I-Adapter:轻量级结构适配
4.2.1 设计动机与架构
T2I-Adapter 由 Mou et al.(腾讯 ARC Lab 等,AAAI 2024)提出,目标是提供比 ControlNet 更轻量、更高效的适配方法11。其关键洞察是:
- 无需复制整个编码器:ControlNet 的可训练副本参数量大(SD 1.5 版约 3.6 亿,SDXL 版约 12.5 亿),训练与推理开销高。
- 特征提取一次即可:Adapter 的输入只有条件图像,不依赖带噪的 $z_t$ 和时间步 $t$,因此整个采样过程只需运行一次,其输出可在所有去噪步骤中复用;ControlNet 的副本则以 $z_t$ 为输入,每一步都要重新计算。
T2I-Adapter(SD 1.5 版)仅包含约 77M 参数(约为同版本 ControlNet 的 1/5;SDXL 版约 79M),由简单的下采样卷积网络构成:
- 输入:条件图像(如边缘图、深度图、草图)。
- 处理:4 层卷积下采样块提取多尺度特征(分辨率分别为 $64\times64$, $32\times32$, $16\times16$, $8\times8$)。
- 注入:将这些特征作为
down_block_additional_residuals直接添加到冻结 SD U-Net 编码器各层的输出中。
graph LR
C[条件图像
如草图/边缘]
A1[Conv + Down
64×64]
A2[Conv + Down
32×32]
A3[Conv + Down
16×16]
A4[Conv + Down
8×8]
SD[冻结的 SD U-Net]
D1[Encoder 层1]
D2[Encoder 层2]
D3[Encoder 层3]
D4[Encoder 层4]
C --> A1 --> A2 --> A3 --> A4
A1 -->|+ 残差| D1
A2 -->|+ 残差| D2
A3 -->|+ 残差| D3
A4 -->|+ 残差| D4
D1 --> D2 --> D3 --> D4 --> SD_DEC[Decoder]
4.2.2 特点与使用场景
| 特性 | T2I-Adapter | ControlNet |
|---|---|---|
| 参数量 | 约 77M(SD 1.5)/ 79M(SDXL) | 约 361M(SD 1.5)/ 1251M(SDXL) |
| 训练速度 | 较快(参数少) | 较慢 |
| 推理开销 | 很低(整个采样只运行一次) | 较高(每个去噪步都要运行副本编码器) |
| 控制精度 | 略低于 ControlNet | 更高(像素级控制) |
| 组合能力 | 多个 Adapter 可简单相加 | 多 ControlNet 需并行推理 |
| 适用场景 | 资源受限环境、快速原型、风格控制 | 精确结构控制、生产级应用 |
T2I-Adapter 支持多种条件:Sketch、Canny、Lineart、OpenPose、Depth(Zoe/MiDaS)、Color、Style。多个 Adapter 可在推理时线性组合(权重相加),实现如“边缘 + 颜色 + 姿态”的复合控制。
4.2.3 PyTorch 代码示例
| |
4.3 IP-Adapter 与 Reference-only 图像条件控制
4.3.1 IP-Adapter 的解耦交叉注意力
IP-Adapter(Image Prompt Adapter)由 Ye et al. (2023) 提出,解决的是**图像提示(image prompt)**问题:如何用一张参考图像引导生成图像的风格、内容或人物身份,而无需重新训练整个模型12。
核心创新是解耦交叉注意力(Decoupled Cross-Attention):
- 保留原始的文本交叉注意力层不变(冻结)。
- 参考图像先经冻结的 CLIP 图像编码器提取全局嵌入,再由一个小的可训练投影网络映射为若干个(默认 4 个)“图像 token”。
- 在每个 U-Net 的交叉注意力块中,新增一个图像分支:与文本分支共享 Query,只为图像 token 学习新的 Key 和 Value 投影矩阵。
- 输出为两个交叉注意力的加权和:
| 符号 | 含义 |
|---|---|
| $Q = z W_Q$ | 图像特征查询(来自 U-Net) |
| $K_T = c_T W_K$, $V_T = c_T W_V$ | 文本条件 Key/Value(冻结) |
| $K_I = c_I W_K'$, $V_I = c_I W_V'$ | 图像条件 Key/Value(仅 $W_K', W_V'$ 可训练) |
| $c_I$ | CLIP 图像编码器提取的参考图像嵌入 |
| $\lambda$ | 图像条件强度权重 |
| $z$ | U-Net 中间特征 |
IP-Adapter 仅新增约 22M 参数,训练时冻结 U-Net、VAE、文本编码器和图像编码器,只训练图像投影网络和新增的 $W_K', W_V'$,效率极高。之所以要“解耦”,是因为如果直接把图像 token 拼接到文本 token 后面、共用原来的 $W_K, W_V$,图像特征很难与为文本训练的投影对齐,效果会差很多。推理时设 $\lambda = 0$ 即退化为原始的文本到图像模型。
4.3.2 Reference-only 与 FaceID 变体
- IP-Adapter-FaceID:专门用于人物身份保持。使用人脸编码器(如 InsightFace)提取身份嵌入,替代 CLIP 图像编码器,实现更精确的人物一致性。
- Reference-only:一种无需训练的控制方式,通过在去噪过程中将参考图像的注意力特征(K/V)注入到目标生成分支,实现零样本风格/内容迁移。常用于 Stable Diffusion WebUI 的 “Reference” 控制类型。
4.3.3 使用场景与组合策略
| 场景 | 推荐方法 | 说明 |
|---|---|---|
| 风格迁移 | IP-Adapter + ControlNet | ControlNet 控结构,IP-Adapter 控风格 |
| 人物一致性 | IP-Adapter-FaceID | 保持面部身份,改变姿势/背景 |
| 虚拟试衣 | IP-Adapter + GarmentNet | 参考衣物图像,生成穿着效果 |
| 品牌视觉统一 | IP-Adapter + 文本提示 | 多图生成保持相同色调/风格 |
IP-Adapter 与 ControlNet、T2I-Adapter 天然兼容,可并行使用。例如:ControlNet(Canny) + IP-Adapter(风格参考) 可实现“指定结构 + 指定风格”的精确控制。
4.3.4 PyTorch 代码示例
| |
4.4 Inpainting 与 Outpainting
4.4.1 Inpainting:局部重绘
Inpainting(图像修复/局部重绘)的目标是根据掩码 $M$ 指定的区域,生成与周围环境一致的新内容。在扩散模型框架中,Inpainting 的实现方式有两种:
方法1:专用 Inpainting 模型(如 SD-Inpainting、SDXL-Inpainting)
- 修改 U-Net 的输入通道:将噪声潜变量 $z_t$、被遮挡后的原图的潜编码 $z_{\text{masked}}$(先把掩码区域抹掉再经 VAE 编码)、以及下采样到潜空间分辨率的掩码 $M_z$ 沿通道拼接作为输入。
- 输入通道数从 4 变为 9($z_t: 4$ + $z_{\text{masked}}: 4$ + $M_z: 1$),新增通道对应的权重初始化为零,从原模型继续训练。
- 训练时,模型学习在掩码区域内生成内容,同时保留掩码区域外的原始结构。
方法2:重绘采样(Repainting / Diffusion Inpainting)
- 使用标准(非专用)扩散模型,无需额外训练。每完成一步去噪($t \to t-1$),就把未掩码区域强制替换为原始图像在同一噪声水平下的加噪版本:
| 符号 | 含义 |
|---|---|
| $M_z$ | 潜空间中的二值掩码(1 表示需生成区域,0 表示保留区域) |
| $\odot$ | 逐元素乘法 |
| $z_{t-1}^{\text{pred}}$ | 模型从 $z_t$ 做一步去噪得到的潜变量 |
| $z_{\text{orig}}$ | 原始图像的 VAE 编码 |
这种做法的问题是:掩码区域只“看到”已知区域的加噪版本,两侧在语义上可能不协调。RePaint(Lugmayr et al., 2022)13 在此基础上加入重采样:每走一步后,再把结果重新加噪回去、反复几次“去噪-加噪”,让已知区域的信息充分传播到掩码区域,明显改善边界的一致性。
关键参数:
denoising_strength(重绘幅度):$0.0$ 表示完全保留原图,$1.0$ 表示完全重新生成。推荐 $0.5 \sim 0.8$。它的原理与 SDEdit 相同(见 4.6.1):先把原图加噪到 $t_0 \approx \text{strength} \cdot T$,再只从 $t_0$ 开始去噪。- 掩码边缘羽化(feathering):避免生成内容与原始内容边界生硬。
4.4.2 Outpainting:图像外扩
Outpainting(图像外扩/扩图)将画布尺寸扩大,在原始图像边界外生成新内容。实现方式:
- 将画布扩展为目标尺寸,原始图像置于中心(或偏移位置)。
- 将空白区域视为“全掩码”,原始图像区域为“无掩码”。
- 使用 Inpainting 模型或标准扩散模型 + 掩码约束,在空白区域生成与原始内容连贯的新像素。空白区域没有可保留的原始内容,因此这一步通常需要满强度(strength $= 1.0$)生成,并最好使用专用 Inpainting 模型。
- 生成后,可以再对接缝附近做一次较低强度(如 $0.3 \sim 0.5$)的局部重绘,平滑融合边界。
4.4.3 PyTorch 代码示例(Inpainting)
| |
4.5 LoRA 与 DreamBooth:扩散模型微调
4.5.1 LoRA(Low-Rank Adaptation)
LoRA 最初由 Hu et al. (2022)14 为 LLM 提出,后被广泛应用于扩散模型微调。其核心假设是:微调带来的权重变化 $\Delta W$ 是低秩的。因此在冻结原模型权重 $W_0 \in \mathbb{R}^{d \times k}$ 的同时,只训练低秩分解矩阵 $B \in \mathbb{R}^{d \times r}$ 和 $A \in \mathbb{R}^{r \times k}$,其中秩 $r \ll \min(d, k)$:
$$W = W_0 + \frac{\alpha}{r} B A$$| 符号 | 含义 |
|---|---|
| $W_0$ | 预训练权重矩阵(冻结) |
| $B, A$ | 可训练的低秩矩阵,$r$ 通常为 $4 \sim 64$;$A$ 随机高斯初始化,$B$ 初始化为零,因此训练开始时 $\Delta W = 0$ |
| $\alpha$ | 缩放超参数(即 peft 中的 lora_alpha),实际缩放为 $\alpha / r$;常取 $\alpha = r$(缩放为 1)或 $\alpha = 2r$ |
| $W$ | 有效的前向传播权重 |
一个 $d \times k$ 的矩阵本来有 $dk$ 个参数,LoRA 只需训练 $r(d + k)$ 个。在扩散模型中,LoRA 通常应用于 U-Net(或 DiT)注意力层(自注意力和交叉注意力)的 $W_Q, W_K, W_V, W_O$,有时也包括前馈层和文本编码器。其优势包括:
- 参数高效:通常只训练原模型 $1\%$ 以下的参数(SD 1.5 的 LoRA 文件一般为几 MB 到上百 MB,取决于秩和覆盖的层)。
- 可插拔:训练好的 LoRA 权重可在推理时动态加载/卸载,不修改基础模型;也可以把 $\frac{\alpha}{r} B A$ 直接合并进 $W_0$,不增加任何推理开销。
- 组合性:多个 LoRA 可叠加使用(如“人物 LoRA + 风格 LoRA”)。
训练建议:
- 学习率:$10^{-4} \sim 5 \times 10^{-4}$(通常高于全模型微调)。
- 秩 $r$:$4 \sim 16$ 适合特定对象/风格;$32 \sim 64$ 适合复杂概念。
- 数据集:$5 \sim 20$ 张高质量图像即可训练个性化 LoRA。
4.5.2 DreamBooth:实例级个性化
DreamBooth 由 Google Research 提出,目标是用极少图像(通常 3-5 张)将特定概念(如一只宠物、一个人)注入扩散模型,使其能通过独特标识词(identifier)生成该概念在不同场景下的图像15。
训练策略:
- 使用罕见 token(如
sks)作为概念标识符,与类别名称组合(如a photo of sks dog)。 - 同时优化两项损失:
- 实例重建损失:在 3–5 张主体图像上,以
a photo of sks dog为条件做标准的去噪训练,让模型把标识符sks与该主体绑定。 - 类别先验保留损失(prior preservation loss):先用原始模型以
a photo of dog生成一批同类图像,训练时以它们为监督。这能防止模型“语言漂移”(把所有狗都画成这只狗)和遗忘类别的多样性。
- 实例重建损失:在 3–5 张主体图像上,以
写成公式(用本笔记的 $\epsilon$-预测记号):
$$\mathcal{L}_{\text{DB}} = \mathbb{E}\left[ \left\| \epsilon - \epsilon_\theta(z_t, t, c_{\text{inst}}) \right\|^2 \right] + \lambda \, \mathbb{E}\left[ \left\| \epsilon' - \epsilon_\theta(z'_{t'}, t', c_{\text{cls}}) \right\|^2 \right]$$| 符号 | 含义 |
|---|---|
| $z_t$ | 主体图像潜变量的加噪版本 |
| $z'_{t'}$ | 原模型生成的类别图像潜变量的加噪版本 |
| $c_{\text{inst}}$、$c_{\text{cls}}$ | “a [V] dog” 与 “a dog” 的文本嵌入 |
| $\lambda$ | 先验保留损失的权重(论文取 1) |
- 原始 DreamBooth 对整个模型做全参数微调(产出完整的模型权重,SD 1.5 约 2–4 GB),现代实践通常采用 DreamBooth + LoRA(即用 LoRA 参数化去优化 DreamBooth 的目标),大幅降低显存和存储需求。
| 方法 | 训练参数 | 显存需求 | 文件大小 | 适用场景 |
|---|---|---|---|---|
| Full DreamBooth | 全部 U-Net + 文本编码器 | 24GB+ | ~4GB | 最高质量、完整风格学习 |
| DreamBooth + LoRA | 注意力层低秩矩阵 | 12-16GB | 3-50MB | 平衡质量与效率,推荐 |
| Textual Inversion | 仅新词的文本嵌入 | 8GB | 几 KB | 快速概念绑定,质量较低 |
| LoRA Only | 低秩矩阵 | 8-12GB | 3-50MB | 风格迁移、人物微调 |
4.5.3 Textual Inversion:只学一个“新词”
Textual Inversion(Gal et al., 2023)16 走的是另一个极端:模型的所有权重都冻结,只为新概念学习一个新的词嵌入向量。具体做法是在词表中加入一个占位符 $S_*$(如 <my-cat>),用 3–5 张图像优化它的嵌入 $v_*$:
| 符号 | 含义 |
|---|---|
| $y$ | 含占位符的提示模板,如 “a photo of $S_*$” |
| $\tau_\theta(y; v)$ | 把 $S_*$ 的嵌入替换为 $v$ 后的文本编码 |
| $v$ | 唯一被优化的参数(SD 1.x 中是一个 768 维向量) |
由于只学习一个嵌入,产物只有几 KB,且可以和其他提示词自由组合;但表达能力受限于“原模型能用一个词描述到什么程度”,对复杂主体的还原度通常不如 DreamBooth 或 LoRA。
4.5.4 PyTorch 代码示例(LoRA 训练)
| |
4.6 基于扩散的图像编辑:SDEdit、DDIM 反演、Prompt-to-Prompt 与 InstructPix2Pix
前面的方法主要解决“生成时如何控制”,这一节关注“如何修改一张已有的图像”。
4.6.1 SDEdit:加噪再去噪(img2img 的原理)
SDEdit(Meng et al., 2022)17 的思路非常简单:把输入图像(可以是一张照片,也可以是粗糙的涂鸦)加噪到某个中间时刻 $t_0$,再从 $t_0$ 开始正常去噪:
$$z_{t_0} = \sqrt{\bar{\alpha}_{t_0}} \, z_{\text{input}} + \sqrt{1 - \bar{\alpha}_{t_0}} \, \epsilon, \quad \epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$$加噪会抹掉细节但保留整体布局与颜色,去噪过程则在扩散模型先验的引导下把细节“补”成真实图像。$t_0$ 控制真实感与忠实度的权衡:$t_0$ 越大,结果越自然、越符合文本,但与输入差别越大;$t_0$ 越小,越贴近输入。WebUI 和 diffusers 中的 img2img strength 参数就是 $t_0 / T$。
4.6.2 DDIM 反演与 Null-text Inversion
如果希望“只改一处、其余尽量不变”,需要先找到一个能精确重建原图的初始噪声。DDIM($\eta = 0$)是确定性的 ODE 采样(见 2.2 节),可以把它“倒着跑”,从 $z_0$ 逐步得到 $z_T$:
$$z_{t+1} = \sqrt{\bar{\alpha}_{t+1}} \, \hat{z}_0(z_t) + \sqrt{1 - \bar{\alpha}_{t+1}} \, \epsilon_\theta(z_t, t), \qquad \hat{z}_0(z_t) = \frac{z_t - \sqrt{1 - \bar{\alpha}_t} \, \epsilon_\theta(z_t, t)}{\sqrt{\bar{\alpha}_t}}$$这里用 $\epsilon_\theta(z_t, t)$ 近似本应在 $z_{t+1}$ 处计算的噪声,步长足够小时误差不大。但在文本条件模型中使用较大的 CFG 尺度时,误差会逐步累积,重建结果明显偏离原图。Null-text Inversion(Mokady et al., 2023)18 的做法是:以无引导的 DDIM 反演轨迹为“锚点”,在每个时间步优化无条件分支使用的空文本嵌入 $\emptyset_t$,使带 CFG 的采样轨迹贴合锚点轨迹,从而在保留编辑能力的同时实现近乎完美的重建。
4.6.3 Prompt-to-Prompt:编辑交叉注意力图
Hertz et al.(2023)19 观察到:图像的空间布局主要由交叉注意力图决定(见 3.6.2)。因此只要固定初始噪声,并在用新提示词生成时注入原提示词的注意力图,就能保持构图不变、只改变语义。常见的三类操作:
| 操作 | 示例 | 做法 |
|---|---|---|
| 词语替换 | “a cat” → “a dog” | 在前若干步把新词的注意力图替换为原词的注意力图 |
| 添加短语 | “a car” → “a red car” | 对原有 token 沿用原注意力图,新 token 使用自己的注意力图 |
| 注意力重加权 | 让“毛茸茸”更明显 | 放大或缩小某个 token 的注意力图 |
配合 Null-text Inversion,Prompt-to-Prompt 也可以用于编辑真实照片。
4.6.4 InstructPix2Pix:按指令编辑
InstructPix2Pix(Brooks et al., 2023)20 直接训练一个“图像 + 编辑指令 → 编辑后图像”的条件扩散模型。训练数据是自动生成的:先用微调过的 GPT-3 生成“原描述 / 编辑指令 / 新描述”三元组,再用 Stable Diffusion + Prompt-to-Prompt 生成对应的成对图像。模型把输入图像的潜变量沿通道拼接到 $z_t$ 上,并在采样时对图像条件 $c_I$ 和文本指令 $c_T$ 分别使用引导尺度:
$$\tilde{\epsilon}_\theta(z_t, c_I, c_T) = \epsilon_\theta(z_t, \emptyset, \emptyset) + s_I \left( \epsilon_\theta(z_t, c_I, \emptyset) - \epsilon_\theta(z_t, \emptyset, \emptyset) \right) + s_T \left( \epsilon_\theta(z_t, c_I, c_T) - \epsilon_\theta(z_t, c_I, \emptyset) \right)$$| 符号 | 含义 |
|---|---|
| $s_I$ | 图像引导尺度:越大,结果越贴近输入图像 |
| $s_T$ | 文本引导尺度:越大,编辑越强烈 |
| $\emptyset$ | 对应条件被置空(训练时两种条件分别随机丢弃) |
这是 CFG 向多条件情形的自然推广。推理时只需一次前向扩散采样,不需要反演或针对单张图的优化。
| 方法 | 是否需要训练 | 是否需要反演 | 擅长的编辑 |
|---|---|---|---|
| SDEdit / img2img | 否 | 否(直接加噪) | 风格化、由草图生成、整体重绘 |
| Prompt-to-Prompt(+ Null-text Inversion) | 否 | 编辑真实照片时需要 | 保持构图的语义替换、属性修改 |
| InstructPix2Pix | 是(一次性训练) | 否 | 自然语言指令式编辑 |
| Inpainting(4.4 节) | 可选 | 否 | 局部区域重绘 |
4.7 方法对比总结与应用选型
| 方法 | 控制粒度 | 训练成本 | 推理开销 | 参数修改 | 典型应用 |
|---|---|---|---|---|---|
| Classifier Guidance | 属性/类别 | 高(需训练分类器) | 中 | 无 | 无条件模型条件化 |
| CFG | 文本/类别 | 低(训练时丢弃条件) | 高(2x 前向) | 无 | 所有现代 T2I 模型标配 |
| ControlNet | 空间结构 | 中(副本训练) | 高(每步运行副本) | 新增副本 | 精确姿态/边缘/深度控制 |
| T2I-Adapter | 空间结构 | 低(轻量网络) | 低 | 无(新增残差) | 快速结构控制、资源受限场景 |
| IP-Adapter | 图像风格/内容 | 低(22M 参数) | 低 | 新增交叉注意力层 | 风格迁移、人物一致性 |
| LoRA | 概念/风格/人物 | 低(1% 参数) | 无(加载权重) | 低秩更新 | 个性化生成、社区模型 |
| DreamBooth | 实例概念 | 中(全参数或 LoRA) | 无 | 全部或低秩 | 特定对象/宠物/人物 |
| Textual Inversion | 概念/风格 | 低(只学一个嵌入) | 无 | 无(新增词嵌入) | 轻量概念绑定 |
| Inpainting/Outpainting | 像素级 | 无(重绘采样)或中(专用模型) | 中 | 无 | 图像修复、画布扩展 |
| SDEdit / P2P / InstructPix2Pix | 整图/语义 | 无(SDEdit、P2P)或一次性训练(IP2P) | 中(P2P 编辑真实图需反演) | 无 | 风格化、语义替换、指令编辑 |
选型建议:
- 精确结构控制(如让角色摆出特定姿势):ControlNet + OpenPose/Depth。
- 快速风格迁移:IP-Adapter + 文本提示。
- 个性化人物/物体:DreamBooth + LoRA(3–10 张图即可)。
- 修改已有图像:整体风格化用 SDEdit(img2img),保持构图的语义替换用 Prompt-to-Prompt,自然语言指令用 InstructPix2Pix,局部修改用 Inpainting。
- 资源受限环境:T2I-Adapter 替代 ControlNet,或直接使用 LoRA 微调。
- 复杂多条件生成:组合使用
ControlNet(结构) + IP-Adapter(风格) + LoRA(人物)。
参考文献
Dhariwal, P., & Nichol, A. (2021). Diffusion models beat GANs on image synthesis. Advances in Neural Information Processing Systems (NeurIPS), 34, 8780-8794. ↩︎
Ho, J., & Salimans, T. (2022). Classifier-free diffusion guidance. arXiv preprint arXiv:2207.12598. ↩︎
Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10684-10695. ↩︎
Podell, D., English, Z., Lacey, K., et al. (2024). SDXL: Improving latent diffusion models for high-resolution image synthesis. ICLR(arXiv:2307.01952, 2023). ↩︎
Peebles, W., & Xie, S. (2023). Scalable diffusion models with transformers. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 4195-4205. ↩︎
Esser, P., Kulal, S., Blattmann, A., et al. (2024). Scaling rectified flow transformers for high-resolution image synthesis. Proceedings of the 41st International Conference on Machine Learning (ICML). ↩︎
Liu, X., Gong, C., & Liu, Q. (2023). Flow straight and fast: Learning to generate and transfer data with rectified flow. International Conference on Learning Representations (ICLR)(arXiv:2209.03003, 2022). ↩︎
Black Forest Labs. (2024). FLUX.1 model release(官方博客与 GitHub 仓库 black-forest-labs/flux;该系列未发布独立的技术报告论文). ↩︎
Sauer, A., Boesel, F., Dockhorn, T., Blattmann, A., Esser, P., & Rombach, R. (2024). Fast high-resolution image synthesis with latent adversarial diffusion distillation. arXiv preprint arXiv:2403.12015. ↩︎
Zhang, L., Rao, A., & Agrawala, M. (2023). Adding conditional control to text-to-image diffusion models. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 3836-3847. ↩︎
Mou, C., Wang, X., Xie, L., et al. (2024). T2I-Adapter: Learning adapters to dig out more controllable ability for text-to-image diffusion models. AAAI(arXiv:2302.08453, 2023). ↩︎
Ye, H., Zhang, J., Liu, S., et al. (2023). IP-Adapter: Text compatible image prompt adapter for text-to-image diffusion models. arXiv preprint arXiv:2308.06721. ↩︎
Lugmayr, A., Danelljan, M., Romero, A., Yu, F., Timofte, R., & Van Gool, L. (2022). RePaint: Inpainting using denoising diffusion probabilistic models. CVPR. ↩︎
Hu, E. J., Shen, Y., Wallis, P., et al. (2022). LoRA: Low-rank adaptation of large language models. International Conference on Learning Representations (ICLR). ↩︎
Ruiz, N., Li, Y., Jampani, V., et al. (2023). DreamBooth: Fine tuning text-to-image diffusion models for subject-driven generation. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 22500-22510. ↩︎
Gal, R., Alaluf, Y., Atzmon, Y., Patashnik, O., Bermano, A. H., Chechik, G., & Cohen-Or, D. (2023). An image is worth one word: Personalizing text-to-image generation using textual inversion. ICLR. ↩︎
Meng, C., He, Y., Song, Y., Song, J., Wu, J., Zhu, J.-Y., & Ermon, S. (2022). SDEdit: Guided image synthesis and editing with stochastic differential equations. ICLR. ↩︎
Mokady, R., Hertz, A., Aberman, K., Pritch, Y., & Cohen-Or, D. (2023). Null-text inversion for editing real images using guided diffusion models. CVPR. ↩︎
Hertz, A., Mokady, R., Tenenbaum, J., Aberman, K., Pritch, Y., & Cohen-Or, D. (2023). Prompt-to-prompt image editing with cross attention control. ICLR. ↩︎
Brooks, T., Holynski, A., & Efros, A. A. (2023). InstructPix2Pix: Learning to follow image editing instructions. CVPR. ↩︎
