视觉潜空间

模型 任务目标 训练损失
VAE 图像压缩与重建,学习连续潜空间 Reconstruction Loss + KL Loss
VQ-VAE 图像压缩与重建,学习离散潜空间 Reconstruction Loss + Codebook Loss + Commitment Loss
VQGAN 高质量图像压缩与重建,学习离散视觉 Token Perceptual Loss + Codebook Loss + Adversarial Loss

VAE

[1312.6114] Auto-Encoding Variational Bayes

核心思想: 将输入映射为潜变量的概率分布,通过采样获得 Latent Representation,再利用 Decoder 重建数据,同时通过 KL Divergence 约束潜空间,使其形成连续且规整的分布,从而实现数据生成

后续扩散模型其实大部分还是采用预训练 VAE

模型架构

VAE 采用 Encoder-Decoder 结构:

  • Encoder:将输入映射为高斯分布的参数,包括均值 $\mu$ 和标准差 $\sigma$
  • Sampling:通过重参数化技巧,从潜变量分布中采样得到 $z$
  • Decoder:根据潜变量 $z$ 重建原始输入。

与普通 Autoencoder 不同,VAE 输出的是概率分布,而不是确定性的特征向量

重参数化

为了使随机采样过程能够进行梯度反向传播,VAE 将采样过程表示为:

$$ z=\mu+\sigma\odot\epsilon,\quad \epsilon\sim\mathcal N(0,I) $$
其中,$\mu$ 和 $\sigma$ 由 Encoder 输出,$\epsilon$ 从标准正态分布中随机采样

核心作用: 将随机性转移到独立噪声变量,使模型能够通过反向传播更新 Encoder 参数

Loss Function(ELBO)

VAE 通过最大化 ELBO 进行训练,实际通常最小化其负值:

$$ \mathcal L_{\mathrm{VAE}}=\mathcal L_{\mathrm{recon}}+D_{\mathrm{KL}}(q_\phi(z|x)\|p(z)) $$
包含两个部分:
  • Reconstruction Loss:保证 Decoder 能够根据潜变量重建原始数据
  • KL Divergence:约束近似后验分布接近标准正态先验,使潜空间更加连续、规整

通常采用标准正态分布作为先验:

$$ p(z)=\mathcal N(0,I) $$
### 生成过程

训练完成后,可以直接从标准正态分布采样潜变量,再输入 Decoder 生成新数据:

1
2
3
4
5
z ~ N(0, I)
↓
Decoder
↓
Generated Data

VQ-VAE

[1711.00937] Neural Discrete Representation Learning

核心思想: 将 Encoder 输出的连续特征映射到 Codebook 中距离最近的 Embedding,得到离散潜变量,再通过 Decoder 重建输入,从而学习离散潜空间

Vector Quantization(向量量化)

VQ-VAE 保留 Encoder-Decoder 结构,但在两者之间引入 Codebook:

  1. Encoder 将输入映射为连续特征 $z_e(x)$
  2. 通过 Codebook 查找距离最近的 Embedding
  3. 将对应的 Embedding 作为离散化后的潜变量 $z_q(x)$
  4. Decoder 根据量化后的潜变量重建输入
image-20260922215138414

Codebook 包含 $K$ 个 $D$ 维 Embedding:

$$ e\in\mathbb R^{K\times D} $$

最近邻量化过程:

$$ k=\arg\min_j\|z_e(x)-e_j\|_2,\quad z_q(x)=e_k $$
本质上很像 NLP 中的
1
2
3
4
5
Token ID
↓
Embedding Table
↓
Token Embedding

而 VQ-VAE 在编码阶段相当于反过来

1
2
3
4
5
Encoder Feature
↓
寻找最近的 Embedding
↓
得到 Code Index

模型自己学习了一套离散表示,使得连续空间变成了有限的离散状态

Straight-Through Estimator(直通梯度估计)

最近邻量化涉及离散索引选择,无法直接进行梯度反向传播

VQ-VAE 引入 STE:

  • Forward: 正常执行最近邻量化,将 $z_q(x)$ 输入 Decoder
  • Backward: 将 Decoder 输入端的梯度直接复制到 Encoder 输出 $z_e(x)$,跳过量化操作

近似认为:

$$ \frac{\partial z_q}{\partial z_e}\approx 1 $$

核心作用: 使梯度能够跨越不可微分的量化操作,更新 Encoder 参数

Loss Function

VQ-VAE 的训练目标包含三个部分:

$$ \mathcal L_{\mathrm{VQ-VAE}}=\mathcal L_{\mathrm{recon}}+\|\operatorname{sg}[z_e(x)]-e_k\|_2^2+\beta\|z_e(x)-\operatorname{sg}[e_k]\|_2^2 $$
其中 $\operatorname{sg}$ 表示 Stop Gradient,前向计算保持恒等映射,反向传播时不传递梯度
  • Reconstruction Loss:保证 Decoder 能够根据量化后的潜变量重建原始输入,通过 STE 更新 Encoder 和 Decoder

  • Codebook Loss:使 Codebook 中的 Embedding 向 Encoder 输出靠近

  • Commitment Loss:约束 Encoder 输出靠近选中的 Embedding,避免 Encoder 特征不断偏离 Codebook

Loss Encoder Codebook Decoder
Reconstruction Loss ✓ × ✓
Codebook Loss × ✓ ×
Commitment Loss ✓ × ×

相比 VAE,不再使用标准正态分布的 KL 正则化,而是通过 Codebook 学习离散潜变量

VQ-VAE 的核心: 通过可学习的 Codebook 将连续视觉特征离散化,使图像能够表示为离散 Token 序列,为后续 VQGAN 和基于 Transformer 的视觉生成模型奠定基础

VQGAN

[2012.09841] Taming Transformers for High-Resolution Image Synthesis

核心思想: 在 VQ-VAE 的离散潜空间基础上,引入 Perceptual Loss 和 GAN 对抗训练,提高图像压缩后的感知质量,再使用 Transformer 建模离散视觉 Token 之间的关系,实现高分辨率图像生成

Perceptual Compression(感知压缩)

VQ-VAE 使用 Pixel-level Reconstruction Loss,直接约束重建图像与原始图像之间的像素差异,但在较高压缩率下容易损失细节,产生模糊的重建结果

VQGAN 对此进行了两项改进:

  • Perceptual Loss:利用预训练特征网络提取图像特征,约束重建图像与原始图像在感知特征空间中的差异。
  • Patch-based Discriminator:引入基于图像块的判别器,通过对抗训练提高重建图像的真实性

Loss Function

VQGAN 在原有 VQ-VAE 损失基础上,将像素级重建损失替换为感知重建损失,并增加 GAN 对抗损失:

$$ \mathcal L= \mathcal L_{\mathrm{VQ-VAE}} +\lambda\mathcal L_{\mathrm{GAN}} $$

其中:

  • $\mathcal L_{\mathrm{VQ}}$:包含感知重建损失、Codebook Loss 和 Commitment Loss
  • $\mathcal L_{\mathrm{GAN}}$:通过判别器区分真实图像和重建图像
  • $\lambda$:自适应调整对抗损失的权重,根据 Decoder 最后一层的梯度平重建目标与对抗目标

核心作用: 在较高压缩率下,尽可能保留图像的感知质量和细节真实性

Transformer 建模

VQGAN 的另一个重要贡献是使用 Transformer 建模离散视觉 Token 之间的依赖关系

整体分为两个阶段:

Stage 1:训练 VQGAN

  1. CNN Encoder 提取图像特征
  2. 通过 Codebook 进行向量量化,得到离散视觉 Token
  3. Decoder 根据量化特征重建图像

Stage 2:训练 Transformer

  1. 将图像转换为离散 Token 序列(Codebook编号序列)
  2. 使用自回归 Transformer 学习 Token 之间的组合关系
  3. 根据前面的 Token 预测下一个 Token

其生成过程可以表示为:

$$ p(s)=\prod_i p(s_i|s_{<i}) $$
生成时,先由 Transformer 自回归生成离散 Token,再通过 Codebook 查找对应 Embedding,最后输入 Decoder 还原图像

经典扩散模型

模型 任务目标
U-Net 图像分割,提取多尺度特征并预测像素类别
DDPM 无条件图像生成
Improved DDPM 改善 DDPM 生成质量
DDIM 加速 DDPM 采样
Score SDE 基于连续时间 Score Matching 的生成建模

U-Net

[1505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation

核心思想: 采用对称的 Encoder-Decoder 架构,通过 Encoder 提取多尺度上下文特征,再利用 Skip Connection 将浅层空间细节传递给 Decoder,实现高层语义信息与低层空间信息的融合

整体架构

U-Net 主要由三个部分组成:

  • Encoder(Contracting Path):逐步降低特征图分辨率,提取高层语义和上下文信息
  • Decoder(Expansive Path):逐步恢复特征图分辨率,生成目标输出
  • Skip Connection:将 Encoder 对应层的特征传递给 Decoder,通过 Concatenation 融合不同层级的信息
image-20261120110232747

Encoder-Decoder

Encoder:

  • 使用卷积提取局部特征
  • 通过 Max Pooling 逐步降低空间分辨率
  • 随着分辨率降低,增加特征通道数,扩大感受野

Decoder:

  • 通过上采样逐步恢复空间分辨率
  • 融合 Encoder 对应层的特征
  • 通过卷积进一步提取融合后的特征

Skip Connection

这是 U-Net 最重要的设计

Encoder 在下采样过程,虽然能够提取更大范围的上下文信息,但空间分辨率降低会导致部分细节丢失

Decoder 仅依靠上采样难以完全恢复这些细节

因此,U-Net 将 Encoder 对应层的高分辨率特征直接传递给 Decoder,并通过 Concatenation 进行融合

核心作用: 同时利用深层特征的语义信息和浅层特征的空间细节,提高输出的精细程度

在扩散模型中的应用

DDPM 将 U-Net 作为去噪网络(Denoising Network),输入带噪图像$ x_t$ 和时间步 $t$,预测其中包含的噪声

相比原始 U-Net,扩散模型中的 U-Net 增加了时间步 Embedding,使网络能够根据不同噪声程度执行对应的去噪任务

DDPM

[2006.11239] Denoising Diffusion Probabilistic Models

核心思想: 通过前向过程(Forward Process)逐步向数据添加高斯噪声,再训练神经网络学习反向去噪过程(Reverse Process),使模型能够从随机噪声逐步恢复出真实图像

DDPM 将生成过程建模为一个 Markov Chain(马尔可夫链),包含两个过程:

  • Forward Process:逐步破坏原始图像,最终得到标准高斯噪声。
  • Reverse Process:学习逐步去除噪声,从随机噪声恢复图像。

与 VAE 不同,DDPM 中的 $x_t$ 与原始图像 $x_0$ 具有相同维度,并不是经过 Encoder 压缩得到的低维潜变量

image-20261120111305728

Forward Process

通过不断向原始图像添加高斯噪声,使图像逐渐失去原有信息。

每个时间步的加噪过程定义为:

$$ q(x_t|x_{t-1})= \mathcal N(\sqrt{1-\beta_t}x_{t-1},\beta_t I) $$

其中,$\beta_t$ 为噪声调度参数(Noise Schedule),控制每一步添加的噪声强度

定义:

$$ \alpha_t = 1-\beta_t \qquad \bar\alpha_t=\prod_{s=1}^{t}\alpha_s $$
利用高斯分布的性质,可以将多步加噪合并,直接得到任意时间步的带噪图像:
$$ \boxed{ x_t=\sqrt{\bar\alpha_t}x_0+ \sqrt{1-\bar\alpha_t}\epsilon } $$
其中 $\epsilon\sim\mathcal N(0,I)$

核心作用: 不需要逐步执行加噪过程,可以直接从原始图像构造任意时间步的带噪图像

Reverse Process

反向过程从标准高斯噪声开始,逐步恢复原始图像

定义反向转移分布:

$$ p_\theta(x_{t-1}|x_t)= \mathcal N(\mu_\theta(x_t,t),\sigma_t^2 I) $$
其中,模型需要学习反向过程的均值 $\mu_\theta$,论文将方差设置为预先定义的时间相关常数

Noise Prediction

DDPM 最重要的设计:不直接预测去噪后的图像,而是让网络预测前向过程中添加的噪声 $\epsilon$

通过噪声预测结果,可以计算反向过程的均值:

$$ \boxed{ \mu_\theta(x_t,t)= \frac{1}{\sqrt{\alpha_t}} \left( x_t- \frac{\beta_t}{\sqrt{1-\bar\alpha_t}} \epsilon_\theta(x_t,t) \right) } $$
其中 $\epsilon_\theta(x_t,t)$ 是U-Net 预测的噪声

$\mu_\theta$ 就是模型认为下一步图像应该处于的位置

得到反向采样公式:

$$ \boxed{x_{t-1}=\mu_\theta(x_t,t)+\sigma_t z} $$
其中,$z\sim\mathcal N(0,I)$,用于引入反向采样的随机性,最后一步不再添加随机噪声

Training & Sampling

Training:

  1. 从数据集中采样原始图像 $x_0$
  2. 随机采样时间步 $t$ 和高斯噪声 $\epsilon$
  3. 根据 Forward Process 构造带噪图像 $x_t$
  4. 将 $(x_t,t)$ 输入 U-Net,预测噪声
  5. 使用 MSE Loss 优化预测噪声与真实噪声之间的误差

训练目标:

$$ \mathcal L_{\mathrm{simple}} = \mathbb E_{x_0,t,\epsilon} \left[ \|\epsilon-\epsilon_\theta(x_t,t)\|_2^2 \right] $$
**Sampling:**
  1. 从标准高斯分布采样初始噪声 $x_T$
  2. 将 $(x_t,t)$ 输入训练好的 U-Net,预测噪声
  3. 根据反向采样公式计算 $x_{t-1}$
  4. 从 $T$ 逐步迭代至 $1$,得到最终图像 $x_0$

U-Net Architecture

DDPM 使用 U-Net 作为噪声预测网络,在经典 U-Net 基础上增加三个重要模块:

  • Residual Block: 通过残差结构提取特征,构建更深的网络
  • Self-Attention: 建模不同空间位置之间的全局依赖
  • Time Embedding: 将扩散时间步 $t$ 编码为正弦位置嵌入,并注入每个 Residual Block,使网络能够感知当前噪声水平

不同时间步对应不同程度的噪声,网络需要根据时间步调整去噪行为

Improved DDPM

[2102.09672] Improved Denoising Diffusion Probabilistic Models

核心思想: 在 DDPM 的基础上,通过学习反向过程的方差、改进噪声调度策略和优化训练目标,提高模型的生成质量、似然估计能力和采样效率

Learned Variance

原始 DDPM 将反向过程的方差固定为预设值,只学习反向过程的均值

Improved DDPM 让模型同时预测反向过程的均值和方差:

$$ p_\theta(x_{t-1}|x_t)= \mathcal N(\mu_\theta(x_t,t),\Sigma_\theta(x_t,t)) $$
其中,方差采用两个边界之间的插值形式:
$$ \Sigma_\theta= \exp\left( v\log\beta_t+(1-v)\log\tilde\beta_t \right) $$
  • $\beta_t$:前向过程的噪声方差
  • $\tilde\beta_t$:真实后验分布的方差
  • $v$:网络预测的插值系数

因此,U-Net 除了预测噪声,还需要额外预测方差参数

核心作用: 让模型自适应学习每一步反向去噪的不确定性,使模型能够在较少采样步数下保持较好的生成质量

Cosine Noise Schedule

原始 DDPM 使用 Linear Schedule,随着时间步增加,噪声逐渐增强

但在低分辨率图像上,Linear Schedule 可能过早破坏图像信息,导致扩散后期的大量时间步输入几乎都是纯噪声

Improved DDPM 提出 Cosine Schedule,通过余弦函数控制累计信号保留比例:

$$ \bar\alpha_t= \frac{f(t)}{f(0)} $$
其中
$$ f(t)= \cos^2\left( \frac{t/T+s}{1+s}\cdot\frac{\pi}{2} \right) $$
  • $T$:总扩散步数。
  • $s$:平滑偏移量,论文设置为 0.008

再根据累计信号保留比例计算每一步的噪声方差:

$$ \beta_t= 1-\frac{\bar\alpha_t}{\bar\alpha_{t-1}} $$
image-20261120152021167

上为线性加噪,下为余弦加噪

image-20261120142749402

Hybrid Loss

原始 DDPM 采用简化的噪声预测 MSE Loss,训练稳定,但并不直接优化完整的 Variational Lower Bound(VLB)

Improved DDPM 将简化损失与 VLB 结合:

$$ \mathcal L_{\mathrm{hybrid}}= \mathcal L_{\mathrm{simple}} +\lambda\mathcal L_{\mathrm{vlb}} $$
其中:
  • Simple Loss:通过噪声预测训练反向过程的均值
  • VLB Loss:通过变分下界优化模型的概率分布,特别是学习反向过程的方差

在计算 VLB 时对均值预测分支使用 Stop Gradient,避免高方差梯度干扰噪声预测

Importance Sampling

直接优化 VLB 时,不同时间步的 Loss 差异较大,均匀采样时间步容易产生较大的梯度噪声

引入 Importance Sampling,根据不同时间步 Loss 的历史统计量调整采样概率

$$ p_t\propto\sqrt{\mathbb E[L_t^2]} $$
降低 VLB 训练过程中的梯度方差,使似然优化更加稳定

DDIM

[2010.02502] Denoising Diffusion Implicit Models

核心思想: 在保留 DDPM 噪声预测训练目标的基础上,构造非马尔可夫扩散过程,重新设计反向采样轨迹,使模型能够跳过部分去噪步骤,实现更快的图像生成

Non-Markovian Diffusion

DDPM 的 Forward Process 是一个 Markov Chain,每个时间步只依赖前一个时间步:

$$ q(x_t|x_{t-1}) $$
DDIM 发现,DDPM 的训练目标实际上只依赖每个时间步的边缘分布:
$$ q(x_t|x_0)=\mathcal N(\sqrt{\bar\alpha_t}x_0,(1-\bar\alpha_t)I) $$
因此,可以构造不同的非马尔可夫前向过程,只要保持上述边缘分布不变,就可以使用与 DDPM 相同的噪声预测训练目标

Reverse Process

DDIM 沿用 DDPM 训练好的噪声预测网络,首先根据当前带噪图像估计原始图像:

$$ \hat x_0= \frac{x_t-\sqrt{1-\bar\alpha_t} \epsilon_\theta(x_t,t)} {\sqrt{\bar\alpha_t}} $$
然后利用预测的原始图像和噪声,计算下一个选定时间步($s $$ x_{s}=\sqrt{\bar\alpha_{s}}\hat x_0+\sqrt{1-\bar\alpha_{s}-\sigma_t^2}\epsilon_\theta(x_t,t)+\sigma_t z $$