深度学习（生成式模型）——DDIM：Denoising Diffusion Implicit Models

前言

上一篇博文介绍了DDIM的前身DDPM。DDPM的反向过程与前向过程步数一一对应，例如前向过程有1000步，那么反向过程也需要有1000步，这导致DDPM生成图像的效率非常缓慢。本文介绍的DDIM将降低反向过程的推断步数，从而提高生成图像的效率。

值得一提的是，DDIM的反向过程仍然是马尔可夫链，但论文里有讨论非马尔可夫链的生成模型。本博文只总结DDIM如何提高DDPM的生成图像效率。

为什么DDPM的反向过程与前向过程步数绑定

DDPM反向过程的推导公式为

$$\begin{array}{rl}q({\hat{x}}_{t-1}|{\hat{x}}_t)& =q({\hat{x}}_{t-1}|{\hat{x}}_t,{\hat{x}}_0)\\ & =\frac{q({\hat{x}}_{t-1},{\hat{x}}_t,{\hat{x}}_0)}{q({\hat{x}}_t,{\hat{x}}_0)}\\ & =\frac{q({\hat{x}}_t|{\hat{x}}_{t-1},{\hat{x}}_0)q({\hat{x}}_{t-1},{\hat{x}}_0)}{q({\hat{x}}_t|{\hat{x}}_0)q({\hat{x}}_0)}\\ & =\frac{q({\hat{x}}_t|{\hat{x}}_{t-1},{\hat{x}}_0)q({\hat{x}}_{t-1}|{\hat{x}}_0)q({\hat{x}}_0)}{q({\hat{x}}_t|{\hat{x}}_0)q({\hat{x}}_0)}\\ & =\frac{q({\hat{x}}_t|{\hat{x}}_{t-1},{\hat{x}}_0)q({\hat{x}}_{t-1}|{\hat{x}}_0)}{q({\hat{x}}_t|{\hat{x}}_0)}\\ & =\frac{q({\hat{x}}_t|{\hat{x}}_{t-1})q({\hat{x}}_{t-1}|{\hat{x}}_0)}{q({\hat{x}}_t|{\hat{x}}_0)}\end{array}$$

值得一提的是，反向过程的马尔可夫状态${\hat{x}}_t$、${\hat{x}}_{t-1}$不一定要与前向过程一致，如下图所示，反向过程的状态${\hat{x}}_T$、${\hat{x}}_{T-1}$对应前向过程的$x_T$、$x_{T-2}$。

从上述公式构成来看，反向过程的概率图形式与$q({\hat{x}}_t|{\hat{x}}_{t-1})$有关。而在DDPM中，$q({\hat{x}}_t|{\hat{x}}_{t-1})$与前向过程$q(x_t|x_{t-1})$一致，这就导致DDPM的概率图为

因此利用DDPM推导的$q({\hat{x}}_{t-1}|{\hat{x}}_t)$进行反向过程时，状态转移步数必须与前向过程一致。

DDIM如何减少DDPM反向过程步数

在上一节中，我们说明了反向过程的马尔可夫状态与前向过程不需要一致，这表明$q({\hat{x}}_{t-1}|{\hat{x}}_t)$的概率密度函数有多种。找到合适的概率密度函数，我们即可减少反向过程的迭代步数，同时保持生成图像的质量，这便是DDIM的出发点。以下的推导中，我们将用$x_t、x_{t-1}$来表示反向过程的马尔可夫状态。

本章节的所有符号定义与深度学习（生成式模型）——DDPM：denoising diffusion probabilistic models一致

为了书写方便，除非特殊提及，在以下的所有推导中，所有的$x$、$ϵ$符号都表示随机变量，而不是一个样本。

在DDPM的前向过程里有
$$\begin{array}{rl}{x}_{t-1}& =\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{t-1}\end{array}\text{\hspace{1em}(2.0)}$$
已知两个均值为0的高斯分布相加具备以下性质

$$\mathcal{N}(0,{\delta }_1^2)+\mathcal{N}(0,{\delta }_2^2)=\mathcal{N}(0,{\delta }_1^2+{\delta }_2^2)$$

依据重参数化技巧，已知
$$\begin{array}{rl}\sqrt{1-{\bar{\alpha }}_t-{\delta }_t^2}{ϵ}_t& \sim \mathcal{N}(0,1-{\bar{\alpha }}_t-{\delta }_t^2)\\ {\delta }_tϵ& \sim \mathcal{N}(0,{\delta }_t^2)\\ \sqrt{1-\bar{\alpha }}{ϵ}_{t-1}& \sim \mathcal{N}(0,1-{\bar{\alpha }}_{t-1})\end{array}$$
则有
$$\begin{array}{rl}{x}_{t-1}& =\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{t-1}\\ & =\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_t-{\delta }_t^2}{ϵ}_t+{\delta }_tϵ\\ & =\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_t-{\delta }_t^2}\frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}}+{\delta }_tϵ\end{array}\text{\hspace{1em}(2.1)}$$

依据重参数化公式，式2.1可表征为
$$\begin{array}{rl}q(x_{t-1}|x_t)& =q(x_{t-1}|x_t,x_0)\\ & =\mathcal{N}(x_{t-1};\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_t-{\delta }_t^2}\frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}},{\delta }_t^2\mathcal{I})\end{array}\text{\hspace{1em}(2.2)}$$
注意式2.2的推导过程绕过了贝叶斯公式，而且没有指定反向过程的状态转移图，因此式2.1是一个反向过程的概率密度函数族，不同的${\delta }_t$表示不同的概率密度函数，对应反向过程不同的马尔可夫状态转移链。

结合式2.0，式2.2可进一步变化为
$$\begin{array}{rl}q(x_{t-1}|x_t)& =q(x_{t-1}|x_t,x_0)\\ & =N(x_{t-1};\sqrt{{\bar{\alpha }}_{t-1}}\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t}{\sqrt{{\bar{\alpha }}_t}}+\sqrt{1-{\bar{\alpha }}_t-{\delta }_t^2}{ϵ}_t,{\delta }_t^2\mathcal{I})\end{array}\text{\hspace{1em}(2.3)}$$

DDIM的优化目标

由于DDIM与DDPM一样，前向过程与反向过程均为马尔科夫链，因此优化目标也一致。从上一篇博客，我们可知DDPM的优化目标为
$$\begin{array}{rl}L& =\sum _{t=2}^T{D}_{KL}(q(x_{t-1}|x_t,x_0)||p_{\theta }(x_{t-1}|x_t))\\ & =\sum _{t=2}^T(\frac{1}{2}(n+\frac{1}{{\delta }_t^2}||{\mu }_t-{\mu }_{\theta }|{|}^2-n+log1)\\ & =\sum _{t=2}^T(\frac{1}{2{\delta }_t^2}||{\mu }_t-{\mu }_{\theta }|{|}^2)\end{array}$$

设网络预测的噪声为${ϵ}_{\theta }(x_t)$，则DDIM的优化目标为：
$$\begin{array}{rl}L& =\sum _{t=2}^T(\frac{1}{2{\delta }_t^2}||{\mu }_t-{\mu }_{\theta }|{|}^2)\\ & =\sum _{t=2}^T(\frac{1}{2{\delta }^2}||\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_t-{\delta }_t^2}{ϵ}_t-(\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_t-{\delta }_t^2}{ϵ}_{\theta }(x_t))|{|}^2)\\ & =\sum _{t=2}^T(\frac{1-{\bar{\alpha }}_t-{\delta }_t^2}{2{\delta }_t^2}||{ϵ}_t-{ϵ}_{\theta }(x_t)|{|}^2)\end{array}$$

结合上式以及坐标下降法，可得DDIM最终优化目标$L$为
$$L=||{ϵ}_t-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t)|{|}^2$$

与DDPM一致

DDIM的训练与测试

DDIM的训练过程与DDPM一致，反向过程的采样公式变为
$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }(x_t)}{\sqrt{{\bar{\alpha }}_t}}+\sqrt{1-{\bar{\alpha }}_t-{\delta }_t^2}{ϵ}_{\theta }(x_t)+{\delta }_tϵ\text{\hspace{1em}(4.0)}$$

其中$ϵ$从标准正态分布中采样得到，${\delta }_t$为超参数，其取值为

$${\delta }_t=\eta \sqrt{(1-{\bar{\alpha }}_{t-1})/(1-{\bar{\alpha }}_t)}\sqrt{1-{\bar{\alpha }}_t/{\bar{\alpha }}_{t-1}}$$

特别的，当$\eta =1$时，DDIM的反向过程与DDPM一致。当$\eta =0$时，式4.0的$ϵ$将被去掉，从而不具备随机性。即反向过程步数固定情况下，从一个噪声生成的图片将是确定，DDIM一般将$\eta$取值设为0。

具体的实验结果可见下图：