「扩散模型」(Diffusion Model)详解：直观理解、数学原理、动画演示！

不二如是

由浅入深地对最基础的去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM）进行讲解。

先介绍扩散模型生成图像的基本原理，再用简单的数学语言对扩散模型建模，最后给出扩散模型的一份PyTorch实现！

不会堆砌过于复杂的数学公式，哪怕你没有相关的数学背景，也能够轻松理解扩散模型的原理。

在线学习：



在过去的大半年里，以Stable Diffusion为代表的AI绘画是世界上最为火热的AI方向之一。

或许大家会有疑问，Stable Diffusion里的这个”Diffusion”是什么意思？

其实，扩散模型(Diffusion Model)正是Stable Diffusion中负责生成图像的模型。想要理解Stable Diffusion的原理，就一定绕不过扩散模型的学习。

在认识扩散模型之前，我们先退一步，看看一般的神经网络模型是怎么生成图像的。

显然，为了生成丰富的图像，一个图像生成程序要根据随机数来生成图像。

通常，这种随机数是一个满足标准正态分布的随机向量。

这样，每次要生成新图像时，只需要从标准正态分布里随机生成一个向量并输入给程序就行了。

而在AI绘画程序中，负责生成图像的是一个神经网络模型。

神经网络需要从数据中学习。对于图像生成任务，神经网络的训练数据一般是一些同类型的图片。

比如一个绘制人脸的神经网络会用人脸照片来训练。

也就是说，神经网络会学习如何把一个向量映射成一张图片，并确保这个图片和训练集的图片是一类图片。

可是，相比其他AI任务，图像生成任务对神经网络来说更加困难一点——图像生成任务缺乏有效的指导。

在其他AI任务中，训练集本身会给出一个「标准答案」，指导AI的输出向标准答案靠拢。

比如对于图像分类任务，训练集会给出每一幅图像的类别；

对于人脸验证任务，训练集会给出两张人脸照片是不是同一个人；

对于目标检测任务，训练集会给出目标的具体位置。

然而，图像生成任务是没有标准答案的。图像生成数据集里只有一些同类型图片，却没有指导AI如何画得更好的信息。

为了解决这一问题，人们专门设计了一些用于生成图像的神经网络架构。

这些架构中比较出名的有生成对抗模型（GAN）和变分自编码器（VAE）。

GAN的想法是：

游客，如果您要查看本帖隐藏内容请回复

[/hide]

VAE则使用了逆向思维：学习向量生成图像很困难，那就再同时学习怎么用图像生成向量。

这样，把某图像变成向量，再用该向量生成图像，就应该得到一幅和原图像一模一样的图像。

每一个向量的绘画结果有了一个标准答案，可以用一般的优化方法来指导网络的训练了。

VAE中，把图像变成向量的网络叫做编码器，把向量转换回图像的网络叫做解码器。

其中，解码器就是负责生成图像的模型。

一直以来，GAN的生成效果较好，但训练起来比VAE麻烦很多。

有没有和GAN一样强大，训练起来又方便的生成网络架构呢？

扩散模型正是满足这些要求的生成网络架构。

扩散模型是一种特殊的VAE，其灵感来自于热力学：

一个分布可以通过不断地添加噪声变成另一个分布。放到图像生成任务里，就是来自训练集的图像可以通过不断添加噪声变成符合标准正态分布的图像。

从这个角度出发，我们可以对VAE做以下修改：

• 1）不再训练一个可学习的编码器，而是把编码过程固定成不断添加噪声的过程；
• 2）不再把图像压缩成更短的向量，而是自始至终都对一个等大的图像做操作。
  

解码器依然是一个可学习的神经网络，它的目的也同样是实现编码的逆操作。

不过，既然现在编码过程变成了加噪，那么解码器就应该负责去噪。

而对于神经网络来说，去噪任务学习起来会更加有效。

因此，扩散模型既不会涉及GAN中复杂的对抗训练，又比VAE更强大一点。

评论区聊聊你的想法吧

                               
登录/注册后可看大图

>>万能兑换C币许愿池<<

如果有收获，别忘了评分 ：

                               
登录/注册后可看大图

                               
登录/注册后可看大图