【深度学习】生成领域里，Normalizing Flow、GAN、VAE、Diffusion Models的区别是什么？
文章目录
- 1. Normalizing Flow
- 2. GAN (Generative Adversarial Networks)
- 3. VAE (Variational Autoencoders)
- 4. Diffusion Models
- 总结
- 1. Normalizing Flow
- 公式
- 代码示例
- 2. GAN (Generative Adversarial Networks)
- 公式
- 代码示例
- 3. VAE (Variational Autoencoders)
- 公式
- 代码示例
- 4. Diffusion Models
- 公式
- 代码示例
- 总结
在生成模型领域，几种常见的方法之间有着不同的理论基础和实现机制。以下是对几种常见生成方法之间关系的详细分析：
1. Normalizing Flow
Normalizing Flow 是一种可逆变换的生成模型。其主要特点是可以精确计算生成样本的对数似然函数。Normalizing Flow 通过一系列可逆的变换将简单的分布（例如高斯分布）映射到复杂的目标分布，从而生成样本。每一步变换都是可逆的，因此整个过程是可逆的。这使得 Normalizing Flow 能够对生成样本进行精确的概率评估，从而可以明确写出对数似然函数。
2. GAN (Generative Adversarial Networks)
GAN 通过对抗学习的框架进行训练。其核心思想是生成器（Generator）和判别器（Discriminator）之间的对抗博弈。生成器尝试生成与目标数据分布相似的样本，而判别器则试图区分真实数据和生成数据。GAN 的训练目标是使生成器生成的样本无法被判别器识别为假样本。虽然 GAN 在生成高质量样本方面表现出色，但由于其对抗机制，GAN 没有明确的似然表达式，无法直接计算生成样本的对数似然函数。
3. VAE (Variational Autoencoders)
VAE 是一种基于隐变量的生成模型。其基本思想是通过引入隐变量来描述数据的生成过程。VAE 学习的是目标对数似然的下界（ELBO），通过优化 ELBO 来近似最大化对数似然。VAE 的训练过程包括两个部分：编码器（Encod