1.1.1　生成模型

在深度学习中，生成模型的目标是根据给定的样本（训练数据）生成新样本。首先给定一批训练数据X，假设其服从某种复杂的真实分布p(x)，则给定的训练数据可视为从该分布中采样的观测样本x。如果能够从这些观测样本中估计出训练数据的真实分布，不就可以从该分布中源源不断地采样出新的样本了吗？生成模型实际上就是这么做的，它的作用是估计训练数据的真实分布，并将其假定为q(x)。在深度学习中，这个过程称为拟合网络。

那么问题来了，怎么才能知道估计的分布q(x)和真实分布p(x)的差距大不大呢？一种简单的思路是要求所有的训练数据样本采样自q(x)的概率最大。这种思路实际上来自统计学中的最大似然估计思想，它也是生成模型的基本思想之一，因此生成模型的学习目标就是对训练数据的分布进行建模。