An Introduction to Variational Methods (5.1)

在这篇文章中，我引用Bishop书中的一个例子，来简单介绍一下Variational Methods的应用。想要更详细地理解这个例子，可以参考Bishop的书Pattern Recongnition and Machine Learning的第十章。

这个例子应用于一个混合高斯分布，我们先来看一看这个混合高斯分布的图模型，见图3，从而可以进一步退出其概率表达式。

‍

现在我们有了这个图，我们就不难写下一个完整的概率式来表示整个联合分布：

‍

现在，我们来定义一些分布。首先，我们已经说过，这是一个混合高斯模型，那么就需要有一个变量来描述，一个点的生成，到底是由这个混合高斯中的哪一个组成部分生成。那么这个变量就是Z，我们用一个1-of-K的二进制向量来表示。例如我现在有一个二进制向量(0,0,0,0,1)，这个向量代表一共有五个组成部分，而这个点对应于其中的第五个组成部分。这就是一个multinational distribution。那么我们现在要来控制这个multinational distribution，那就需要利用到pi。现在我们假设有N个观测变量构成的数据集，每一个观测变量都对应其潜在变量。我们可以得到：

‍

在这里， 我们假定，在这个高斯混合中，一共有K个组成部分。现在，我们需要写出观测变量基于潜在变量的条件分布。

‍

现在，我们可以引入分布来描述这些参数，从而构成一个完整的Bayesian Model。首先，我们来描述pi。我们注意到Z是一个由pi控制的multinational distribution，那么根据其共轭先验，我们可以方便地选择Dirichlet distribution作为pi的先验分布，从而我们有：

‍

在这个式子中，我们将Dirichlet分布做了一个简化，其控制参数，我们减少为一个。关于Dirichlet分布的介绍可以看我另外一篇文章Simple Introduction to Dirichlet Process。现在我们需要为Gaussian的均值和方差引入一个控制先验。从我们之前的图模型中，我们发现了均值对精度的依赖（这并不是必须的）。在均值和精度都不知晓的情况下，我们可以为这两个参数引入一个Gaussian-Wishart先验分布，这是在对于高斯分布的两个控制参数均不了解的情况下其共轭先验。从而我们有：

‍

现在，整个问题就完全定义了，接下来就是如何利用Variational Methods来解决这个问题。

首先，回忆一下在Variational Methods里，我们是如何实现近似的。对，我们是利用一种结构上的近似，也就是假设我们现在想要求的分布，可以分解为一系列tractable的分布，从而进行近似于求解。在给定的现在这样一个完全Bayesian Model中，我们选择一种分解方式，来将原有的结构进行分解近似。从而我们得到：

‍

这是一种合理的假设，我们将潜在变量和控制参数分开，从而得到这样的一种分解。这里有几点值得说明：首先，我在前面的文章中提到，我们是将Z分解为几组，从而得到近似模型。那为什么这里除了Z之外，还有别的变量？这是因为，当时我用Z代替的了所有的变量，当时的Z之中包含了控制参数，因为这是一个完全的Bayesian Model。第二个要注意的是，这个分解的假设，是我们在这个例子中作出的唯一假设了。

现在，我们利用之前得到的公式，将现在的这个式子代入，我们可以得到：

‍

而后，我们利用最初根据图模型得到的那个全概率分解形式，可以对上面的式子进行简化，并且将于Z无关的式子都放入常数中，从而得到：

‍

接下来，我们就可以将上面式子中提到的两个分布分别代入，分别可以得到：

‍

以及

‍

我们注意到，这两个式子有相同的部分，为了使得表达更加简洁，我们引入一个新的符号：

‍

从而我们有：

‍

在这个式子的基础上，我们等式两边同时取对数，则我们得到：

‍

这个分布还是没有归一化的，所以我们需要进行归一化，则我们定义：

‍

从而对该分布进行归一化，得到最终的关于Z的分布：

‍
‍

其余参数的近似，我将会在下一篇文章中继续讨论。