贝叶斯来理解高斯混合模型GMM

最近学习基础算法《统计学习方法》，看到利用EM算法估计高斯混合模型(GMM)的时候，发现利用贝叶斯的来理解高斯混合模型的应用其实非常合适。

首先，假设对于贝叶斯比较熟悉，对高斯分布也熟悉。本文将GMM用于聚类来举例。

除了简单的高斯分布，理论上通过组合多个不同的高斯分布可以构成任意复杂的分布函数。如下图所示：

在最大似然，贝叶斯方法与朴素贝叶斯分类中，2.1中提到高斯概率密度用来计算连续变量情况下的朴素贝叶斯概率。该情况下的高斯分布是训练已知，然后对于输入变量求取其概率密度，结合类别的先验概率从而进一步实现分类。

而利用高斯混合模型进行聚类，本质上可以这么理解：数据的分布由若干高斯分布组合而成，需要通过传入的无标记数据，求解出各个高斯模型的参数和各个模型的先验概率！不同于一般利用最大似然估计参数的情况在于。由于传入的数据无标记，也就是说缺少了观测数据的类别这个隐藏信息，所以这个隐藏信息的概率分布也成了估计内容之一，从而无法通过求偏导进行梯度下降来求解，于是利用了EM来进行（EM算法就是利用最大化似然函数的下界来迭代求解）。

不同于K-Means聚类算法直接把每一个数据点的归类，高斯混合模型求解出的的分布密度，然后一般归类为最大后验概率一类。

参考：

李航《统计学习方法》

高斯混合模型的终极理解