聚类——GMM

聚类——认识GMM算法

作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

一、GMM概述

二、GMM算法步骤

三、具体推导参考文献

1. 李航. 统计学习方法[M]. 清华大学出版社, 2012.

2. Bishop C M. Pattern Recognition and Machine Learning (Information Science and Statistics)[M]. Springer-Verlag New York, Inc. 2006.

注：GMM数学公式推导用到了贝叶斯公式、条件期望公式、拉格朗日乘数法、极大似然估计、参数估计。概率论与数理统计的内容居多，事先应掌握概率论与数理统计基本内容。

四、总结

1. GMM算法中间参数估计部分用到了EM算法，EM算法分为两步：

（1）E步：求目标函数期望，更多的是求目标函数取对数之后的期望值。

（2）M步：使期望最大化。用到极大似然估计，拉格朗日乘数法，对参数求偏导，最终确定新的参数。

2.K-means，FCM与GMM算法参数估计的数学推导思路大体一致，都先确立目标函数，然后使目标函数最大化的参数取值就是迭代公式。

3.三个算法都需要事先指定k。K-means与FCM中的k指的是要聚的类的个数，GMM算法中的k指的是k个单高斯混合模型。

4.三个算法流程一致：

（1）通过一定的方法初始化参数（eg:随机，均值······）

（2）确立目标函数

（3）通过一定的方法使目标函数最大化，更新参数迭代公式（eg:EM，粒子群······）

（4）设置一定的终止条件，使算法终止。若不满足条件，转向（3）