机器学习算法（优化）之二：期望最大化（EM）算法

EM算法概述

（1）数学之美的作者吴军将EM算法称之为上帝的算法，EM算法也是大家公认的机器学习十大经典算法之一。EM是一种专门用于求解参数极大似然估计的迭代算法，具有良好的收敛性和每次迭代都能使似然函数值单调不减的优良性质。在统计机器学习、自然语言处理等领域应用非常广泛，许多统计学算法都是EM算法的体现，比如说隐含马尔科夫模型的训练方法Baum-Welch算法、最大熵模型的训练方法GIS算法、高斯混合模型EM算法、主题模型训练推理的pLSA方法，都是EM算法。甚至连聚类中的k-means算法，看似完全脱离了统计学，其实也可以看作是ＥＭ方法的体现。 
      （2）所以EM算法是统计学中非常核心的一个算法，主要是由于统计学中许多计算问题具有比较特殊的结构，可能数值计算的方法，优化理论算法在这里可能不好用，而这时候EM算法总能巧妙地予以解决。

（3）EM及其extension研究非常多，应用及其广泛。EM算法甚至可以说不仅仅是一个算法，而是一种思想，一个方法论，指导我们遇到某些问题时，如何去找到一个具备ＥＭ思想的迭代算法。

EM基本思想

（１）EM是一种专门用于求解参数极大似然估计的迭代算法。首先，提出这个算法，最开始是为有缺失数据条件下的参数估计提供了一个标准的理论框架。所以在最开始所研究的问题中确实存在数据的缺失。 
      （２）但是很快地，就延伸出去了，假设原始数据是完全的【注１】,但由于似然函数的求解十分困难,而额外添加一些数据就能将原来十分复杂的过程转化成一系列简单的似然函数优化问题,于是原始数据人为地变成了不完全数据【例１】。 
      上述两种情形，都可以看作是与缺失数据有关的问题，都会结合EM算法来分析,也难怪有学者称EM算法和缺失数据如同一对孪生姐妹一般总是如影随形。 
      （3）进一步延伸，用于含有隐变量（latent variable）的概率参数模型的最大似然估计或极大后验概率估计。

E、M过程

在一般性的问题中，如果有非常多的观测数据，让计算机不断迭代来学习一个模型，EM算法包含E、M两个过程。 
      （E）：根据现有的模型，计算各个观测数据输入到模型中的计算结果，这个过程称为期望值计算过程（Expectation），即E过程； 
      （M）：将（E）的计算作为输入，重新计算模型参数参数，以最大化（Maximization）某个我们定义的目标函数，即M过程。如此迭代，直到达到我们的预设条件。 
      上述两个过程被成为EM算法。 

实例

（1）高斯混合模型

关于GMM（高斯混合模型），可以参考我的另一篇文章：http://www.cnblogs.com/itboys/p/8400207.html
GMM是理解EM算法比较简单的一个例子。

（2）K-means聚类：

（E）根据现有的聚类结果（比如说k个聚类中心点），可以按某个聚类的规则对所有的数据点重新进行划分。 
      （M）根据（E）重新划分的结果，以最大化某个目标函数，得到新的聚类结果，如果没有达到我们预设的条件，就重复（E）。 
      如k-means中，定义的聚类的规则是：最近原则，每个点归到最近距离的中心所在的类（可以理解为计算每个点的期望值）。 
      目标函数，同一类各个点到中心的平均距离d最近，即-d最大；同时不同类中心之间的平均距离D最远。按照使得D，-d最大化（每次迭代比前一次大）的原则，完成M过程，得到新的聚类中心。

参考文献

（1）CSDN博客 小硒—代码无疆 《 数据挖掘十大算法—-EM算法（最大期望算法）》 http://blog.csdn.net/u011067360/article/details/23702125?utm_source=tuicool&utm_medium=referral：以一个简单的例子演示了EM算法是如何推导出来的，例子中隐含变量是两个方差相同，均值不同的高斯分布，观测结果是一系列观测值x，例子很简单，适合演示EM过程. 
      （2）吴军《数学之美》第二版 《第27章 再谈文本自动分类问题——期望最大化算法》， 一如既往的，吴军的数学之美是学习一个算法首先推荐学习的一个材料，深入浅出，他往往先讲“道”，后讲或者少讲”术“，强调”术“应该尽量简单可靠的理念。在理解了算法的”道“之后，如果觉得细节还不够丰富，具体算法还无法落地，那么就需要看更多的材料了。 
      （３）K-means聚类算法与EM算法http://www.cnblogs.com/rong86/p/3517573.html 
      （4） GMM, Gaussian Mixture Model, 高斯混合模型http://blog.csdn.net/manji_lee/article/details/41335307