EM算法及其推广的要点

1.EM算法是含有隐变量的变量的概率模型极大似然估计或极大后验概率估计的迭代算法，含有隐变量的概率模型的数据表示为$P(Y,Z|\theta)$.这里，$Y$是观测变量的数据，$Z$是隐变量的数据，$\theta$是模型参数。EM算法通过迭代求解观测数据的对数似然函数$L(\theta)=logP(Y|\theta)$的极大化，实现极大似然估计。每次迭代包括两步：E步，求期望，即求$logP(Y|\theta)$关于$P(Y|\theta^{(i)})$的期望：

$Q(\theta,\theta^{(i)})=\sum_{Z}logP(Y,Z|\theta)P(Z|Y,\theta^{(i)})$

称为Q函数，这里$\theta^{(i)}$是参数的现现估计值；M步，求极大，即极大化Q函数得到参数的新估计值：$\theta^{(i+1)}=arg~max_{\theta}Q(\theta,\theta^{(i)}) $

在构建具体的EM算法时，重要的是定义Q函数，每次迭代中，EM算法通过极大化Q函数来增大对数似然函数$L(\theta)$.

2.EM算法在每次迭代后均提高观测数据的似然函数值，即：$P(Y|\theta^{(i+1)})\geq P(Y|\theta^{(i)})$

在一般情况下EM算法是收敛的，但是不能保证收敛到全局最优。

3.EM算法应用及其广泛，主要应用于含有隐变量的概率模型的学习，高斯混合模型的参数估计是EM算法的一个重要的应用，下一章节主要介绍隐马尔可夫模型的非监督学习也是EM散发的一个重要的应用。

4.EM算法还可以解释为F函数的极大-极大算法，EM算法有许多的变形，如GEM算法，GEM算法的特点是每次迭代增加F函数值，从而增加似然函数值。