【机器学习】统计学习方法读书笔记-EM算法（期望最大化算法）

Expectation Maximization，EM算法是带有隐变量的概率模型参数的极大似然估计（MLE为给定参数，观测数据出现/生成的可能性）。

如下为《统计机器学习》中对应EM算法的笔记。

• 观测数据Y和隐变量X合称，完全数据
• 观测数据Y称，不完全数据

E步：（期望步）求Q函数（上一轮参数固定，模型参数为变量的函数），即期望（原始似然函数的下界）

M步：（极大步）求Q函数的局部极值

通过迭代法逐步逼近原始似然函数的解

 EM算法本质是，有隐变量的似然函数的MLE。通过计算Q函数，得到似然函数的下界，然后最大化下界这一迭代过程，来优化参数。

Q函数本身是一个条件期望。 EM算法就在E步求期望，M步最大化它。