转:EM算法总结

https://applenob.github.io/em.html

EM算法总结

在概率模型中，最常用的模型参数估计方法应该就是最大似然法。

EM算法本质上也是最大似然，它是针对模型中存在隐变量的情况的最大似然。

下面通过两个例子引入。

没有隐变量的硬币模型

假设有两个硬币，AA和BB，这两个硬币具体材质未知，即抛硬币的结果是head的概率不一定是50%。

在这个实验中，我们每次拿其中一个硬币，抛10次，统计结果。

实验的目标是统计AA和BB的head朝上的概率，即估计θ̂ Aθ^A和θ̂ Bθ^B。

对每一枚硬币来说，使用极大似然法来估计它的参数：

假设硬币AA正面朝上的次数是nAhnhA，反面朝上的次数是：nAtntA。

似然函数：L(θA)=(θA)nAh(1−θA)nAtL(θA)=(θA)nhA(1−θA)ntA。

对数似然函数：logL(θA)=nAh⋅log(θA)+nAt⋅log(1−θA)logL(θA)=nhA⋅log(θA)+ntA⋅log(1−θA)。

θ̂ A=argmaxθAlogL(θA)θ^A=argmaxθAlogL(θA) 。

对参数求偏导：∂logL(θA)∂θA=nAhθA−nAt1−θA∂logL(θA)∂θA=nhAθA−ntA1−θA。

令上式为00，解得：θ̂ A=nAhnAh+nAtθ^A=nhAnhA+ntA。

即θ̂ A=numberofheadsusingcoinAtotalnumberofflipsusingcoinAθ^A=numberofheadsusingcoinAtotalnumberofflipsusingcoinA。

 

有隐变量的硬币模型

这个问题是上一个问题的困难版，即给出一系列统计的实验，但不告诉你某组实验采用的是哪枚硬币，即某组实验采用哪枚硬币成了一个隐变量。

这里引入EM算法的思路：

• 1.先随机给出模型参数的估计，以初始化模型参数。
• 2.根据之前模型参数的估计，和观测数据，计算隐变量的分布。
• 3.根据隐变量的分布，求联合分布的对数关于隐变量分布的期望。
• 4.重新估计模型参数，这次最大化的不是似然函数，而是第3步求的期望。

一般教科书会把EM算法分成两步：E步和M步，即求期望和最大化期望。

E步对应上面2,3；M对应4。

 

EM算法

输入：观测变量数据YY，隐变量数据ZZ，联合分布P(Y,Z|θ)P(Y,Z|θ)，条件分布P(Z|Y,θ)P(Z|Y,θ);

输出：模型参数θθ。

• 1.选择参数的初始值θ(0)θ(0)，开始迭代；
• 在第i+1i+1次迭代:
  • 2.E步：Q(θ,θ(i))=∑zlogP(Y,Z|θ)P(Z|Y,θ(i))Q(θ,θ(i))=∑zlogP(Y,Z|θ)P(Z|Y,θ(i))
  • 3.M步：Q(i+1)=argmaxθQ(θ,θ(i))Q(i+1)=argmaxθQ(θ,θ(i))
• 4.重复2，3直至收敛。

 

参考资料

• 如何感性地理解EM算法？
• What is the expectation maximization algorithm?