EM算法——Expectation-Maximization

最大似然估计

　　一个栗子：假如去赌场，但是不知道能不能赚钱，你就在门口堵着出来一个人就问一个赚了还是赔了，如果问了5个人都说赚了，那么你就会认为，赚钱的概率肯定是非常大的。

　　已知：（1）样本服从分部的模型，（2）观测到的样本

　　求解：模型的参数

　　总的来说：极大似然估计就是用来估计模型参数的统计学方法

最大似然的数学问题（100名学生的身高问题）

　　样本集X = {x1， x2 ，...,xN} N = 100

　　概率密度：p(xi|θ)抽到男生i（的身高）的概率

　　θ是服从分部的参数

　　独立同分布：同时抽到这100个男生的概率就是他们各自概率的乘积

　　最大似然函数：

　　　（对数是为了乘法转加法）

　　什么样的参数θ能够使得出现当前这批样本的概率最大

　　已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。

问题又难了一步

　　现在这100个人中，不光有男生，还有女生（2个类别，2种参数）

　　男生和女生的身高都服从高斯分布，但是参数不同（均值，方差）

　　用数学的语言描述：抽取得到的每个样本都不知道是从哪个分布抽取的

　　求解目标：男生和女生对应的身高的高斯分布的参数是多少

　　加入隐变量

　　　　用Z = 0或Z = 1标记样本来自哪个分部，则Z就是隐变量

　　　　最大似然函数：

　　　　　　

　　　　求解：在给定初始值情况下进行迭代求解

EM算法

　　EM算法推导：

　　问题：样本集{x(1),...,x(m)}，包含m个独立的样本。其中每个样本i对应的类别z(i)是未知的，所以很难用最大似然求解。

　　

　　上式中，要考虑每个样本在各个分布中的情况。本来正常求偏导就可以了，但是现在log后面还有求和，这就难解了！

　　右式分子分母同时乘：

　　　　

　　这么做就是为了凑Jensen不等式（Q(z)是Z的分布函数）

Jensen不等式

　　设f是定义域为实数的函数，如果对于所有的实数x。

　　如果对于所有的实数x，f(x)的二次导数大于等于0，那么f是凸函数。

　　如果f是凸函数，X是随机变量，那么：E[f(X)] > = f(E[X])

　　

　　实线f是凸函数，X有0.5的概率是a，有0.5的概率是b，X的期望值就是a和b的中值了

　　Jensen不等式应用于凹函数时，不等号方向反向

　　由于：

　　　　是　的期望

　　假设则：

　　可得：

　　　　

　　结论：

　　　　

　　下届比较好求，所以我们要优化这个下界来使得似然函数最大

　　优化下届，迭代到收敛

　　　　

　　Jensen中等式成立的条件是随机变量是常数：

　　　　

　　Q(z)是z的分部函数：

　　　　

　　所有的分子和等于常数C（分母相同）

Q(z)求解

　　

　　由上式可得C就是p(xi,z)对z求和

　　

　　Q(z)代表第i个数据是来自zi的概率

EM算法流程

　　初始化分布参数Θ

　　E-step：根据参数Θ计算每个样本属于zi的概率（也就是Q）

　　M-step：根据Q，求出含有Θ的似然函数的下界并最大化它，得到新的参数Θ

　　不断的迭代更新

GMM（高斯混合模型）

　　数据可以看作是从数个Gaussian Distribution中生成出来的

　　GMM由K个Gaussian分布组成，每个Gaussian称为一个“Component”

　　类似k-means方法，求解方式跟EM一样

　　不断的迭代更新