EM算法以及推导

EM算法

Jensen不等式

其实Jensen不等式正是我们熟知的convex函数和concave函数性质，对于convex函数，有
\[
\lambda f(x) + (1-\lambda)f(y)\ge f(\lambda x + (1-\lambda)f(y)),\ where\ 0\le\lambda\le 1
\]
推广一下，便有
\[
f(\sum_{i=1}^n\lambda_ix_i)\le\sum_{i=1}^n\lambda_if(x_i),\ where \sum_{i=1}^n\lambda_i = 1
\]
这就是Jensen不等式，写成期望的形式便有
\[
f(E(x))\le E(f(x))
\]
对于concave函数，只需不等号反向，因为对convex函数取负得到的是concave函。

EM算法推导

我们的目的是最大化似然函数\(P(X|\theta)\)，为了计算方便，取对数，得到
\[
L(\theta)=\ln P(X|\theta)
\]
假设我们已知\(\theta^n\)，现在要求新的\(\theta\)，为了极大化似然函数，我们期望最大化
\[
\max(L(\theta)-L(\theta'))
\]
于是有
\[
\begin{align*}
L(\theta) - L(\theta') &= \log\left(\sum_ZP(Y|Z,\theta)P(Z|\theta)\right) - \log P(Y|\theta')\\
&= \log\left(\sum_ZP(Z|Y,\theta')\dfrac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta')}\right) - \log P(Y|\theta')\\
&\ge \sum_ZP(Z|Y,\theta')\log\dfrac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta')} - \log P(Y|\theta')\\
&= \sum_ZP(Z|Y,\theta')\log\dfrac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta')} - \log P(Y|\theta')\sum_ZP(Z|Y,\theta')\\
&= \sum_ZP(Z|Y,\theta')\log P(Y|Z,\theta)P(Z|\theta) - \log P(Y|\theta') - \sum_ZP(Z|Y,\theta')\log P(Z|Y,\theta')
\end{align*}
\]
后面两项是常数项，去掉还是等价的。于是便有
\[\begin{align*}
\arg\max_\theta L(\theta) - L(\theta') &= \arg\max_\theta\sum_ZP(Z|Y,\theta')\log P(Y|Z,\theta)P(Z|\theta) \\
&- \log P(Y|\theta') - \sum_ZP(Z|Y,\theta')\log P(Z|Y,\theta')\\
&= \arg\max_\theta\sum_ZP(Z|Y,\theta')\log P(Y|Z,\theta)P(Z|\theta)\\
&= \arg\max_\theta \sum_ZP(Z|Y,\theta')\log P(Y,Z|\theta)
\end{align*}\]

上面这种形式是采用李航的《统计学习方法》中的形式，与PRML中的形式初看有些不一样，我们只需要把最初的\(P(Y|Z,\theta)P(Z|\theta)\)替换为\(P(Y,Z|\theta)\)就一样了。