EM算法-完整推导

前篇已经对EM过程,举了扔硬币和高斯分布等案例来直观认识了, 目标是参数估计, 分为 E-step 和 M-step, 不断循环, 直到收敛则求出了近似的估计参数, 不多说了, 本篇不说栗子, 直接来推导一波.

Jensen 不等式

在满足:

• 一个 concave 函数, 即 形状为 "\(\bigcap\)" 的函数 \(f(x)\)

• \(\lambda_j \ge 0\)

• \(\sum \limits _j \lambda_j = 1\) 类似于随机变量的分布

的前提条件下, 则有不等式:

\(f(\sum \limits _j \lambda_j x_j) \ge \sum \limits _j \lambda_j f(x_j)\)

恒成立, 则该不等式称为 Jensen 不等式. 是有些不太直观哦, (sum 是最后哦, 有时候会犯晕).

为了更直观一点, 考虑 \(\lambda\) 只有两个值, 即:

\(\lambda_1 = 1-t \\ \lambda_2 = 1\)

\(其中, 0 \leqslant t \leqslant 1\)

"\(\bigcap\)" 函数 f(x) 中有一段区间 [a, b], 构造出该 范围内的一个点 \(x_t\)

当, \(x_t = (1+t)a + tb\) 则有:

\(f((1-t)a +tb) \ge (1-t)f(a) + tf(b)\)

这里跟之前写过的 convex 其实是一模一样的, 要是还不直观, 就自个画个草图就秒懂了.

左边是函数的值, 右边连接两个端点a,b的函数值的 直线, 因为是 "\(\bigcap 的\)", 故函数值必然在直线的上方.

用数学归纳法, 当 M > 2:

\(f(\sum \limits _{j=1}^M \lambda_j x_j) \ge \sum \limits _{j=1}^M \lambda_j f(x_j)\)

EM算法推导

假设给定一个包含 n 个独立的训练样本的数据集, \(D = \{ x_1, x_2, x_3...x_n) \}\) 希望拟合一个概率模型 \(p(x, z)\) , 其对数似然函数(log likelihood) 为:

为啥要 log, 乘法变加法, 不太想说了, 自己都重复吐血了

似然, 不加log 前是: \(l(\theta) = \prod \limits _{i=1}^n p(x; \theta)\) 的嘛, 样本的联合概率最大

\(l(\theta) = \sum \limits _{i=1}^n log \ p(x; \theta)\)

\(= \sum \limits _{i=1}^n log \ \sum \limits _{z} p(x, z; \theta)\)

理解

\(\sum \limits _{z} p(x, z; \theta)\) 给定 \(\theta\) 的前提下, 关于 x, z 的 联合概率

跟之前扔硬币是一样的, 对于每个独立数据的产生, 其实还有一个隐含的因素 z (扔硬币中,到底这次试验是来自于硬币A 还是硬币B

每个Z因素, 影响着 p(x,z) 的 联合概率分布. 考虑所有的 z, 则是全概率了呀.

• 对于 \(p(x; \theta)\) 直接通过 x 来观测 \(\theta\) 比较难 (扔硬币中, 没有上帝视角, 不知道扔结果是哪个硬币产生的)
• \(z^{(i)}\) 是一个隐变量(latent), 如果能观测到 \(z^{(i)}\) 则参数预测会容易很多, EM算法就是来解决这个问题的

EM 算法呢, 分为两个步骤:

• 在 E 步中, 构建 \(l(\theta)\) 的下界函数 (给定 \(\theta\) 来找 z)
• 在 M 步中, 最大化 这个下界函数

不太直观, 就回顾上篇扔硬币的栗子, 这里的 z 就是那个 来自哪里A 还是 B 的概率(每次试验)

设 \(Q_i\) 为关于 z 的概率分布, 即 \(\sum \limits _{z} Q_i(z) = 1\) (z 如是连续变量则 \(\sum \rightarrow \int_z\)) ,

则对于上面的对数似然函数:

\(= \sum \limits _{i=1}^n log \ \sum \limits _{z} p(x_i, z_i; \theta) \ (1)\)

对 p 的部分, 同时 乘上 和除以 \(Q_i(z_i)\) 不改变等式 , 这种技巧, 中学的 "配平方 或 数列裂项求和" 一样滴

\(= \sum \limits _i log \sum \limits _{z_i} Q_i(z_i) \frac {p(x_i, z_i; \theta)}{Q_i(z_i) } \ (2)\)

log 函数是 concave 的, 联想 jensen不等式

\(f(\sum \limits _j \lambda_j x_j) \ge \sum \limits _j \lambda_j f(x_j)\)

即 log 对于与 f(); \(\sum \limits _{z_i} Q_i(z_i) 对应于 \sum \limits _j \lambda_j\) ; 最后一项对 \(x_j\)

\(\ge \sum \limits_{i} \sum \limits_{z_i}Q_i(z_i) \ log \frac {p(x_i, z_i; \theta)}{Q_i(z_i) } \ (3)\)

就类似与, 把一个, 函数里面的参数, 提取到 函数外面来. 如还是不理解, 回看之前写的 convex 篇

什么时候会取到 等于?

即当 \(\frac {p(x_i, z_i; \theta)}{Q_i(z_i) } = c\) 是个常数的时候, (2) 和 (3) 是相等的.

即 \(p(x_i, z_i; \theta) = c \ * Q_i(z_i)\) 在 \(\theta\) 给定下, 关于 x, z 的联合概率分布 与 隐变量 z 的分布是一个线性关系

因为 \(\sum \limits_{z_i} Q_i(z_i) = 1\), 如果将 \(Q_i(z_i)\) 认为是 给定 \(x_i 和 z_i\) 的后验概率分布, 这样就得到了该似然函数的一个下界,

根据全概率(后验) 与贝叶斯公式:

\(Q_i(x_i) = \frac {p(x_i, z_i; \theta)}{\sum \limits _{z_i} p(x_i, z_i; \theta)}\)

\(=\frac {p(x_i, z_i; \theta)}{p(x; \theta)}\)

\(=p(z_i|x_i, \theta)\)

相当于求 给定 \(\theta 和 x_i\) 的情况下, 求 z_i 的条件概率, 果然, 深刻理解贝叶斯公式显得多么重要呀

再回顾一波贝叶斯公式:

设A1,A2,A3..构成完备事件组, 则对任意一事件B有:

\(P(A_i|B) = \frac {P(A_i)P(B|A_i)}{\sum \limits _{i=1}^n P(A_i)P(B|A_i)}\)

同上述, 只要当我们取 \(Q_i(z_i)\) 的值为 给定 \(\theta 和 x_i\) 的后验概率分布的时候, 就能保证:

\(\frac {p(x_i, z_i; \theta)}{Q_i(z_i) }\)

的值是一个常数 (反过来推的), 既然是个常数, 也就前面 (3) 的地方可以取 等号 啦, 即:

\(\sum \limits _{i=1}^n log \ \sum \limits _{z} p(x_i, z_i; \theta) = \sum \limits_{i} \sum \limits_{z_i}Q_i(z_i) \ log \frac {p(x_i, z_i; \theta)}{Q_i(z_i) }\)

这样一来, 相当于在 E 步得到了似然函数的一个下界, 然后在 M 步, 求解(3) 最大值时候的参数 \(\theta\) . 然后重复以上的 E, M 步骤:

E-步: For each i:

​ \(Q_i(z_i) = p(z_i | x_i; \theta)\)

M-步, 更新\(\theta\):

​ \(\theta = arg \ max _\theta \sum \limits_{i} \sum \limits_{z_i}Q_i(z_i) \ log \frac {p(x_i, z_i; \theta)}{Q_i(z_i) }\)

....

循环直到收敛, 则估计出了 参数 \(\theta\) 但, 万一不收敛呢?, so, 必须证明一波, EM算法是收敛的哦

证明EM算法会收敛

假设 \(\theta^{(t)} 和 \theta^{(t+1)}\) 为EM算法的连续两个步骤的参数值, 欲证\(l (\theta)\)收敛, 只需证:

\(l(\theta^{(t)}) \leq l(\theta^{(t+1)})\)

即可EM算法使得似然函数的值单调递增即可

根据前面关于用 jensen不等式的取等条件, 推导出, 取得 \(Q_i(z_i)^{(t)}\) 的方式是:

\(Q_i ^{(t)} (z_i) = p(z_i | x_i; \theta ^{(t)})\)

此条件下, 使得jensen不等式取等即:

\(l(\theta^{(t)}) = \sum \limits_{i} \sum \limits_{z_i}Q_i(z_i) \ log \frac {p(x_i, z_i; \theta ^t)}{Q_i(z_i) }\)

而参数 \(\theta^{(t+1)}\) 的取值方式, 是使得上面的这个等式的值最大, 则必然 \(l(\theta^{(t+1)}) \ge l(\theta^{(t)})\) 展开一波:

\(l(\theta^{(t+1)}) \ge \sum \limits_{i} \sum \limits_{z_i}Q_i^t(z_i) \ log \frac {p(x_i, z_i; \theta ^{(t+1)})}{Q_i^t(z_i) } \ (4)\)

\(\ge \sum \limits_{i} \sum \limits_{z_i}Q_i^t(z_i) \ log \frac {p(x_i, z_i; \theta^t)}{Q_i^t(z_i) }\ (5)\)

\(=l(\theta^{(t)}) \ (6)\)

• (4) 源于不等式的性质, 必然成立嘛
• (5) 就是取最大值的一个过程必然成立
• (6) 取相等的方式去是应用了 Jensen不等式

即证明了\(l(\theta^{(t)}) \leq l(\theta^{(t+1)})\) , 即EM算法是收敛的呀.

小结

首先是要理解,参数估计的 是在干嘛, 需要回顾统计学的基础知识, 或理解上篇扔硬币的栗子

核心, 用到了一个jensen 不等式, 需要回顾凸函数的一些性质来理解一波

推导的方式呢, 依旧是极大似然估计, 带log (乘法边加法)

推导核心技巧是 全概率与贝叶斯公式, 真正理解太重要, 如LDA, 逻辑回归, 贝叶斯...这些算法都用到了.

证明收敛, 其实只是一些, 推理的技巧, 还是挺有意思的.

总体上, EM算法, 理解起来,我感觉不是很容易, 但, 也没有想象的那样难, 只要肯坚持, 正如爱因斯坦所说的那样嘛, 当然也为了自勉目前在经济和精神双重困境中的自己:

​ 耐心和恒心, 总会获得收获的