最大似然估计与期望最大化（EM）算法

一、最大似然估计与最大后验概率

1、概率与统计

概率与统计是两个不同的概念。

概率是指：模型参数已知，X未知，p(x1) ... p(xn) 都是对应的xi的概率

统计是指：模型参数未知，X已知，根据观测的现象，求模型的参数

2、似然函数与概率函数

• 似然跟概率是同义词，所以似然也是表示概率，但这个概率有些不一样。

似然是指：模型在不同参数下， p(x1) ... p(xn) 发生的概率

似然估计是指：模型的参数未知，X已知，根据观测现象（X），估计模型参数的过程

• 最大似然估计（为什么要最大）：

对于观测数据集x1,x2...xn, 在θ下发生的概率分别是p(x1|θ),p(x2|θ)... p(xn|θ), 所以出现该观测数据集的概率为 P(X|θ) = p(x1|θ)p(x2|θ)... p(xn|θ), 那想一想为什么我一下就会抽出x1, x2 ... xn这n个数据呢？一种直观的解释就是 它们发生的概率大，所以 就是求让 P(X)最大下的θ，这就是最大似然估计。

 3、最大后验概率

最大似然是求参数，让P(X|θ)最大，最大后验概率是让P(X|θ)P(θ)最大，相当于给似然函数加了一个关于θ的权重。

为什么要让 P(X|θ)P(θ) 最大？

想一想我们在干什么？我们是根据一群观测数据X = （x1, x2 ... xn) 估计模型的参数，即求 P(θ₀ | X),  用贝叶斯改一下就是

P(θ₀ | X) = P(X|θ₀) P(θ₀) / P(X) , 对于给定的观测序列X来说P（X）是固定的，所以我们求后验概率P(θ₀ | X)最大就是求P(X|θ₀) P(θ₀)最大

对于