机器学习-EM算法-GMM模型笔记

GMM即高斯混合模型，下面根据EM模型从理论公式推导GMM：

　　　　随机变量X是有K个高斯分布混合而成，取各个高斯分布的概率为φ_1，φ_2，... ，φ_K，第i个高斯分布的均值为μ_i，方差为Σ_i。若观测到随机变量X的一系列样本x₁,x₂,...,x_n，试估计参数φ，μ，Σ。

　　　　E-step

　　　　

M-step

　　　　将多项分布和高斯分布的参数带入EM模型：

　　　　

　　　　对均值求偏导：

　　　　 

　　　　令上式等于0，解的均值：

　　　　

　　　　高斯分布的方差：求偏导，等于0：

　　　　

　　　　多项分布的参数：

　　　　

　　　　得到

　　　　

　　　　　　　　拉格朗日乘子法：

　　　　　　　　由于多项分布的概率和为1，建立拉格朗日方程：

　　　　　　　　

　　　　　　　　求解的φi一定非负，不用考虑φi≥0这个条件，求偏导，等于0：

　　　　　　　　

至此GMM的推导正式完成。