MLE

独立同分布的采样x1,x2,…,xn，θ为模型参数,f为我们所使用的模型。参数为θ的模型f产生上述采样可表示为

f(x1,x2,…,xn|θ)=πf(xi|θ)

已知的为x1,x2,…,xn,未知为θ，故似然定义为:L(θ|x1,x2,…,xn)=f(x1,x2,…,xn|θ)=πf(xi|θ)

常用的是两边取对数，得到公式如下：

lnL(θ|x1,x2,…,xn)=Σlnf(xi|θ)

其中lnL(θ|x1,x2,…,xn)称为对数似然，

而

称为平均对数似然。而我们平时所称的最大似然为最大的对数平均似然，即：