最大似然估计与最小二乘估计的区别

标签(空格分隔): 概率论与数理统计


最小二乘估计

对于最小二乘估计来说,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值与观测值之差的平方和最小。

设Q表示平方误差,\(Y_{i}\)表示估计值,\(\hat{Y}_{i}\)表示观测值,即\(Q = \sum_{i=1}^{n}(Y_{i} - \hat{Y}_{i})^{2}\)

最大似然估计

对于最大似然估计来说,最合理的参数估计量应该使得从模型中抽取该n组样本的观测值的概率最大,也就是概率分布函数或者似然函数最大。

显然,最大似然估计需要已知这个概率分布函数,一般假设其满足正态分布函数的特性,在这种情况下,最大似然估计与最小二乘估计是等价的,也就是估计的结果是相同的。
最大似然估计原理:

  1. 当给定样本\(x_{1}, x_{2}, ... ,x_{n}\)时,定义似然函数为\(L(\theta) = f(x_{1}, x_{2}, ... ,x_{n};\theta)\);
  2. \(L(\theta)\)看做是\(\theta\)的函数,最大似然估计就是用使\(L(\theta)\)达到最大值的\(\hat{\theta}\)去估计\(\theta\),这时称\(\hat{\theta}\)为\(\theta\)的最大似然估计;

MLE的步骤:

  1. 由总体分布导出样本的联合概率函数(或联合密度);
  2. 把样本联合概率函数的自变量看成是已知常数,而把\(\theta\)看做是自变量,得到似然函数\(L(\theta)\);
  3. 求似然函数的最大值(常常取对数,然后求驻点);
  4. 用样本值带入得到参数的最大似然估计。

例题

设一个有偏的硬币,抛了100次,出现1次人头,99次字。问用最大似然估计(ML)和最小均方误差(LSE)估计出现人头的概率哪个大?

LSE

设使用LSE估计,出现人头的概率为\(\theta\), 则出现字的概率为\(1 - \theta\)。
已知观测量为:(观测到的)出现人头的概率为\(\frac{1}{100}\), (观测到的)出现字的概率为\(\frac{99}{100}\),则由最小二乘估计:
\(Q(\theta) = argmin_{\theta}\sum_{1}^{100}(\theta - \hat{\theta})^{2} \\ = argmin_{\theta} \{(\frac{1}{100} - \theta)^{2} + [\frac{99}{100} - (1-\theta)]^{2} * 99\}\)
令\(\frac{\partial{Q(\theta)}}{\partial{\theta}} = 0\),解得\(\theta = \frac{1}{100}\);

ML

设使用ML估计,所以x服从伯努利分布,\(x \sim B(朝上,\theta)\),
则概率密度函数为:
\[P(x|\theta) =
\begin{cases}
\theta, & \text{if x 人头朝上} \\
1 - \theta, & \text{if x 字朝上}
\end{cases}
\]
则连续100次试验的似然函数为:
\(P(x_{1}, x_{2},..x_{100}|\theta) = C_{100}^{1}\theta^{1} * (1 - \theta)^{99} = 100 * \theta^{1} * (1 - \theta)^{99}\)
最大化似然函数,则\(\theta\)至少为驻点,对似然函数取对数并求偏导:
\(\ln P(x_{1}, x_{2},..x_{100}|\theta) = \ln 100 + \ln\theta + 99\ln (1 - \theta)\)
对\(\theta\)求偏导为0,得到:
\(\frac{\partial\ln P(x_{1}, x_{2},..x_{100}|\theta)}{\partial\theta} = \frac{1}{\theta} - \frac{99}{1 - \theta} = 0\), 解得\(\theta = \frac{1}{100}.\)

两者虽然得到的估计值是一样的,但是原理完全不同,要对他们的推导过程非常清楚。

最大似然估计(MLE)与最小二乘估计(LSE)的区别的更多相关文章

  1. 萌新笔记——Cardinality Estimation算法学习(二)(Linear Counting算法、最大似然估计(MLE))

    在上篇,我了解了基数的基本概念,现在进入Linear Counting算法的学习. 理解颇浅,还请大神指点! http://blog.codinglabs.org/articles/algorithm ...

  2. 4.机器学习——统计学习三要素与最大似然估计、最大后验概率估计及L1、L2正则化

    1.前言 之前我一直对于“最大似然估计”犯迷糊,今天在看了陶轻松.忆臻.nebulaf91等人的博客以及李航老师的<统计学习方法>后,豁然开朗,于是在此记下一些心得体会. “最大似然估计” ...

  3. Cardinality Estimation算法学习(二)(Linear Counting算法、最大似然估计(MLE))

    在上篇,我了解了基数的基本概念,现在进入Linear Counting算法的学习. 理解颇浅,还请大神指点! http://blog.codinglabs.org/articles/algorithm ...

  4. 机器学习基础系列--先验概率 后验概率 似然函数 最大似然估计(MLE) 最大后验概率(MAE) 以及贝叶斯公式的理解

    目录 机器学习基础 1. 概率和统计 2. 先验概率(由历史求因) 3. 后验概率(知果求因) 4. 似然函数(由因求果) 5. 有趣的野史--贝叶斯和似然之争-最大似然概率(MLE)-最大后验概率( ...

  5. 补充资料——自己实现极大似然估计(最大似然估计)MLE

    这篇文章给了我一个启发,我们可以自己用已知分布的密度函数进行组合,然后构建一个新的密度函数啦,然后用极大似然估计MLE进行估计. 代码和结果演示 代码: #取出MASS包这中的数据 data(geys ...

  6. 详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解

    转载声明:本文为转载文章,发表于nebulaf91的csdn博客.欢迎转载,但请务必保留本信息,注明文章出处. 原文作者: nebulaf91 原文原始地址:http://blog.csdn.net/ ...

  7. 最大似然估计 (MLE)与 最大后验概率(MAP)在机器学习中的应用

    最大似然估计 MLE 给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参,即“模型已定,参数未知”. 例如,对于线性回归,我们假定样本是服从正态分布,但是不知道 ...

  8. 最大似然估计 (MLE) 最大后验概率(MAP)

    1) 最大似然估计 MLE 给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参,即"模型已定,参数未知". 例如,我们知道这个分布是正态分布 ...

  9. 【模式识别与机器学习】——最大似然估计 (MLE) 最大后验概率(MAP)和最小二乘法

    1) 极/最大似然估计 MLE 给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参,即“模型已定,参数未知”.例如,我们知道这个分布是正态分布,但是不知道均值和 ...

随机推荐

  1. z/os上的tar和gzip

    在*nix平台上玩过的人都知道,tar和gzip基本上是每天都要使用的,而且非常之好用.而Mainframer则比较痛苦,没有这么好用的东西,尤其是当需要通过网络传大批量的文件的时候很不方便. 不过总 ...

  2. 利用foreach对页面控件的遍历 及三目运算符的使用

    1.利用foreach对页面控件的遍历 及三目运算符的使用 利用div将一组CheckBox放在一起用于遍历 <body> <form id="form1" ru ...

  3. 视频处理控件TVideoGrabber视频捕捉设设备相关问题

    选择一个视频捕捉设备 首先设置 VideoSource = vs_VideoCaptureDevice来选择一个视频捕捉设备作为一个视频源. 通过指定VideoDevice属性来选择当前的视频捕捉设备 ...

  4. ImagXpress中如何修改Alpha通道方法汇总

    ImagXpress支持处理Alpha通道信息来管理图像的透明度,Alpha通道支持PNG ,TARGA和TIFF文件,同时还支持BMP和ICO文件.如果说保存的图像样式不支持Alpha通道,就将会丢 ...

  5. 161101、在Java中如何高效判断数组中是否包含某个元素

    如何检查一个数组(无序)是否包含一个特定的值?这是一个在Java中经常用到的并且非常有用的操作.同时,这个问题在Stack Overflow中也是一个非常热门的问题.在投票比较高的几个答案中给出了几种 ...

  6. 【jqGrid for ASP.NET MVC Documentation】.学习笔记.2.jqGrid Model-View-Controller 分离

    1 基本 分离代码 和 描述 ,在ASP.NET MVC 应用程序中是非常重要的.因此,jqGrid 的 mvc 模式使用一个共同的网格安装设置,包括 Model ,Controller 和 View ...

  7. 启动hadoop报192.168.1.151: Address 192.168.1.151 maps to node1, but this does not map back to the address - POSSIBLE BREAK-IN ATTEMPT!

    使用root用户启动hadoop的时候报错: [root@node1 ~]# su - hadoop -c start-all.sh starting namenode, logging to /ap ...

  8. Struts输出流向jsp页面写入图片乱码

    通过Struts2输出字节流将图片写到jsp页面上,之前用jquery的div对象的html()方法接收一直显示乱码,查了很多网页都找不到解决办法,不是说contentype="multip ...

  9. [HTML]HTML5实现可编辑表格

    HTML5实现的简单的可编辑表格 [HTML]代码 <!DOCTYPE html > <html > <head> <meta charset="u ...

  10. html状态码与缓存学习

    当浏览器访问一个页面时,浏览者的浏览器会向网页所在的服务器发送请求.当浏览器接收并显示网页前,此网页所在的服务器会返回一个包含HTTP状态码的信息头(server header)用以响应浏览器的请求. ...