最大似然估计与最小二乘估计的区别 标签(空格分隔): 概率论与数理统计 最小二乘估计 对于最小二乘估计来说,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值与观测值之差的平方和最小. 设Q表示平方误差,\(Y_{i}\)表示估计值,\(\hat{Y}_{i}\)表示观测值,即\(Q = \sum_{i=1}^{n}(Y_{i} - \hat{Y}_{i})^{2}\) 最大似然估计 对于最大似然估计来说,最合理的参数估计量应该使得从模型中抽取该n组样本的观测值的概率最大,也就是概…

转载请注明:http://blog.csdn.net/xinzhangyanxiang/article/details/9113681 最近在看Ng的机器学习公开课,Ng的讲法循循善诱,感觉提高了不少.该系列视频共20个,每看完一个视频,我都要记录一些笔记,包括公式的推导,讲解时候的例子等.按照Ng的说法,公式要自己推理一遍才能理解的通透,我觉得自己能够总结出来,发到博客上,也能达到这个效果,希望有兴趣的同学要循序渐进,理解完一个算法再开始学另外一个算法,每个算法总结一遍,虽然看起来很慢,但却真…

以下是Kalman的收敛性证明思路: cite:Stochastic Processes and Filtering Theory…

(一)局部加权回归 通常情况下的线性拟合不能很好地预测所有的值,因为它容易导致欠拟合(under fitting).如下图的左图.而多项式拟合能拟合所有数据,但是在预测新样本的时候又会变得很糟糕,因为它导致数据的 过拟合(overfitting),不符合数据真实的模型.如下图的右图. 下面来讲一种非参数学习方法——局部加权回归(LWR).为什么局部加权回归叫做非参数学习方法呢?首先,参数学习方法是这样一种方法:在训练完成所有数据后得到一系列训练参数,然后根据训练参数来预测新样本的值,这时不再依赖…

最小二乘法可以从Cost/Loss function角度去想,这是统计(机器)学习里面一个重要概念,一般建立模型就是让loss function最小,而最小二乘法可以认为是 loss function = (y_hat -y )^2的一个特例,类似的像各位说的还可以用各种距离度量来作为loss function而不仅仅是欧氏距离.所以loss function可以说是一种更一般化的说法. 最大似然估计是从概率角度来想这个问题,直观理解,似然函数在给定参数的条件下就是观测到一组数据realizat…

本次课题实现目标跟踪一共用到了三个算法,分别是Camshift.Kalman.CSRT,基于Python语言的Tkinter模块实现GUI与接口设计,项目一共包含三个文件: main.py: # coding:utf-8 # 主模块 import Tkinter import tkFileDialog import cv2 import time from PIL import ImageTk # 导入自定义模块 import track import utils # 设置窗口800*480 r…

此部分是计算机视觉部分,主要侧重在底层特征提取,视频分析,跟踪,目标检测和识别方面等方面.对于自己不太熟悉的领域比如摄像机标定和立体视觉,仅仅列出上google上引用次数比较多的文献.有一些刚刚出版的文章,个人非常喜欢,也列出来了. 18. Image Stitching图像拼接,另一个相关的词是Panoramic.在Computer Vision: Algorithms and Applications一书中,有专门一章是讨论这个问题.这里的两面文章一篇是综述,一篇是这方面很经典的文章.[20…

起本篇题目还是比较纠结的,原因是我本意打算寻找这样一个算法:在测量数据有比较大离群点时如何估计原始模型. 上一篇曲面拟合是假设测量数据基本符合均匀分布,没有特别大的离群点的情况下,我们使用最小二乘得到了不错的拟合结果. 但是当我加入比如10个大的离群点时,该方法得到的模型就很难看了.所以我就在网上搜了一下,有没有能够剔除离群点的方法. 结果找到了如下名词:加权最小二乘.迭代最小二乘.抗差最小二乘.稳健最小二乘. 他们细节的区别我就不过分研究了,不过这些最小二乘似乎表达的是一个意思: 构造权重函数…

IRLS用于解决这种目标函数的优化问题(实际上是用2范数来近似替代p范数,特殊的如1范数). 可将其等价变形为加权的线性最小二乘问题: 其中W(t)可看成对角矩阵,每步的w可用下面的序列代替 如果 p=1,则将w(t)换为这种形式 有时为了保证分母不为零,加上了一个比较项(          )…

一.什么是卡尔曼滤波 在雷达目标跟踪中,通常会用到Kalman滤波来形成航迹,以前没有学过机器学习相关知识,学习Kalman时,总感觉公式看完就忘,而且很多东西云里雾里并不能深入理解,最后也就直接套那几个递推公式了.通过上一篇CRF,我们可以顺便回顾一下HMM,事实上,这几种算法和Kalman之间是有联系的,这个联系,据说是在PRML这本书的第13章里讲的线性动态系统(LDS)讲的,有机会一定好好拜读一下!那么什么是Kalman滤波呢? 首先,简单的理解就是:对于一个目标,它会具有一定的速度,如…

机器学习到底学习到了什么,或者说“训练”步骤到底在做些什么?在我看来答案无非是:所谓的“学习”就是把大量的数据归纳到少数的参数中,“训练”正是估计这些参数的过程.所以,除了“参数估计”, 我想不到还有什么更适合用来首先讨论的了. 1.起源 “1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星.经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置.随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果.时年24…

Chapter 4 1. 最小二乘和正规方程 1.1 最小二乘的两种视角 从数值计算视角看最小二乘法 我们在学习数值线性代数时,学习了当方程的解存在时,如何找到\(\textbf{A}\bm{x}=\bm{b}\)的解.但是当解不存在的时候该怎么办呢?当方程不一致(无解)时,有可能方程的个数超过未知变量的个数,我们需要找到第二可能好的解,即最小二乘近似.这就是最小二乘法的数值计算视角. 从统计视角看最小二乘法 我们在数值计算中学习过如何找出多项式精确拟合数据点(即插值),但是如果有大量的数据点,…

对于见得多了的东西,我往往就习以为常了,慢慢的就默认了它的存在,而不去思考内在的一些道理.总体最小二乘是一种推广最小二乘方法,本文的主要内容参考张贤达的<矩阵分析与应用>. 1. 最小二乘法 最小二乘法,大家都很熟悉,用在解决一超定方程.最小“二”乘的“二”体现在准则上——令误差的平方和最小,等价于 最小二乘解为(非奇异) 可以从多个角度来理解最小二乘方法,譬如从几何方面考虑,利用正交性原理导出. Steven M.Kay 的<统计信号处理—估计理论>中是这样介绍最小二乘估计的:最…

1.线性回归介绍 X指训练数据的feature,beta指待估计得参数. 详细见http://zh.wikipedia.org/wiki/%E4%B8%80%E8%88%AC%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B 使用最小二乘法拟合的普通线性回归是数据建模的基本方法. 令最小二乘项的偏导为0(为0时RSS项最小),求Beta估计值,得到最小二乘的向量形式. 最小二乘其实就是找出一组参数beta使得训练数据到拟合出的数据的欧式距离最小.如下图所示,使所有红点(训练…

突然有个想法,能否通过学习一阶RC电路的阶跃响应得到RC电路的结构特征——时间常数τ(即R*C).回答无疑是肯定的,但问题是怎样通过最小二乘法.正规方程,以更多的采样点数来降低信号采集噪声对τ估计值的影响.另外,由于最近在捣鼓Jupyter和numpy这些东西,正好尝试不用matlab而用Jupyter试试看.结果是意外的好用,尤其是在Jupyter脚本中插入LaTeX格式的公式的功能,真是太方便了!尝试了直接把纸上手写的公式转换到Jupyter脚本中的常见工具软件. 以下原创内容欢迎网友转载,…

最近想写一篇系列博客比较系统的解释一下 SLAM 中运用到的优化理论相关内容,包括线性最小二乘.非线性最小二乘.最小二乘工具的使用.最大似然与最小二 乘的关系以及矩阵的稀疏性等内容.一方面是督促自己对这部分知识进行总结,另一方面也希望能够对其他人有所帮助.由于内容比较多希望能够坚持写完. 本篇博客主要讲解线性最小二乘问题,主要包括以下内容: 最小二乘问题的定义 正规方程求解 乔姆斯基分解法求解 QR分解法求解 奇异值分解法求解 齐次方程的最小二乘 一. 问题的定义 最小二乘问题通常可以表述为,通…

本篇博客为系列博客第二篇,主要介绍非线性最小二乘相关内容,线性最小二乘介绍请参见SLAM中的优化理论(一)-- 线性最小二乘.本篇博客期望通过下降法和信任区域法引出高斯牛顿和LM两种常用的非线性优化方法.博客中主要内容为: 非线性最小二乘介绍: 下降法相关理论(Desent Method); 信任区域理论(Trust Region Methods); 非线性最小二乘求解方法(高斯牛顿.LM) 由于个人水平有限,文中难免有解释不清晰的地方,因此希望大家结合着[1].[2]和[3]进行理解.如果在阅…

标准的线性回归模型的假设之一是因变量方差齐性,即因变量或残差的方差不随自身预测值或其他自变量的值变化而变化.但是有时候,这种情况会被违反,称为异方差性,比如因变量为储蓄额,自变量为家庭收入,显然高收入家庭由于有更多的可支配收入,因此储蓄额差异较大,而低收入家庭由于没有过多的选择余地,因此储蓄会比较有计划和规律. 异方差性如果还是使用普通最小二乘法进行估计,那么会造成以下问题 1.估计量仍然具有无偏性,但是不具备有效性2.变量的显著性检验失去意义3.由于估计量变异程度增大,导致模型预测误差增大,精…

一.模型假设 传统多元线性回归模型 最重要的假设的原理为: 1. 自变量和因变量之间存在多元线性关系,因变量y能够被x1,x2-.x{k}完全地线性解释:2.不能被解释的部分则为纯粹的无法观测到的误差 其它假设主要为: 1.模型线性,设定正确: 2.无多重共线性: 3.无内生性: 4.随机误差项具有条件零均值.同方差.以及无自相关: 5.随机误差项正态分布 具体见另一篇文章:回归模型的基本假设 二.估计方法 目标:估计出多元回归模型的参数 注:下文皆为矩阵表述,X为自变量矩阵(n*k维),y为因…

上研究生的时候接触的第一个Loss function就是least square.最近又研究了一下,做个总结吧. 定义看wiki就够了.公式如下 E(w)=12∑n=1N{y−xWT}2E(w)=12∑n=1N{y−xWT}2 其中yy代表类标列向量,xx代表特征行向量,WW代表回归或者分类参数矩阵.通过令欧式距离最小化优化得到最优的WW. 我遇到的第一个问题是,这个公式是怎么得到的,motivation是什么.我个人倾向于最大似然这个角度来解释.具体如下: 假设回归或分类模型公式如下: y=W…

Kalman Filter是一个高效的递归滤波器,它可以实现从一系列的噪声测量中,估 计动态系统的状态.广泛应用于包含Radar.计算机视觉在内的等工程应用领域,在控制理论和控制系统工程中也是一个非常重要的课题.连同线性均方规划,卡尔曼滤波器可以用于解决LQG(Linear-quadratic-Gaussian control)问题.卡尔曼滤波器,线性均方归化及线性均方高斯控制器,是大部分控制领域基础难题的主要解决途径. 目录 ■    1     应用实例 ■    2    命名和发展历史…

多目标跟踪方法 NOMT 学习与总结 ALFD NOMT MTT 读 'W. Choi, Near-Online Multi-target Tracking with Aggregated Local Flow Descriptor, ICCV,2015'笔记 NOMT这个方法在MOTChallenge2015,MOTChallenge2016库上的结果都算比较好的了,虽然方法比较老了.另外一个显著的特点就是该方法的各种tricks实在是太多,虽没有找到源码,但对作者还真是佩服. 概述 这篇文章…

此部分是计算机视觉部分,主要侧重在底层特征提取,视频分析,跟踪,目标检测和识别方面等方面.对于自己不太熟悉的领域比如摄像机标定和立体视觉,仅仅列出上google上引用次数比较多的文献.有一些刚刚出版的文章,个人非常喜欢,也列出来了. 18. Image Stitching图像拼接,另一个相关的词是Panoramic.在Computer Vision: Algorithms and Applications一书中,有专门一章是讨论这个问题.这里的两面文章一篇是综述,一篇是这方面很经典的文章.[20…

此部分是计算机视觉部分,主要侧重在底层特征提取,视频分析,跟踪,目标检测和识别方面等方面.对于自己不太熟悉的领域比如摄像机标定和立体视觉,仅仅列出上google上引用次数比较多的文献.有一些刚刚出版的文章,个人非常喜欢,也列出来了. 33. SIFT关于SIFT,实在不需要介绍太多,一万多次的引用已经说明问题了.SURF和PCA-SIFT也是属于这个系列.后面列出了几篇跟SIFT有关的问题.[1999 ICCV] Object recognition from local scale-invar…

论文地址:基于通用传递函数GSC和后置滤波的语音增强 博客作者:凌逆战 博客地址:https://www.cnblogs.com/LXP-Never/p/12232341.html 摘要 在语音增强应用中,麦克风阵列后置滤波可进一步减少波束形成器输出处的噪声成分.在麦克风阵列结构中,最近提出的通用传递函数广义旁瓣消除器(TF-GSC)在定向噪声场中显示出令人印象深刻的降噪能力,同时仍保持低语音失真.但是,在扩散噪声场中,可获得的降噪效果不明显.当噪声信号不稳定时,性能甚至会进一步下降. 在本文中…

原文链接:http://blog.csdn.net/v_july_v/article/details/7624837 作者:July.pluskid :致谢:白石.JerryLead 出处:结构之法算法之道blog. 前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲清楚,尽管网上已经有朋友写得不错了(见文末参考链接),但在描述数学公式的时候还是显得…

一.模型简介 线性回归默认因变量为连续变量,而实际分析中,有时候会遇到因变量为分类变量的情况,例如阴性阳性.性别.血型等.此时如果还使用前面介绍的线性回归模型进行拟合的话,会出现问题,以二分类变量为例,因变量只能取0或1,但是拟合出的结果却无法保证只有这两个值. 那么使用概率的概念来进行拟合是否可以呢?答案也是否定的,因为1.因变量的概率和自变量之间的关系不是线性的,通常呈S型曲线,并且这种曲线是无法通过曲线直线化进行处理的.2.概率的取值应该在0-1之间,但是线性拟合的结果范围是整个实数集,并…

第一步.初步了解SVM 1.0.什么是支持向量机SVM 要明白什么是SVM,便得从分类说起. 分类作为数据挖掘领域中一项非常重要的任务,它的目的是学会一个分类函数或分类模型(或者叫做分类器),而支持向量机本身便是一种监督式学习的方法,它广泛的应用于统计分类以及回归分析中. 支持向量机(SVM)是90年代中期发展起来的基于统计学习理论的一种机器学习方法,通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围的最小化,从而达到在统计样本量较少的情况下,亦能获得良好统计规律的目的. 通俗来…

转自:http://blog.csdn.net/v_july_v/article/details/7624837 支持向量机通俗导论(理解SVM的三层境界) 前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲清楚,尽管网上已经有朋友写得不错了(见文末参考链接),但在描述数学公式的时候还是显得不够.得益于同学白石的数学证明,我还是想尝试写一下,希望本文…

最小二乘法也称为最小平方法,是一种数据优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配. 最小二乘法最初由高尔顿在创立回归分析的时候提出,现在已经成为探索变量间关系最重要的方法,最小二乘法根据其数学原理命名,即误差平方和最小,在误差平方和最小状态下进行函数参数估计,可认为是参数的最佳估计. 一.问题的提出我们在研究变量间的关系时,会收集一定量的数据样本,这些数据在二维坐标图上呈现为一个个的数据点,理论上来讲,如果变量间存在确定的已知函数关系,则函数图像(曲线或直线)会经过所有的数据点,而…