一起啃PRML - 1.2.3 Bayesian probabilities 贝叶斯概率 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 这一节简单讲了最大似然. 回顾贝叶斯公式,我们可以把p(D)用积分的形式表示: 至于最大似然,我在这一章里其实并没有了解什么,那我摘一些大牛的博客吧. 这一篇我觉得至少我懂了. 最大似然法是要解决这样一个问题:给定一组数据和一个参数待定的模型,如何确定模型的参数,使得这个确定参数后的模型在所有模型中产生已知数据…

主讲人 planktonli planktonli(1027753147) 19:52:28 现在我们就开始讲第四章,第四章的内容是关于 线性分类模型,主要内容有四点:1) Fisher准则的分类,以及它和最小二乘分类的关系 (Fisher分类是最小二乘分类的特例)2) 概率生成模型的分类模型3) 概率判别模型的分类模型4) 全贝叶斯概率的Laplace近似 需要注意的是,有三种形式的贝叶斯:1) 全贝叶斯2) 经验贝叶斯3) MAP贝叶斯我们大家熟知的是 MAP贝叶斯 MAP(poor man…

1. 从贝叶斯方法(思想)说起 - 我对世界的看法随世界变化而随时变化 用一句话概括贝叶斯方法创始人Thomas Bayes的观点就是:任何时候,我对世界总有一个主观的先验判断,但是这个判断会随着世界的真实变化而随机修正,我对世界永远保持开放的态度. 1763年,民间科学家Thomas Bayes发表了一篇名为<An essay towards solving a problem in the doctrine of chances>的论文, 这篇论文发表后,在当时并未产生多少影响,但是在20…

一起啃PRML - 1.2.4 The Gaussian distribution 高斯分布 正态分布 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 我们将用整个第二章来研究各种各样的概率分布以及它们的性质.然而,在这里介绍连续变量一种最重要的概率分布是很方便的.这种分布就是正态分布(normal distribution)或者高斯分布(Gaussian distribution).在其余章节中(事实上在整本书中),我们将会经常用到这种分布.…

一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 涉及到概率的一个重要的操作是寻找函数的加权平均值.在概率分布p(x)下,函数f(x)的平均值被称为f(x)的期望(expectation),记作E[f].对于一个离散变量,它的定义为: 因此平均值根据x的不同值的相对概率加权.在连续变量的情形下,期望以对应的概率密度的积分的形式表示: 类似的,我们…

一起啃PRML - 1.2.1 Probability densities @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 我们之前一直在讨论“谁取到什么”这样的概率问题,现在我们不妨来研究“谁取到哪个范围内”这样的概率问题. x位于区间(a, b)的概率由下式给出: 由于概率是非负的,并且x的值一定位于实数轴上得某个位置,因此概率密度一定满足下面两个条件: 位于区间(−∞, z)的x的概率由累积分布函数(cumulative distribut…

一起啃PRML - 1.2 Probability Theory @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ A key concept in the field of pattern recognition is that of uncertainty. 可以看出概率论在模式识别显然是非常重要的一大块. 读其他书的时候在概率这方面就也很纠结过. 我们也还是通过一个例子来理解一下Probability Theory里面一些重要的概念. Ima…

一起啃PRML - 1.1 Example: Polynomial Curve Fitting @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 前言:真是太糟糕了,本地的公式和图片粘上来全都喂汪了... We begin by introducing a simple regression problem, 用一个例子穿起这些零碎的知识点. 回顾最前面的Mathematical Notation: A superscript T denotes…

一起啃PRML - 1 Introduction @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 这一部分主要是介绍一下Pattern Recognition 和 Machine Learning. 上来就是 Recognising handwritten digits, MNIST...在一本书的Introduction里看见MNIST真是伤心的一件事. 每一个图片28*28 pixel,按照老方法放到vector里,784. 那么 Patte…

一起啃PRML - 前言 Preface @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ PRML,Pattern Recognition and Machine Learning,绝对的AI界的教科书. Christopher 的大作,曾经一直想读,却总是找不到一些固定的时间去好好的品味一下.也就对Pattern Recognition 和 Machine Learning 这块感觉总是差了一点. 哎不扯了赶紧进入正题了. Preface 有一…