一起啃PRML - 1.2.4 The Gaussian distribution 高斯分布 正态分布

@copyright 转载请注明出处 http://www.cnblogs.com/chxer/

我们将用整个第二章来研究各种各样的概率分布以及它们的性质。然而,在这里介绍连续变量一种最重要的概率分布是很方便的。这种分布就是正态分布(normal distribution)或者高斯分布(Gaussian distribution)。在其余章节中(事实上在整本书中),我们将会经常用到这种分布。

正态分布是这么定义的:

图像长成这样:

我们待会被数学折磨完后再来了解这些参数的意义。

先来看看正态分布几个性质:全正且归一

好,接下来我们来算一下正态分布的期望以及二阶矩的期望以及方差。

先从简单的一阶期望开始:

然后我们就磨出来了,喜大普奔。

二阶矩似乎道理是一样的。以后再补上吧。

那么我们就把方差求出来了:

现在我们就知道每一个参数的意义了:

μ,被叫做均值(mean),以及σ2,被叫做方差(variance)。方差的平方 根,由σ给定,被叫做标准(standard deviation)。方差的倒数,记作β = 1 ,被叫做精度。

分布的最大值是众数。对于正态分布来说,众数是等于均值的。

我们也对D维向量x的正态分布感兴趣(不包括我),它是这么定义的:

现在假定我们有一个观测的数据集x = (x1, . . . , xN )T ,表示标量变量x的N次观测。注意, 我们使用一个字体不同的x来和向量变量(x1, . . . , xD)T 作区分,后者记作x。我们假定各次观 测是独立地从高分布中抽取的,分布的均值μ和方差σ2未知,我们想根据数据集来确定这 参数。独立地从相同的数据中抽取的数据点被称为独立同分布(independent and identically distributed),通常缩写成i.i.d.。我们已看到两个独立事件的联合概率可以由各个事件的边缘概率的乘积得到。由于我们的数据集x是独立同布的,因此给定μ和σ2,我们可以给出数据集的概率:

我们就得到了正态分布的似然函数。我们取对数就可以得到对数似然函数:

我们分别关于两个参数最大化对数似然函数,就得到了样本均值和样本方差:

  

事实上,我们发现样本均值应该是无偏的,也就是有:

对于样本方差,我们则需要考量。

当数据点的数量N增大时,最大似然解的偏移会变得不太严重,并且在极 限N → ∞的情况下,方差的最大似然解与产生数据的分布的真实方差相等。在实际应用中,只要N 的值不太小,那么偏移的现象不是个大问题。然而,在本书中,我们感兴趣的是带有很多参数的复杂模型。这些模型中,最大似然的偏移问题会更加严重。实际上,我们会看到,最大似然的偏移问题是我们在多项式曲线拟合问题中遇到的过拟合问题的核心。

一起啃PRML - 1.2.4 The Gaussian distribution 高斯分布 正态分布的更多相关文章

  1. 一起啃PRML - 1.2.3 Bayesian probabilities 贝叶斯概率

    一起啃PRML - 1.2.3 Bayesian probabilities 贝叶斯概率 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 这一节简单讲 ...

  2. 一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差

    一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ ...

  3. 一起啃PRML - 1.2.1 Probability densities 概率密度

    一起啃PRML - 1.2.1 Probability densities @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 我们之前一直在讨论“谁取到 ...

  4. 一起啃PRML - 1.2 Probability Theory 概率论

    一起啃PRML - 1.2 Probability Theory @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ A key concept in t ...

  5. 一起啃PRML - 1.1 Example: Polynomial Curve Fitting 多项式曲线拟合

    一起啃PRML - 1.1 Example: Polynomial Curve Fitting @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 前言: ...

  6. 一起啃PRML - 1 Introduction 绪论

    一起啃PRML - 1 Introduction @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 这一部分主要是介绍一下Pattern Recogni ...

  7. 一起啃PRML - Preface 前言

    一起啃PRML - 前言 Preface @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ PRML,Pattern Recognition and M ...

  8. 正态分布(Normal distribution)又名高斯分布(Gaussian distribution)

    正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学.物理及project等领域都很重要的概率分布,在统计学的很多方面有着重大的影 ...

  9. UNDERSTANDING THE GAUSSIAN DISTRIBUTION

    UNDERSTANDING THE GAUSSIAN DISTRIBUTION Randomness is so present in our reality that we are used to ...

随机推荐

  1. Failed to create a 'System.Type' from the text ' ' in wpf(无法从文本创建类型)

    问题描述:WPF is unable to create a type for data templateWPF使用mvvm模式无法加载DataTemplate模板定义的资源,提示无法从文本创建类型错 ...

  2. 【转】字符编码笔记:ASCII,Unicode和UTF-8

    今天整理笔记,关于NSString转NSData时,什么时候使用NSUTF8StringEncoding,或者NSASCIIStringEncoding,或者 NSUnicodeStringEncod ...

  3. ios专题 - 委托模式实现

    在ios中,委托模式非常常见,那委托模式是什么? 委托模式是把一个对象把请求给另一个对象处理. 下面见例子: #import <UIKit/UIKit.h> @protocol LQIPe ...

  4. Leaflet交流

    GIS科研网 Leaflet交流 谢绝转载 http://www.3sbase.com欢迎加群交流  108299288 http://www.3sbase.com/3sbase/webgistest ...

  5. Android版多线程下载器核心代码分享

    首先给大家分享多线程下载核心类: package com.example.urltest; import java.io.IOException; import java.io.InputStream ...

  6. 基于NodeJs的网页爬虫的构建(一)

    好久没写博客了,这段时间已经忙成狗,半年时间就这么没了,必须得做一下总结否则白忙.接下去可能会有一系列的总结,都是关于定向爬虫(干了好几个月后才知道这个名词)的构建方法,实现平台是Node.JS. 背 ...

  7. ubuntu 安装qq

    受不了webqq那个界面 ,各种不习惯 .今天在ubuntu 12.04LTS 版本中 ,终于装上了qq2012,下面介绍一下安装方法 1  安装 wine sudo  apt-get install ...

  8. a标签使用

    1.发起邮件 注意:如果mailto后面同时有多个参数的话,第一个参数必须以“?”开头,后面的参数每一个都以“&”分隔. <a href="mailto:281345774@q ...

  9. demo_08webStroage案例

    <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title> ...

  10. DIV+CSS 网页布局之:混合布局

    1.混合布局 在了解了一列.两列和三列布局之后,混合布局也就不难理解了,混合布局也可以叫综合型布局,那么混合布局就可以在一列布局的基础之上,分为两列布局,三列布局,网页布局的结构普遍都是三列布局,但是 ...