一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差
一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差
@copyright 转载请注明出处 http://www.cnblogs.com/chxer/
涉及到概率的一个重要的操作是寻找函数的加权平均值。在概率分布p(x)下,函数f(x)的平均值被称为f(x)的期望(expectation),记作E[f]。对于一个离散变量,它的定义为:
因此平均值根据x的不同值的相对概率加权。在连续变量的情形下,期望以对应的概率密度的积分的形式表示:
类似的,我们有“条件期望”。无非就是把边缘概率变成条件概率。
在连续变量的情况下,我们把求和改成积分就好了。
如果我们给定有限数量的N 个点,这些点满足某个概率分布或者概率密度函数,那么期望可以通过平均的方式估计:
可以看出,当点数足够多,即N趋向于无穷大的时候,估计变得精准。
f(x)的方差被定义为:
方差是干什么的呢,它度量了f(x)在均值E[f(x)]附近变化性的大小。
我们可以把期望大概看成一个不错的平均值吧。
如果我们把方差展开,则会得到一个关于f(x)和f(x)2的期望的式子
。。。。。
。。。。。
。。。。。
我去,这一步的推导真是太66666666666了
太!6!了!
书里真是轻!描!淡!写!就过去了!!!!
太!6!了!
我们都是天才吗一步就能看懂!!!
太!6!了!
幸好请教了伟大的学姐,真是,无!力!吐!槽!
如果只是我的智商低,请忽略这一段,谢谢,关爱智障儿童。。。
期望的运算还真是有讲究。
书里轻描淡写的展开实际过程应该是:
其实就是几个运算律来回用:
E[A-B]=E[A]-E[B]
E[E[A]]=E[A]
E[A*B]=E[A]*E[B] (A,B相互独立时)
行吧。我服了。
要是整本书都是这些“展开”,那真是要死了。
作为一个只有高一数学基础的中学生已经很难了好不好。。。
好我们继续。
当然了,我们不仅可以关心函数,更可以关心我们的自变量本身,于是有:
有一个变量的方差,我们就有两个变量的方差,在这里我们称之为“协方差”,它是这么定义的:
看起来和方差长得一模一样。同理可以展开。
那么协方差是干什么用的呢?它表示在多大程度上x和y会共同变化。也就是说,如果x,y相互独立,x和y的协方差就是0。还记得篮子和苹果的例子吗?
有两个变量的协方差,我们就有向量的协方差,它是这么定义的:
可以看出,两个向量的协方差是个矩阵。每两个元素一一对应求协方差。
当这两个向量长得一样的时候,其实就是求自己和自己的协方差,我们有一个偷懒的记号:
那么这个表示一个向量内元素之间共同变化的程度。等以后配合上实例再谈这些应该会更好一些。
一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差的更多相关文章
- 一起啃PRML - 1.2.4 The Gaussian distribution 高斯分布 正态分布
一起啃PRML - 1.2.4 The Gaussian distribution 高斯分布 正态分布 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ ...
- 一起啃PRML - 1.2.3 Bayesian probabilities 贝叶斯概率
一起啃PRML - 1.2.3 Bayesian probabilities 贝叶斯概率 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 这一节简单讲 ...
- 一起啃PRML - 1.2.1 Probability densities 概率密度
一起啃PRML - 1.2.1 Probability densities @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 我们之前一直在讨论“谁取到 ...
- 一起啃PRML - 1.2 Probability Theory 概率论
一起啃PRML - 1.2 Probability Theory @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ A key concept in t ...
- 一起啃PRML - 1.1 Example: Polynomial Curve Fitting 多项式曲线拟合
一起啃PRML - 1.1 Example: Polynomial Curve Fitting @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 前言: ...
- 一起啃PRML - 1 Introduction 绪论
一起啃PRML - 1 Introduction @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 这一部分主要是介绍一下Pattern Recogni ...
- 一起啃PRML - Preface 前言
一起啃PRML - 前言 Preface @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ PRML,Pattern Recognition and M ...
- PRML读书会第十二章 Continuous Latent Variables(PCA,Principal Component Analysis,PPCA,核PCA,Autoencoder,非线性流形)
主讲人 戴玮 (新浪微博: @戴玮_CASIA) Wilbur_中博(1954123) 20:00:49 我今天讲PRML的第十二章,连续隐变量.既然有连续隐变量,一定也有离散隐变量,那么离散隐变量是 ...
- PRML读书笔记——Introduction
1.1. Example: Polynomial Curve Fitting 1. Movitate a number of concepts: (1) linear models: Function ...
随机推荐
- 学习笔记_过滤器详细(过滤器JavaWeb三大组件之一)
过滤器详细 1 过滤器的生命周期 我们已经学习过Servlet的生命周期,那么Filter的生命周期也就没有什么难度了! (l) init(FilterConfig):在服务器启动时会创建Filte ...
- C#一些小技巧
在C#实现类似Typedef的所有功能 Typedef这个关键字,是比较好用的东西,因为有时候我们需要使用一些别名来帮助我们记忆某些结构体或者类的共用.(个人觉得这是C与C++唯一能吸引我的东西)为了 ...
- mkisofs出错解决办法
使用mkisofs遇到错误: genisoimage: Uh oh, I cant find the boot catalog directory 'beini/boot/isolinux'! 使用的 ...
- can't find -lsocket的解决办法
在UNIX/LINUX当中是不存在libsocket的.传说中,socket的功能库是放在libc当中的,所以如果需要连接的话修改成-lc就可以了.
- 配置php连接apache
配置php连接apache 1.安装php所需要的库 yum install zlib-devel libxml2-devel libjpeg-devel libjpeg-turbo-devel li ...
- PHP问题
/usr/bin/ld: cannot find -lltdlcollect2: ld returned 1 exit statusmake: *** [libphp5.la] 错误 1 缺少libt ...
- tmux复制到windows剪贴板/粘贴板的坑
以下所有操作都是在windows下面用putty连接linux centos6的情景下. 一直很纳闷为什么在tmux模式下不能把复制到的文字放到系统的粘贴板里面呢?通过层层阻碍,终于找到了原因. 去掉 ...
- 采用python获得并修改文件编码(原创)
windows和linux采用了不同的编码,这让很多人伤透了脑经,这里我采用了Python的chardet库获得代码的编码,然后修改编码. 1.首先需要安装chardet库,有很多方式,我才用的是比较 ...
- 几个 JavaScript 奇技淫巧
#1使用双等号给布尔变量赋值,很容易联想到 var a = b || 123; 的写法 var a = b == 123;#2快速转换为布尔值 !!a#3防止页面被 iframe 调用 if(top ...
- swift swizzle
SWIZZLE 由 王巍 (@ONEVCAT) 发布于 2015/09/30 Swizzle 是 Objective-C 运行时的黑魔法之一.我们可以通过 Swizzle 的手段,在运行时对某些方法的 ...