http://blog.csdn.net/pipisorry/article/details/52599451

基础知识

数据缺失的三种情形:

数据的似然和观测模型

Note: MLE中是将联合概率P(x,y)赋值给实例。

缺失数据的处理:不仅考虑数据产生机制,还要考虑数据被隐藏的机制

随机缺失值:主要是修改投掷结果X(随机变量)吧?

蓄意缺失值:主要是修改观测变量O吧?

随机变量X、观测变量O和实际观测Y

Note: Y是定义的X和O的一个确定函数,不在plate图中显示出来。

图钉变体示例的观测模型

随机缺失:分别最大化似然和观测

上下文特定独立性

蓄意缺失:投掷结果随机变量和蓄意抛弃共同的结果

观测机制的解耦

解耦的含义就是我们可以最大化X的分布的参数的似然,而不用考虑控制Ox分布的参数的值。通常,我们只对前面的参数感兴趣,所以可以简单的忽略后面的参数。

例19.1

完全随机缺失MCAR

随机缺失MAR的条件独立性参数解耦

Note: 第一枚硬币Ox1总是能观察到的,其概率为1。

缺失数据模型Pmissing:事件层面上的MAR条件独立假设

一句话:这个假设就是给定Xobs时,事件Ox和Xhidden独立。也就是说,隐不隐藏和是不是人为改变观测变量O无关?

MAR假设允许学习参数时忽略观测模型

如果Pmissing满足上面的假设则:(xobs和o的联合分布)

MAR假设下的定理

MAR适用场合

似然函数

缺失数据的似然函数表示

似然函数学习的示例

完备数据的似然

不完备数据似然的计算:考虑缺失数据的所有情况,并将其对应的似然相加。而可能赋值的数目是缺失值总量的指数。

不完备数据的多峰似然函数

几何分析:失去参数独立性质,因此也失去了似然函数可分解的性质。

图模型定性分析

数值分析

这个也可以从图19.4看出,当X缺失时,观测到Y,这样Y的两个参数父节点就是相关的?

这个例子说明,在估计CPD P(Y|X)时,我们已经缺失了局部可分解性。

不同CPD间的全局可分解性

Note: 如果是完备数据,这里应该求解的是P(x, y, h)的联合概率分布,没有和式,只有三者(三个局部似然函数)乘积。而存在隐含变量时,应该使用和式将隐含变量积掉。

一般的情况示例

在下面的参数估计中再解决这个不完备数据的参数推断。

可识别性

。。。

皮皮blog

使用不完备数据的最大似然估计MLE

使用不完备数据的贝叶斯学习

[PGM:不完备数据的参数估计]

结构学习

结构得分

结构搜索

结构EM

皮皮blog

带有隐变量的学习模型

隐变量的信息内容

确定基数

引入隐变量

皮皮blog

from: http://blog.csdn.net/pipisorry/article/details/52599451

ref:

PGM:部分观测数据的更多相关文章

  1. PGM:有向图模型:贝叶斯网络

    http://blog.csdn.net/pipisorry/article/details/52489270 为什么用贝叶斯网络 联合分布的显式表示 Note: n个变量的联合分布,每个x对应两个值 ...

  2. PGM学习之七 MRF,马尔科夫随机场

    之前自己做实验也用过MRF(Markov Random Filed,马尔科夫随机场),基本原理理解,但是很多细节的地方都不求甚解.恰好趁学习PGM的时间,整理一下在机器视觉与图像分析领域的MRF的相关 ...

  3. ZeroMQ接口函数之 :zmq_pgm – ØMQ 使用PGM 进行可靠的多路传输

    ZeroMQ API 目录 :http://www.cnblogs.com/fengbohello/p/4230135.html ——————————————————————————————————— ...

  4. pgm revert转换 成jpg 人脸识别图片

    最近在搞人脸识别,下载数据集走得比较心累.很多数据集太大了.没有啥标签.先搞一个小的玩玩.还找到的是pgm灰度图.索性写了个小脚本,用来转换.同时写脚本打标签. 数据集地址:http://downlo ...

  5. 机器学习&数据挖掘笔记_25(PGM练习九:HMM用于分类)

    前言: 本次实验是用EM来学习HMM中的参数,并用学好了的HMM对一些kinect数据进行动作分类.实验内容请参考coursera课程:Probabilistic Graphical Models 中 ...

  6. 机器学习&数据挖掘笔记_24(PGM练习八:结构学习)

    前言: 本次实验包含了2部分:贝叶斯模型参数的学习以及贝叶斯模型结构的学习,在前面的博文PGM练习七:CRF中参数的学习 中我们已经知道怎样学习马尔科夫模型(CRF)的参数,那个实验采用的是优化方法, ...

  7. 机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

    前言: 本次实验主要任务是学习CRF模型的参数,实验例子和PGM练习3中的一样,用CRF模型来预测多张图片所组成的单词,我们知道在graph model的推理中,使用较多的是factor,而在grap ...

  8. 机器学习&数据挖掘笔记_22(PGM练习六:制定决策)

    前言: 本次实验是将一些简单的决策理论和PGM推理结合,实验内容相对前面的图模型推理要简单些.决策理论采用的是influence diagrams,和常见图模型本质一样, 其中的决策节点也可以用CPD ...

  9. 机器学习&数据挖掘笔记_21(PGM练习五:图模型的近似推理)

    前言: 这次练习完成的是图模型的近似推理,参考的内容是coursera课程:Probabilistic Graphical Models . 上次实验PGM练习四:图模型的精确推理 中介绍的是图模型的 ...

随机推荐

  1. Linux下文件权限(一)用户ID和用户组ID

    最近在读<unix环境高级编程>,看到文件权限这里比较糊涂,主要设计多个用户ID和用户组ID,包括下面两个: (1)实际用户ID和实际用户组ID:这一部分表示我们究竟是谁.这两个字段在登录 ...

  2. java8接口定义增强

    java1.7之前,接口中只允许有全局常量和抽象方法,而1.8之后允许在接口中扩充default修饰的普通方法和static修饰的静态方法 其目的是在修改接口中方法的时候,子类就不必去一一修改 pac ...

  3. 机器学习技法:16 Finale

    Roadmap Feature Exploitation Techniques Error Optimization Techniques Overfitting Elimination Techni ...

  4. testng执行多个suite

    由于testng.xml中只能设置一个<suite>标签,就无法创建多个测试集,通过<suite-files >标签可以实现允许多个测试集. 1.testng.xml中引入多个 ...

  5. 阅读DSSS.py 并修改成支持python3.6

    项目地址:https://github.com/stamparm/DSSS 功能:一款小型注入工具 代码如下URL:https://github.com/stamparm/DSSS/blob/mast ...

  6. [HNOI 2014]世界树

    Description 题库链接 给出一棵 \(n\) 个节点的树, \(q\) 次询问,每次给出 \(k\) 个关键点.树上所有的点会被最靠近的关键点管辖,若距离相等则选编号最小的那个.求每个关键点 ...

  7. ●BZOJ 4176 Lucas的数论

    题链: http://www.lydsy.com/JudgeOnline/problem.php?id=4176 题解: 莫比乌斯反演,杜教筛 首先有这么一个结论: 令d(n)表示n的约数的个数(就是 ...

  8. 【HDU 2669】Romantic

    Problem Description The Sky is Sprite.The Birds is Fly in the Sky.The Wind is Wonderful.Blew Throw t ...

  9. [Codeforces]906D Power Tower

    虽说是一道裸题,但还是让小C学到了一点姿势的. Description 给定一个长度为n的数组w,模数m和询问次数q,每次询问给定l,r,求: 对m取模的值. Input 第一行两个整数n,m,表示数 ...

  10. bzoj2096[Poi2010]Pilots 单调队列

    2096: [Poi2010]Pilots Time Limit: 30 Sec  Memory Limit: 162 MBSubmit: 983  Solved: 513[Submit][Statu ...