PGM:部分观测数据
http://blog.csdn.net/pipisorry/article/details/52599451
基础知识
数据缺失的三种情形:
数据的似然和观测模型
Note: MLE中是将联合概率P(x,y)赋值给实例。
缺失数据的处理:不仅考虑数据产生机制,还要考虑数据被隐藏的机制
随机缺失值:主要是修改投掷结果X(随机变量)吧?
蓄意缺失值:主要是修改观测变量O吧?
随机变量X、观测变量O和实际观测Y
Note: Y是定义的X和O的一个确定函数,不在plate图中显示出来。
图钉变体示例的观测模型
随机缺失:分别最大化似然和观测
上下文特定独立性
蓄意缺失:投掷结果随机变量和蓄意抛弃共同的结果
观测机制的解耦
解耦的含义就是我们可以最大化X的分布的参数的似然,而不用考虑控制Ox分布的参数的值。通常,我们只对前面的参数感兴趣,所以可以简单的忽略后面的参数。
例19.1
完全随机缺失MCAR
随机缺失MAR的条件独立性参数解耦
Note: 第一枚硬币Ox1总是能观察到的,其概率为1。
缺失数据模型Pmissing:事件层面上的MAR条件独立假设
一句话:这个假设就是给定Xobs时,事件Ox和Xhidden独立。也就是说,隐不隐藏和是不是人为改变观测变量O无关?
MAR假设允许学习参数时忽略观测模型
如果Pmissing满足上面的假设则:(xobs和o的联合分布)
MAR假设下的定理
MAR适用场合
似然函数
缺失数据的似然函数表示
似然函数学习的示例
完备数据的似然
不完备数据似然的计算:考虑缺失数据的所有情况,并将其对应的似然相加。而可能赋值的数目是缺失值总量的指数。
不完备数据的多峰似然函数
几何分析:失去参数独立性质,因此也失去了似然函数可分解的性质。
图模型定性分析
数值分析
这个也可以从图19.4看出,当X缺失时,观测到Y,这样Y的两个参数父节点就是相关的?
这个例子说明,在估计CPD P(Y|X)时,我们已经缺失了局部可分解性。
不同CPD间的全局可分解性
Note: 如果是完备数据,这里应该求解的是P(x, y, h)的联合概率分布,没有和式,只有三者(三个局部似然函数)乘积。而存在隐含变量时,应该使用和式将隐含变量积掉。
一般的情况示例
在下面的参数估计中再解决这个不完备数据的参数推断。
可识别性
。。。
使用不完备数据的最大似然估计MLE
使用不完备数据的贝叶斯学习
结构学习
结构得分
结构搜索
结构EM
带有隐变量的学习模型
隐变量的信息内容
确定基数
引入隐变量
from: http://blog.csdn.net/pipisorry/article/details/52599451
ref:
PGM:部分观测数据的更多相关文章
- PGM:有向图模型:贝叶斯网络
http://blog.csdn.net/pipisorry/article/details/52489270 为什么用贝叶斯网络 联合分布的显式表示 Note: n个变量的联合分布,每个x对应两个值 ...
- PGM学习之七 MRF,马尔科夫随机场
之前自己做实验也用过MRF(Markov Random Filed,马尔科夫随机场),基本原理理解,但是很多细节的地方都不求甚解.恰好趁学习PGM的时间,整理一下在机器视觉与图像分析领域的MRF的相关 ...
- ZeroMQ接口函数之 :zmq_pgm – ØMQ 使用PGM 进行可靠的多路传输
ZeroMQ API 目录 :http://www.cnblogs.com/fengbohello/p/4230135.html ——————————————————————————————————— ...
- pgm revert转换 成jpg 人脸识别图片
最近在搞人脸识别,下载数据集走得比较心累.很多数据集太大了.没有啥标签.先搞一个小的玩玩.还找到的是pgm灰度图.索性写了个小脚本,用来转换.同时写脚本打标签. 数据集地址:http://downlo ...
- 机器学习&数据挖掘笔记_25(PGM练习九:HMM用于分类)
前言: 本次实验是用EM来学习HMM中的参数,并用学好了的HMM对一些kinect数据进行动作分类.实验内容请参考coursera课程:Probabilistic Graphical Models 中 ...
- 机器学习&数据挖掘笔记_24(PGM练习八:结构学习)
前言: 本次实验包含了2部分:贝叶斯模型参数的学习以及贝叶斯模型结构的学习,在前面的博文PGM练习七:CRF中参数的学习 中我们已经知道怎样学习马尔科夫模型(CRF)的参数,那个实验采用的是优化方法, ...
- 机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)
前言: 本次实验主要任务是学习CRF模型的参数,实验例子和PGM练习3中的一样,用CRF模型来预测多张图片所组成的单词,我们知道在graph model的推理中,使用较多的是factor,而在grap ...
- 机器学习&数据挖掘笔记_22(PGM练习六:制定决策)
前言: 本次实验是将一些简单的决策理论和PGM推理结合,实验内容相对前面的图模型推理要简单些.决策理论采用的是influence diagrams,和常见图模型本质一样, 其中的决策节点也可以用CPD ...
- 机器学习&数据挖掘笔记_21(PGM练习五:图模型的近似推理)
前言: 这次练习完成的是图模型的近似推理,参考的内容是coursera课程:Probabilistic Graphical Models . 上次实验PGM练习四:图模型的精确推理 中介绍的是图模型的 ...
随机推荐
- Linux下文件权限(一)用户ID和用户组ID
最近在读<unix环境高级编程>,看到文件权限这里比较糊涂,主要设计多个用户ID和用户组ID,包括下面两个: (1)实际用户ID和实际用户组ID:这一部分表示我们究竟是谁.这两个字段在登录 ...
- java8接口定义增强
java1.7之前,接口中只允许有全局常量和抽象方法,而1.8之后允许在接口中扩充default修饰的普通方法和static修饰的静态方法 其目的是在修改接口中方法的时候,子类就不必去一一修改 pac ...
- 机器学习技法:16 Finale
Roadmap Feature Exploitation Techniques Error Optimization Techniques Overfitting Elimination Techni ...
- testng执行多个suite
由于testng.xml中只能设置一个<suite>标签,就无法创建多个测试集,通过<suite-files >标签可以实现允许多个测试集. 1.testng.xml中引入多个 ...
- 阅读DSSS.py 并修改成支持python3.6
项目地址:https://github.com/stamparm/DSSS 功能:一款小型注入工具 代码如下URL:https://github.com/stamparm/DSSS/blob/mast ...
- [HNOI 2014]世界树
Description 题库链接 给出一棵 \(n\) 个节点的树, \(q\) 次询问,每次给出 \(k\) 个关键点.树上所有的点会被最靠近的关键点管辖,若距离相等则选编号最小的那个.求每个关键点 ...
- ●BZOJ 4176 Lucas的数论
题链: http://www.lydsy.com/JudgeOnline/problem.php?id=4176 题解: 莫比乌斯反演,杜教筛 首先有这么一个结论: 令d(n)表示n的约数的个数(就是 ...
- 【HDU 2669】Romantic
Problem Description The Sky is Sprite.The Birds is Fly in the Sky.The Wind is Wonderful.Blew Throw t ...
- [Codeforces]906D Power Tower
虽说是一道裸题,但还是让小C学到了一点姿势的. Description 给定一个长度为n的数组w,模数m和询问次数q,每次询问给定l,r,求: 对m取模的值. Input 第一行两个整数n,m,表示数 ...
- bzoj2096[Poi2010]Pilots 单调队列
2096: [Poi2010]Pilots Time Limit: 30 Sec Memory Limit: 162 MBSubmit: 983 Solved: 513[Submit][Statu ...