PGM：部分观测数据
http://blog.csdn.net/pipisorry/article/details/52599451
基础知识
数据缺失的三种情形：
数据的似然和观测模型
Note: MLE中是将联合概率P(x,y)赋值给实例。
缺失数据的处理：不仅考虑数据产生机制，还要考虑数据被隐藏的机制
随机缺失值：主要是修改投掷结果X（随机变量）吧？
蓄意缺失值：主要是修改观测变量O吧？
随机变量X、观测变量O和实际观测Y
Note: Y是定义的X和O的一个确定函数，不在plate图中显示出来。
图钉变体示例的观测模型
随机缺失：分别最大化似然和观测
上下文特定独立性
蓄意缺失：投掷结果随机变量和蓄意抛弃共同的结果
观测机制的解耦
解耦的含义就是我们可以最大化X的分布的参数的似然，而不用考虑控制Ox分布的参数的值。通常，我们只对前面的参数感兴趣，所以可以简单的忽略后面的参数。
完全随机缺失MCAR
随机缺失MAR的条件独立性参数解耦
Note: 第一枚硬币Ox1总是能观察到的，其概率为1。
缺失数据模型Pmissing：事件层面上的MAR条件独立假设
一句话：这个假设就是给定Xobs时，事件Ox和Xhidden独立。也就是说，隐不隐藏和是不是人为改变观测变量O无关？
MAR假设允许学习参数时忽略观测模型
如果Pmissing满足上面的假设则：（xobs和o的联合分布）
MAR假设下的定理
MAR适用场合
似然函数
缺失数据的似然函数表示
似然函数学习的示例
完备数据的似然
不完备数据似然的计算：考虑缺失数据的所有情况，并将其对应的似然相加。而可能赋值的数目是缺失值总量的指数。
不完备数据的多峰似然函数
几何分析：失去参数独立性质，因此也失去了似然函数可分解的性质。
图模型定性分析
数值分析
这个也可以从图19.4看出，当X缺失时，观测到Y，这样Y的两个参数父节点就是相关的？
这个例子说明，在估计CPD P(Y|X)时，我们已经缺失了局部可分解性。
不同CPD间的全局可分解性
Note: 如果是完备数据，这里应该求解的是P(x, y, h)的联合概率分布，没有和式，只有三者（三个局部似然函数）乘积。而存在隐含变量时，应该使用和式将隐含变量积掉。
一般的情况示例
在下面的参数估计中再解决这个不完备数据的参数推断。
可识别性
。。。
使用不完备数据的最大似然估计MLE
使用不完备数据的贝叶斯学习
结构学习
结构得分
结构搜索
结构EM
带有隐变量的学习模型
隐变量的信息内容
确定基数
引入隐变量
from: http://blog.csdn.net/pipisorry/article/details/52599451
ref:
PGM：部分观测数据的更多相关文章
- PGM：有向图模型：贝叶斯网络
http://blog.csdn.net/pipisorry/article/details/52489270 为什么用贝叶斯网络 联合分布的显式表示 Note: n个变量的联合分布,每个x对应两个值 ...
- PGM学习之七 MRF，马尔科夫随机场
之前自己做实验也用过MRF(Markov Random Filed,马尔科夫随机场),基本原理理解,但是很多细节的地方都不求甚解.恰好趁学习PGM的时间,整理一下在机器视觉与图像分析领域的MRF的相关 ...
- ZeroMQ接口函数之 ：zmq_pgm – ØMQ 使用PGM 进行可靠的多路传输
ZeroMQ API 目录 :http://www.cnblogs.com/fengbohello/p/4230135.html ——————————————————————————————————— ...
- pgm revert转换 成jpg 人脸识别图片
最近在搞人脸识别,下载数据集走得比较心累.很多数据集太大了.没有啥标签.先搞一个小的玩玩.还找到的是pgm灰度图.索性写了个小脚本,用来转换.同时写脚本打标签. 数据集地址:http://downlo ...
- 机器学习&数据挖掘笔记_25（PGM练习九：HMM用于分类）
前言: 本次实验是用EM来学习HMM中的参数,并用学好了的HMM对一些kinect数据进行动作分类.实验内容请参考coursera课程:Probabilistic Graphical Models 中 ...
- 机器学习&数据挖掘笔记_24（PGM练习八：结构学习）
前言: 本次实验包含了2部分:贝叶斯模型参数的学习以及贝叶斯模型结构的学习,在前面的博文PGM练习七:CRF中参数的学习 中我们已经知道怎样学习马尔科夫模型(CRF)的参数,那个实验采用的是优化方法, ...
- 机器学习&数据挖掘笔记_23（PGM练习七：CRF中参数的学习）
前言: 本次实验主要任务是学习CRF模型的参数,实验例子和PGM练习3中的一样,用CRF模型来预测多张图片所组成的单词,我们知道在graph model的推理中,使用较多的是factor,而在grap ...
- 机器学习&数据挖掘笔记_22（PGM练习六：制定决策）
前言: 本次实验是将一些简单的决策理论和PGM推理结合,实验内容相对前面的图模型推理要简单些.决策理论采用的是influence diagrams,和常见图模型本质一样, 其中的决策节点也可以用CPD ...
- 机器学习&数据挖掘笔记_21（PGM练习五：图模型的近似推理）
前言: 这次练习完成的是图模型的近似推理,参考的内容是coursera课程:Probabilistic Graphical Models . 上次实验PGM练习四:图模型的精确推理 中介绍的是图模型的 ...
随机推荐
- jQuery.noConflict() 函数详解
jQuery.noConflict()函数用于让出jQuery库对变量$(和变量jQuery)的控制权. 一般情况下,在jQuery库中,变量$是变量jQuery的别名,它们之间是等价的,例如jQue ...
- 修改 iOS AppIcon
有一次看到亚马逊的客户端打开后,就提示 icon 改变了,回桌面一看,竟然真的变了.然后就上网搜索是怎么实现的,参照着写了一个小 demo ,权当笔记. 首先,导入图片到项目的中,如下图.不要导入到 ...
- pyqt4 写动画不能播放问题集合
最近在学习动画,真的真的是血泪史,百度基本是0资源,各种在谷歌外国大佬的英文中躺过一个一个血坑....... 这是随便写的一个动画功能调试窗口..... 问题现象: 点击食灵,没反应,写的动画不能生成 ...
- 【Swift】图文混排，ios开发中在textfield或textView中插入图片
在ios开发中,我们一般都是在textfield或者textView中输入文字.当我们需要插入图片的时候其实也是很简单的 我们需要利用的textfield,textView的属性化文本,将图片以附件的 ...
- [HNOI 2008]GT考试
Description 题库链接 问你长度为 \(n\) 的可含前导零的数字串中,不含长度为 \(m\) 的子串 \(X\) 有多少个,取模. \(1\leq n\leq 10^9,1\leq m\l ...
- java continue与break区别
在循环体中跳出循环语句有continue与break语句 continue:跳出本次循环,包括本次循环continue后面的语句, break:跳出循环体,就是说一遇到break循环就结束. 代码: ...
- C语言程序设计第二次作业--顺序结构
C语言程序设计第二次作业--顺序结构 1.输出带框文字:在屏幕上输出以下3行信息. ************* Welcome ************* 源程序 #include <stido ...
- spring AOP的两种配置方式
连接点(JoinPoint) ,就是spring允许你是通知(Advice)的地方,那可就真多了,基本每个方法的前.后(两者都有也行),或抛出异常是时都可以是连接点,spring只支持方法连接点.其他 ...
- IE下iframe跨域session和cookie失效问题的解决方案
http://blog.csdn.net/wauit/article/details/9875157
- Java正则过滤
import java.util.regex.Matcher; import java.util.regex.Pattern; public class LongStringtonumber { pu ...