概率图模型是图论概率方法的结合产物。Probabilistic graphical models are a joint probability distribution defined over a graph,概率图模型是定义在一副图上的联合概率分布(joint probability distribution)。

图模型分为两种:

  • 有向图(directed graphs):bayesian networks
  • 无向图(undirected graphs):Markov random fields

1. 定义

贝叶斯网络定义:

  • DAG(Directed Acyclic Graph):有向无环图;
  • 结点 (X1,X2,…,Xn) 表示的是随机变量(random variables);
  • 网络中的每一个结点 Xi,都有条件概率分布,P(Xi∣∣ParG(Xi))
    • ParG(Xi):表示的是 Xi 在网络中的父节点;
  • 贝叶斯网络最终刻画的是结点所代表的随机变量的联合概率密度(joint distribution)
    P(X1,…,Xn)=∏iP(Xi∣∣ParG(Xi))

Probabilistic graphical models are a joint probability distribution defined over a graph,概率图模型是定义在一副图上的联合概率分布(joint probability distribution)。如下图所示:

也即此贝叶斯网络表示了如下的联合概率分布:

p(Lo,Li,S)=P(Lo)P(Li|Lo)P(S|Lo)

2. 贝叶斯网对应的“分布”

贝叶斯网络对应的“分布”是一种合法的概率分布(legal distribution),也即需满足

  • Pi≥0:显然成立
  • ∑Pi=1

    需要证明,比如这样一个简单的例子,应用链式法则(chain rule),展开得:

    ∑D,I,G,S,LP(D,I,G,S,L)======∑D,I,G,S,LP(D)P(I)P(G|I,D)P(S|I)P(L|G)∑D,I,G,SP(D)P(I)P(G|I,D)P(S|I)∑LP(L|G)∑D,I,G,SP(D)P(I)P(G|I,D)P(S|I)⋅1∑D,I,GP(D)P(I)P(G|I,D)∑SP(S|I)1⋯1
    • ∑LP(L|S)=1,这是 CPD(conditional probability distribution)的性质(也即对条件概率分布的一行进行求和);

概率图模型(PGM) —— 贝叶斯网络(Bayesian Network)的更多相关文章

  1. 条件独立(conditional independence) 结合贝叶斯网络(Bayesian network) 概率有向图 (PRML8.2总结)

    本文会利用到上篇,博客的分解定理,需要的可以查找上篇博客 D-separation对任何用有向图表示的概率模型都成立,无论随机变量是离散还是连续,还是两者的结合. 部分图为手写,由于本人字很丑,望见谅 ...

  2. 条件独立(conditional independence) 结合贝叶斯网络(Bayesian network) 概率有向图 (PRML8.2总结)

    转:http://www.cnblogs.com/Dzhouqi/p/3204481.html本文会利用到上篇,博客的分解定理,需要的可以查找上篇博客 D-separation对任何用有向图表示的概率 ...

  3. PGM:有向图模型:贝叶斯网络

    http://blog.csdn.net/pipisorry/article/details/52489270 为什么用贝叶斯网络 联合分布的显式表示 Note: n个变量的联合分布,每个x对应两个值 ...

  4. (ZT)算法杂货铺——分类算法之贝叶斯网络(Bayesian networks)

    https://www.cnblogs.com/leoo2sk/archive/2010/09/18/bayes-network.html 2.1.摘要 在上一篇文章中我们讨论了朴素贝叶斯分类.朴素贝 ...

  5. 斯坦福经典AI课程CS 221官方笔记来了!机器学习模型、贝叶斯网络等重点速查...

    [导读]斯坦福大学的人工智能课程"CS 221"至今仍然是人工智能学习课程的经典之一.为了方便广大不能亲临现场听讲的同学,课程官方推出了课程笔记CheatSheet,涵盖4大类模型 ...

  6. LDA概率图模型之贝叶斯理解

    贝叶斯.概率分布与机器学习 转自:http://www.cnblogs.com/LeftNotEasy/archive/2010/09/27/1837163.html  本文由LeftNotEasy原 ...

  7. PGM学习之五 贝叶斯网络

    本文的主题是“贝叶斯网络”(Bayesian Network) 贝叶斯网络是一个典型的图模型,它对感兴趣变量(variables of interest)及变量之间的关系(relationships) ...

  8. 贝叶斯网络基础(Probabilistic Graphical Models)

    本篇博客是Daphne Koller课程Probabilistic Graphical Models(PGM)的学习笔记. 概率图模型是一类用图形模式表达基于概率相关关系的模型的总称.概率图模型共分为 ...

  9. R语言︱贝叶斯网络语言实现及与朴素贝叶斯区别(笔记)

    每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 一.贝叶斯网络与朴素贝叶斯的区别 朴素贝叶斯的 ...

随机推荐

  1. ANDROID内存优化(大汇总——全)

    写在最前: 本文的思路主要借鉴了2014年AnDevCon开发者大会的一个演讲PPT,加上把网上搜集的各种内存零散知识点进行汇总.挑选.简化后整理而成. 所以我将本文定义为一个工具类的文章,如果你在A ...

  2. flash stm32的flash编写

    定义一个全局变量数组:const u8 TEXT_Buffer[]={"STM32F103 FLASH TEST"};    //u8和char* 写入到内存里会有什么区别???? ...

  3. [Recompose] Show a Spinner While a Component is Loading using Recompose

    Learn how to use the 'branch' and 'renderComponent' higher-order components to show a spinner while ...

  4. Bash玩转脚本1之自己的脚本安装程序

    Bash之打造自己的脚本安装器 前言 还是理所当然的前言,我一直想找一套管理脚本的"框架",能让自己杂乱的脚本有点规整.无奈眼界尚浅,未能找到. 因此萌生自己写一点优化脚本的工具来 ...

  5. [Compose] 13. Lift into a Pointed Functor with of

    We examine the of function we've seen on a few types and discover it's the Pointed interface. Instea ...

  6. ios开发图片轮播器以及定时器小问题

    一:图片轮播器效果如图:能实现自动轮播,到最后一页时,轮播回来,可以实现拖拽滚动 二:代码: #import "ViewController.h" ; @interface Vie ...

  7. [TypeScript] Catch unsafe use of "this" in TypeScript functions

    this is probably the most tricky thing to use in JavaScript and therefore TypeScript. Fortunately th ...

  8. python property属性

    能够检查參数,一直没注意这个语言特性,忽略了非常多细节,感谢 vitrox class Person( object ): def __init__( self, name ): if not isi ...

  9. thinkphp5开发规范(加强复习之前的)

    thinkphp5开发规范(加强复习之前的) 一.总结 一句话总结:和类相关的采用驼峰命名法:变量,函数,类,方法,属性采用驼峰命名发:数据库及文件及配置参数是小写字母加下划:常量大写加下划线 1.T ...

  10. ITFriend创业败局(序):简要概述我的第一次创业经历

    是时候, 面对过去,继续踏上未来之路了.    是时候,该给自己一个交待了,给ITFriend创业合伙人.ITFriend用户.关注我的朋友和网友们一个答复了.    是时候,全面认真总结过去的经历. ...