概率图模型（PGM）学习笔记（二）贝叶斯网络-语义学与因子分解

概率分布（Distributions）

如图1所看到的，这是最简单的联合分布案例，姑且称之为学生模型。

图1

当中包括3个变量。各自是：I（学生智力，有0和1两个状态）、D（试卷难度，有0和1两个状态）、G（成绩等级，有1、2、3三个状态）。

表中就是概率的联合分布了，表中随便去掉全部包括某个值的行。就能对分布表进行缩减。

比如能够去掉全部G不为1的行。这样就仅仅剩下了1、4、7、10行，这样他们的概率之和就不为1了，所以能够又一次标准化（Renormalization）。如图2所看到的。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

图2

反之也能够把全部含有某个值得行相加。就是边缘化（Marginalization），如图3所看到的。

图3

条件概率分布（Conditional ProbabilityDistribution, CPD）

已知学生的智力和试卷难度。学生得分的分布就是条件概率。

如图4所看到的。

图4

因子（Factors）

因子是随机变量的函数。

因子是处理概率分布的的基本手段。

因子是高维空间中用以定义概率分布的基本单元。

因子能够相乘（图5）、边缘化（图6）以及缩减（图7）。

图5

图6

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

图7

前面提到的学生模型，其条件概率分布能够画在一张图里面。如图8.

每一个节点代表一个因子，当中有些CPD已经蜕化成非条件概率了。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

图8

贝叶斯网络的链式法则（Chain Rule）

如图9所看到的。概率分布由因子的积来定义。

图9

比如

因此，通过链式法则。贝叶斯网络可以表示联合概率分布：

贝叶斯网络的重要性质是概率和为1

一个简单的概率图是血型模型

当中G指基因型，B指血型。

能够看到血型仅仅由自己的基因型决定，而基因型则由父母两人的基因型决定。如图10.

图10

欢迎參与讨论并关注本博客和微博以及知乎个人主页，兴许内容继续更新哦~

转载请您尊重作者的劳动，完整保留上述文字以及本文链接。谢谢您的支持！