贝叶斯网引论 by 张连文

• 贝叶斯网(Bayesian networks)是一种描述随机变量之间关系的语言，构造贝叶斯网是为了概率推理，理论上概率推理基于联合概率分布就行了，但是联合概率分布(基于表)的复杂度会呈指数增长，贝叶斯网(基于图)可以弥补其中的不足，我们利用问题的结构可以把联合概率分布进行分解，从而大大降低计算复杂度。
• 贝叶斯网是图论与概率论相结合的产物，图论用于描述，概率论用于优化。
• 许多经典的多元概率模型都是贝叶斯的特例，包括朴素贝叶斯模型(naive Bayes models)，隐类模型(latent class models)，混合模型(mixture models)，隐马尔可夫模型(hidden Markov models)、卡尔曼滤波器(Kalman filters)等，贝叶斯为这些模型提供了一个共同的框架，也为发展新模型提供了一个自然的框架，例如，多态贝叶斯网(dynamic Bayesian networks)，主要用于对多维离散时间序列的监控和预测，多层隐类模型(hierarchical latent class models)(隐类模型的推广)，用来揭示观测变量(observed variables)背后的隐结构。
• 统计学把贝叶斯网看作是图模型的一种，而人工智能则把贝叶斯网学习(从数据中获取贝叶斯网的过程)看作是机器学习的一种。

目录

第一部分 贝叶斯网基础

• C01 概率论基础
• C02 贝叶斯网
• C03 图分隔与变量独立

第二部分 贝叶斯网推理

• C04 贝叶斯网与概率推理
• C05 团树传播算法
• C06 近似推理

第三部分 贝叶斯网学习

• C07 参数学习
• C08 结构学习
• C09 隐结构模型学习

第四部分 贝叶斯网应用

• C10  隐结构模型与中医辨证

==== C01 概率论基础 ====

• 随机试验的所有可能结果的集合就叫样本空间，样本空间的子集就叫事件，不可再分的事件就叫原子事件，有必然事件(即样本空间)和不可能事件(即空集)，事件本质上就是集合，事件之间可以进行集合运算，如果两个事件的交集为空集，那么就为互斥事件，如果两个事件的并集为样本空间，那么就为互补事件。
• 概率测度就是给样本空间中的每个事件A都赋予一个0到1之间的P(A)值，以度量该事件发生的可能性，其中，P(A)称为事件A的概率，概率测度满足Kolmogorov公理，即规范性(必然事件的概率为1)、非负性(所有事件的概率非负)和有限可加性(互斥事件的概率可加)。
• 随机变量是事件的变量，分为离散随机变量和连续随机变量，概率函数P(X=x)为X取值为x时的概率，分为概率质量函数(离散随机变量)和概率密度函数(连续随机变量)，也可以统称为“概率分布”。
• 概率有5种解释：古典解释、频率解释、主观解释、特性解释、逻辑解释。古典解释的前提是等可能性，但等可能性不满足时，可以使用频率解释，频率解释的前提是可重复性，它满足大数定律(当试验次数趋于无穷大时，频率就趋于概率)，当可重复性也不满足时，主观解释就派上用场了，它可以根据先验知识对一次性事件进行概率评估，理性个体的主观概率也必须满足Kolmogorov公理，否则会出现Dutch book赌局，特性解释认为，均匀硬币“正面朝上”的概率为1/2是这个硬币的固有物理属性，与其是否投掷和投掷的次数无关，逻辑解释认为，一旦相关的知识得到确定，事件的可能性就已经被客观地确定下来了，并且可以通过逻辑分析得到相应的概率，古典解释就是逻辑解释的一种，特性解释和逻辑解释的没有为概率提供一个可操作的运算方法，很难应用到实际中。
• 贝叶斯网用于数据分析(基于数据构建贝叶斯网模型)，有两种情形：一种是已知网络结构，对网络参数进行估计，称为参数学习，另一种是不知网络结构，通过分析数据同时获取网络数据和网络参数，称为结构学习。参数学习有两种方法：一种是最大似然估计，不需要先验概率，完全基于数据，另一种是贝叶斯估计，有先验概率。结构学习在分析数据以前，假设不同结构的可能性相等，即每个结构的先验概率相同，随着数据的越来越多，最初的主观概率的影响将越来越弱。
• 联合概率分布(联合分布)为多个随机变量X1,X2,...,Xn的概率分布P(X1,X2,...,Xn)，边缘概率分布(边缘分布)是降维处理的联合概率分布，条件概率：P(A|B)=P(AB)/P(B),P(B)>0，概率的乘法定律：P(AB)=P(A)P(B|A)=P(B)|P(A|B)，条件概率分布(条件分布)：P(X|Y)=P(X,Y)/P(Y)，链式规则：P(X1,X2,...,Xn)=P(X1)P(X2|X1)...P(Xn|X1,...,X(n-1))，事件A与事件B相互独立：P(AB)=P(A)P(B)等价于P(A)=P(A|B)，事件A与事件B在给定事件C时相互条件独立：P(AB|C)=P(A|C)P(B|C)等价于P(A|C)=P(A|BC)，随机变量X和随机变量Y相互(边缘)独立：P(X,Y)=P(X)P(Y)。
• 贝叶斯定理用来描述先验概率P(A)和后验概率P(A|B)之间的关系：P(A|B)=P(A)P(B|A)/P(B)(贝叶斯公式)。