PGM：贝叶斯网的参数估计

http://blog.csdn.net/pipisorry/article/details/52578631

本文讨论（完备数据的）贝叶斯网的参数估计问题：贝叶斯网的MLE最大似然估计和贝叶斯估计。假定网络结构是固定的，且假定数据集D包含了网络变量的完全观测实例。

参数估计的主要方法有两种：一种基于最大的似然的估计；一种是使用贝叶斯方法。

贝叶斯网的MLE参数估计

最大似然估计MLE

[参数估计：最大似然估计MLE]

简单示例：局部似然函数

仅包含两个二元变量的网络，即弧

从上看出，似然函数被分解为两项，且每一项对应一个变量。每一项都是一个局部的似然函数，度量了在给定其父节点时预测变量的性能。每一项都只依赖于变量的CPD的参数。

考虑分解的两个单独项

第一项与前面的多项式似然函数一样。

第二项进一步分解：似然函数的可分解性

局部似然函数分解

同理可得theta y0|x0。但是后面有一个更简单更紧凑的使用CPD表方式快速同时计算这两个参数的方法。

变量集合的各种赋值的计数

全局似然分解：转换为局部似然函数

注意，贝叶斯网中节点代表的是随机变量（也就是每个样本的维度，而不是每个样本）。样本数目为m，维度数为i。

似然函数的全局分解

全局似然分解成局部似然函数乘积

Note: 方括号中的每一项表示网络中一个特定变量在给定父节点时的条件似然。

结论

CPD表：进一步分解局部似然函数

参数的选择决定了我们最大化每个局部似然函数的方法。现考虑一种可能是CPD最简单的参数化：CPD表（table-CPD）。

贝叶斯网局部MLE的进一步分解

方框项独立最大化

也就是说，之前简单的示例中我们是分别计算p(x0|u0)p(x1|u0)，现在通过式17.5出现次数（更紧凑的表示）一次同时计算出2个参数p(x0|u0)p(x1|u0)了。

Note: 式17.5就是通过MLE估计出的贝叶斯网的参数计算公式。

数据碎片与过拟合：缺少可靠的大量估计参数的数据

高斯贝叶斯网*

。。。

专栏17.B——概念：非参数模型

作为M-投影的最大似然估计*

。。。

皮皮blog

MAP估计

[参数估计：文本分析的参数估计方法]

皮皮blog

贝叶斯网的贝叶斯参数估计

贝叶斯框架要求在未知的参数和数据实例上指定一个联合分布。与单个参数的情况一样，可以将参数和数据上的联合分布理解为一个贝叶斯网。

贝叶斯参数估计

[参数估计：贝叶斯思想和贝叶斯参数估计]

参数独立性与全局分解

简单的例子

图7中的b

全局参数独立性：假设要估计参数之间独立

这里有一个假设：网络结构体现出单个参数变量的先验是先验独立的（没有观测到数据时就是独立的）。即我们认为知道其中一个参数的参数值并不能告诉我们另一个参数的任何信息。更确切的有如下定义

同时，如果参数变量是先验独立的，那么观测到数据时，也可以得到它们是后验独立的。也就是说，如果这两个参数是独立的先验，那么它们也是独立的后验。

也就是后验可以用紧凑的因子分解的形式表达。

一般的网络

假定已经给定了一个具有参数theta的网络结构G。

所以，从上面最终的公式中可以看出，这个和MLE很相似，剩下要做的就是先验p(thetax|pax)的确定上了（其中p(thetax我们已经知道了，如Dirichlet分布)）。

预测

局部分解和贝叶斯网学习的先验分布

通过对局部贝叶斯估计问题求解来得到全局贝叶斯解。

theta x的后验

theta y|x的后验

上面独立先验的证明：

theta y|x的狄利克雷分布先验

预测和参数估计

此式应该也就是贝叶斯网的贝叶斯参数估计计算公式。

贝叶斯网学习的先验分布参数的确定

专家赋值、K2先验（相同的固定先验）、利用先验数据集（等价于MLE了）、BDe先验分布。

先验对参数估计的影响：MLE和不同强度alpha贝叶斯估计的比较

专栏17.C

检验了MLE方法和一些贝叶斯方法，所有方法使用了统一的先验均值和不同的先验强度alpha。

from: http://blog.csdn.net/pipisorry/article/details/52578631

ref: [《Probabilistic Graphical Models：Principles and Techniques》(简称PGM)]