PGM：无向图模型：马尔可夫网

http://blog.csdn.net/pipisorry/article/details/52489321

马尔可夫网

马尔可夫网在计算机视觉领域通常称为马尔可夫随机场(Markov random fields, MRF)。

马尔可夫网是刻画X上联合分布的一种方法。

与贝叶斯网一样，马尔可夫网可以视为定义了一系列由图结构确定的独立性假设。

皮皮blog

无向图模型误解示例

P-map

不能构建贝叶斯网的一个示例

x1表示这个学生对概念存在误解，x0表示没有。

例3.8

Note: 其中的bd其实只要给定c就是相互依赖了。[PGM：贝叶斯网络]

误解示例的无向图模型解决

两两之间的分布

配分函数

设计并计算出的一种联合分布

图4.2中的联合分布概率是这么设计并计算出来的：

通过在ACD上求和，得出P(b1) = 0.732 和 P(b0) = 0.268

如果观察到Charles没有产生误解c0，那么P(b1 | c0) = 0.06.

分布分解的独立性

皮皮blog

参数化

因子分解被定义为图中团上因子和乘积（通常为非负函数）。

因子及其辖域的定义

成对参数化

参数化的非一般表示？也就是如果这个主要应用于成对马尔可夫网，这时就相当于团位势参数化了？

Note: 成对参数化中，参数的个数与变量的个数成平方关系。

因子乘积

更一般而合理的因子设计？也就是先设计好两两之间的因子，再通过相乘设计好三三之间或更大集合间的因子？应该是应用于团位势参数化计算中。

吉布斯分布与马尔可夫网

{因子乘积的更一般化概念定义分布的无向图参数化，如何将一个贝叶斯网视为一个吉布斯分布。}

吉布斯分布及配分函数

Note: 通过将证据引入到贝叶斯网中，可以获得的未归一化度量也是一个吉布斯分布，其配分函数就是证据的概率。

其它因子影响分布的示例

团位势参数化：完备子图的因子分解

{马尔可夫网参数化的三种方式之一}

[图论]

如果根据上述定义只将因子与完备子图关联，那么由网络结构导出的独立性假设不会遭到破坏。（后面将定义）

团位势参数化将利用辖域是整个图的一个因子 ，因而需要指数数量级的参数。

马尔可夫网及其团的示例

成对马尔可夫网

简化马尔可夫网

约简定义及示例

 

。。。not understand yet

约简的马尔可夫网

马尔可夫网在计算机视觉中的应用

图像去噪、去模糊、三维重建、物体识别

物体识别（图像分割）

皮皮blog

马尔可夫网的独立性

{无向图模型类的参数化与图结构联系起来，将其用于获取分布的独立性性质。无向图获取交互影响类的直观解释。无向图作为独立性断言的一种表示的介绍。

在无向图模型中，关于以因子分解的形式具体指定概率分布，也证明了图可以视为一种数据结构。}

基本独立性：全局独立性

无向图分离准则

直观上，在马尔可夫网中，概率影响在图中沿着无向路径流动，但当我们对某些中间节点取条件时，流动会受到阻碍。

表达的局限性：有些独立模式无法用马尔可夫网结构表达

可靠性

可靠性soundness：在G上因子分解的任意分布都满足分离性所蕴含的独立性条件。

Note: I-MAP, 与P相关的独立性集合。

就是说G上的独立性P都满足，但是反过来P上的独立性G不一定都满足。

[PGM：贝叶斯网络 ]

完备性

独立性回顾

两种局部马尔可夫假设：成对独立性和马尔可夫毯

三种马尔可夫性质间的关系

前面提到的与网络结构H相关的三个独立性断言（Ip(H)， Il(H)和I(H)）的集合的定义关于正分布是等价的。

从分布到图

{利用图结构在给定分布P中编码独立性}

类似贝叶斯网

强完备性反例：马尔可夫网不可代替贝叶斯网？例4.8

皮皮blog

参数化回顾

马尔可夫网参数化方法：团位势上的乘积；因子图表示因子的乘积；特征集则在特征权重上表示乘积。

细粒度参数化方法

{马尔可夫网参数化替代表示的一些方法，取代前面提到的（成对参数化和）团位势参数化}

因子图

马尔可夫网结构通常不能揭示吉布斯参数化中的所有结构。特别的，我们无法从图结构中得知是否参数化中的因子包含了最大团或者包含了其子集。

a是最大团，而b是团，所以才不同？

对数线性模型

因子转换到对数空间

Note: ln(30) = 3.4。

[对数线性模型 ]

参数化方法讨论

显然，每种表示都比前一种表示更加精细而且同样 丰富。因子图可以描述吉布斯分布，特征集则可以在因子图的每个因子中表示所有的表值。

度量马尔可夫随机场

过参数化

相同分布可以用无穷多种方法表示马尔可夫网（给定结构的），从中可以选出一个作为我们为这个分布选择的参数化方法。

标准参数化

标准能量函数的计算公式

误解示例的标准能量函数示例

 

Note: ln(1.4*10^-6) = -13.49

标准参数化定义了与原分布P相同的一个分布

结论：对于正分布，所有4个条件——因子分解和三类马尔可夫假设都是等价的。

消除冗余性

{针对过度参数化的另一个方法}

。。。

皮皮blog

from: http://blog.csdn.net/pipisorry/article/details/52489321

ref: