Dirichlet Process 和 Dirichlet Process Mixture模型

Dirichlet Process 和 Dirichlet Process Mixture模型

[本文链接：http://www.cnblogs.com/breezedeus/archive/2012/11/05/2754940.html，转载请注明出处。]

Dirichlet Process (DP)被称为分布的分布。从DP抽取出的每个样本（一个函数）都可以被认为是一个离散随机变量的分布函数，这个随机变量以非零概率值在可数无穷个离散点上取值。比较有意思的是，从DP可以推导出几个非常著名的问题： Chinese Restaurant Process (CRP)、Polya Urn Scheme和Stick-breaking Process。简单的介绍可以见Edwin Chen的博文“Infinite Mixture Models with Nonparametric Bayes and the Dirichlet Process”。

DP的特性使得它在非参数贝叶斯聚类模型中可以被用作参数的先验分布。Dirichlet Process Mixture (DPM)是这种非参数贝叶斯聚类模型中的一个典型代表。DPM可以认为是有限混合（Finite Mixture，FM）模型的一个推广，FM（如Gaussian Mixture模型）必须首先给定类数，而DPM则不需要，它可以依据数据自行判断类数。理论上来说，DPM的类数随着log(样本点数量)的增长速度增长。目前研究者已经提出了很多训练DPM的算法，从Gibbs Sampling，到Collapsed Gibbs Sampling，到Variational方法。我自己实现了Collapsed Gibbs Sampling方法，速度是个很大的约束，跑大数据很费劲。DPM的一个另一个问题是它的类数由算法自动控制（虽然有个超参数alpha可以大致上调节类数），最终产生的类数可能与期望的差别很大。

想进一步了解DP和DPM的同学，可以去Yee W. Teh的主页上看看，里面可以找到很多相关的papers，slides，presentations，以及用Matlab写的DPM开源软件。想仔细了解DPM的各个算法及具体推导，建议看看Xiaodong Yu的博文，里面也有他总结的一个很详细的学习笔记（虽然里面有一些小笔误），以及更多的参考资料。我自己也写了一份总结，但是懒得用Latex打出来了，就以图片打包的方式放在网盘里了，只把最后一页的参考文献贴下面。那些参考文献可以直接Google后下载。对理论没有兴趣的同学请忽略吧，哈哈。