LDA中的先验知识

LDA涉及到的先验知识有：二项分布、Gamma函数、Beta分布、多项分布、Dirichlet分布、马尔科夫链、MCMC、Gibbs Sampling、EM算法等。

二项分布

二项分布是N重伯努利分布，即为X ~ B(n, p). 概率密度公式为：

多项分布

多项分布，是二项分布扩展到多维的情况. 多项分布是指单次试验中的随机变量的取值不再是0-1的，而是有多种离散值可能（1,2,3…,k）.概率密度函数为：

Gamma函数

Gamma函数的定义：

分部积分后，可以发现Gamma函数如有这样的性质：

Gamma函数可以看成是阶乘在实数集上的延拓，具有如下性质：

Beta 分布

Beta分布的定义：对于参数，取值范围为[0, 1]的随机变量x的概率密度函数为：

其中，

Dirichlet 分布

Dirichlet的概率密度函数为：

其中，

根据Beta分布、二项分布、Dirichlet分布、多项式分布的公式，我们可以得到结论–Beta分布是二项式分布的共轭先验分布，而狄利克雷(Dirichlet)分布是多项式分布的共轭分布。

2.8 Beta/Dirichlet分布的一个性质

如果 ，则

上式右边的积分对应到概率分布

，对于这个分布，有

把上式带入E(p)的计算式，得到

这说明，对于Beta分布的随机变量，其均值可以来估计。Dirichlet分布也有类似的结论，如果，同样可以证明：

这两个结论非常重要，后面的LDA数学推导过程会使用这个结论。

---

www.52nlp.com中有关于LDA-math的很好的数学推导。