LDA Gibbs Sampling

注意：$\alpha$和$\beta$已知，常用为（和LDA EM算法不同）

1.   为什么可用

LDA模型求解的目标为得到$\phi$和$\theta$

假设现在已知每个单词对应的主题$z$，则可以求得$\theta$的后验分布，求期望得到$E(\theta)$作为每份文档的主题

$E(\theta_{mk})=\frac{n_m^k+\alpha_k}{n_m+\alpha_k}$

同样，可以求得$\phi$的后验分布，求期望$E(\phi)$作为每个主题下生成对应单词的概率

$E(\phi_{kt})=\frac{n_k^t+\beta_t}{n_k+\beta_t}$

现在问题转换为，如何获取$z$

2.   公式推导

Gibbs Sampling固定住除了$z_i$以外的其他$z$，记为$\vec {z_{\neg i}}$，使用以下概率分布生成新的$z_i$:

$p(z_i|\vec {z_{\neg i}},\vec w)\quad=\ \frac{p(\vec z,\vec w)}{p(\vec {z_{\neg i}},\vec {w_{\neg i}}|w_i)p(w_i)}$         $(1)$

由于每个单词之间的生成相互独立，所以$p(\vec {z_{\neg i}},\vec {w_{\neg i}}|w_i)=p(\vec {z_{\neg i}},\vec {w_{\neg i}})$

又$\alpha$的每个分量都想等，$\beta$的每个分量都相等，所以对于两个单词有$p(w_i)=p(w_j)$

$(1)\ \propto \frac{p(\vec z,\vec w)}{p(\vec {z_{\neg i}},\vec {w_{\neg i}})}$

$p(\vec z,\vec w,\phi,\theta|\alpha,\beta)=\prod_{k=1}^K p(\phi_k|\beta)\prod_{m=1}^M p(\theta_m|\alpha)\prod_{n=1}^{N_m}p(z_{mn}|\theta_m)p(w_{mn}|z_{mn},\phi)\\ \quad\quad=(\prod_{k=1}^K p(\phi_k|\beta)\prod_{m=1}^M \prod_{n=1}^{N_m} p(w_{mn}|z_{mn},\phi))^{[1]}\\ \quad\quad\quad *(\prod_{m=1}^M p(\theta_m|\alpha) \prod_{n=1}^{N_m}  p(z_{mn}|\theta_m))^{[2]}$

上式中[1]是和$\phi$有关的部分，[2]是和$\theta$有关的部分，对$\phi$,$\theta$积分可得到$p(\vec z,\vec w|\alpha,\beta)$

$[1]=\prod_{k=1}^K \frac{\bigtriangleup \beta+n_k^{(t)}}{\bigtriangleup \beta} \int p(\phi_k|\beta+n_k^{(t)})d\phi_k =\prod_{k=1}^K \frac{\bigtriangleup \beta+n_k^{(t)}}{\bigtriangleup \beta}$,$n_k^{(t)}$为所有单词中，主题为k，单词是t的个数

$[2]=\prod_{m=1}^M \frac{\bigtriangleup \alpha+n_m^{(k)}}{\bigtriangleup \ alpha} \int p(\theta_m|\alpha+n_m^{(k)})d\theta_m=\prod_{m=1}^M \frac{\bigtriangleup \alpha+n_m^{(k)}}{\bigtriangleup \ alpha}$，$n_m^{(k)}$是文档m中，主题为k的个数

结合公式（1）：

$p(z_i=k|\vec {z_{\neg i}},\vec w) \propto\quad \frac{\prod_{k=1}^K \bigtriangleup \beta+n_k^{(t)}}{\prod_{k=1}^K \bigtriangleup \beta+n_{k\neg i}^{(t)}}\frac{\prod_{m=1}^M \bigtriangleup \beta+n_k^{(t)}}{\prod_{m=1}^M \bigtriangleup \beta+n_{k\neg i}^{(t)}} \propto \frac{n_{k\neg i}^{(t)}+\beta_t}{\sum_{t=1}^{V} n_{k\neg i}^{(t)}+\beta_t} \frac{n_{m\neg i}^{(k)}+\alpha_k}{\sum_{k=1}^{K} n_{m\neg i}^{(k)}+\alpha_k}$

3.   算法流程

i.   初始化z

ii.  更新z

iii. 得到$\phi$，$\theta$