LDa 通俗理解

LDA理解以及源码分析（一）

http://blog.csdn.net/pirage/article/details/50239125

LDA在主题建模中的应用，需要知道以下几点：

• 文档集中的words不考虑顺序，符合Bag Of Word词袋模型，假设总词汇数为V。
• 每篇由n个word生成的document，每个word的生成都服从multinomial分布，就像上帝抛一个有V面的筛子（每面对应一个word），抛n次就可以生成一篇document了。
• document与document之间的筛子不是同一个，每次为document选一个topic筛子，这个过程也服从multinomial分布。

一个通俗的例子如下：

“我们可以假想有一位大作家，比如莫言，他现在要写m篇文章，一共涉及了K个Topic，每个Topic下的词分布为一个从参数为β的Dirichlet先验分布中采样出的Multinomial分布（注意词典由term构成，每篇文章由word构成，前者不能重复，后者可以重复）。对于每篇文章，他首先会从一个泊松分布中采样出一个值作为文章长度，再从一个参数为α的Dirichlet先验分布中采样出一个Multinomial分布作为该文章里面出现每个Topic下词的概率；当他想写某篇文章中的第n个词的时候，首先从该文章中出现每个Topic下词的Multinomial分布中采样一个Topic，然后再在这个Topic对应的词的Multinomial分布中采样一个词作为他要写的词。不断重复这个随机生成过程，直到他把m篇文章全部写完。”