Topic model的变种及其应用［1］

转： http://www.blogbus.com/krischow-logs/65749376.html

 

LDA 着实 带领着 Topic model 火了一把。

但是其实我们华人世界内，也不乏好汉，不过呢，都在UIUC，Prof. Zhai的小组里。
他们关于Topic model的大多数工作，都是基于PLSA的变形，然后EM求解。
这里面，他们有两点使用的出神入化，第一点就是先验概率的使用；第二点就是EM的各种变形了，regularized EM。。。
他们组有一个很大的特点，就是问题新，写作特别流畅。
不愧是华人IR第一组。
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
那么如何切入他们组的工作呢？
我这里说一下我自己的经验，按照此经验学习，能够保证你看懂他们的论文。
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
基础篇：概率、PLSA、EM
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
如果大家想要学习PLSA及EM，我推荐Prof. Zhai的一个很好的课程：
http://sifaka.cs.uiuc.edu/course/410s09/schedule.html
恩，在这个页面中，有三个国宝级别的note，对于KL-divergence retrieval、PLSA、EM介绍得简明透彻，读了之后，我只能说一个“牛”。。。
Note on KL-div Retrieval Model; 
Note on EM;
PLSA note
大家最好把这些课件ppt都看了
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
模型基础篇
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
ChengXiang Zhai, Atulya Velivelli, Bei Yu, A cross-collection mixture model for comparative text mining
这篇论文是之后很多的论文的具体应用，其中它提出来的第一个简单模型，配上先验信息的使用，是后面很多论文的一个套路。

Yue Lu, ChengXiang Zhai. Opinion Integration Through Semi-supervised Topic Modeling
这篇论文是上面那个论文的一个应用，但是公式推导极为清晰
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
模型变种篇
Qiaozhu Mei, Xu Ling, Matthew Wondra, Hang Su, ChengXiang Zhai, Topic Sentiment Mixture: Modeling Facets and Opinions in Weblogs
把这个模型看懂了，那么PLSA之类的topic model，你算是过关了。
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
EM进化篇
Tao Tao, ChengXiang Zhai, Regularized Estimation of Mixture Models for Robust Pseudo-Relevance Feedback
对EM感兴趣的同学可以尝试看这篇论文
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
不多说，人家有论文为证：

Yue Lu, ChengXiang Zhai, Neel Sundaresan, Rated Aspect Summarization of Short Comments
Maryam Karimzadehgan, ChengXiang Zhai, Geneva Belford, Multi-Aspect Expertise Matching for Review Assignment
Deng Cai, Qiaozhu Mei, Jiawei Han, ChengXiang Zhai, Modeling Hidden Topics on Document Manifold
Yue Lu, ChengXiang Zhai. Opinion Integration Through Semi-supervised Topic Modeling
Qiaozhu Mei, Deng Cai, Duo Zhang, ChengXiang Zhai. Topic Modeling with Network Regularization
Qiaozhu Mei, Xuehua Shen, and ChengXiang Zhai, Automatic Labeling of Multinomial Topic Models
Qiaozhu Mei, Xu Ling, Matthew Wondra, Hang Su, ChengXiang Zhai, Topic Sentiment Mixture: Modeling Facets and Opinions in Weblogs
Tao Tao, ChengXiang Zhai, Regularized Estimation of Mixture Models for Robust Pseudo-Relevance Feedback
ChengXiang Zhai, Atulya Velivelli, Bei Yu, A cross-collection mixture model for comparative text mining
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

就写这么多了，下次介绍LDA的应用