The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1) Dirichlet分布可以看做是分布之上的分布.如何理解这句话,我们可以先举个例子:假设我们有一个骰子,其有六面,分别为{1,2,3,4,5,6}.现在我们做了10000次投掷的实验,得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次,如果用每一面出现的次数与试验总数的比值估计这个面出现的概率,则我们得到六面出现的概率,分别为{0.2,0.2,0.2,0.2,…

1. Gamma函数 首先我们可以看一下Gamma函数的定义: Gamma的重要性质包括下面几条: 1. 递推公式: 2. 对于正整数n, 有 因此可以说Gamma函数是阶乘的推广. 3.  4.  关于递推公式,可以用分部积分完成证明: 2. Beta函数 B函数,又称为Beta函数或者第一类欧拉积分,是一个特殊的函数,定义如下: B函数具有如下性质: 3. Beta分布 在介绍贝塔分布(Beta distribution)之前,需要先明确一下先验概率.后验概率.似然函数以及共轭分布的概念.…

From: https://www.cs.cmu.edu/~scohen/psnlp-lecture6.pdf 不错的PPT,图示很好. 伯努利分布 和 多项式分布 Binomial Distribution的共轭先验Beta Distribution. 贝塔分布的范围符合色子的每一面的概率理解. 同理: Multinomials Distribution的共轭先验Dirichlet Distribution. Ref: https://docs.scipy.org/doc/numpy/refe…

Beta分布: 二项式分布(Binomial distribution): 多项式分布: Beta分布: Beta分布是二项式分布的共轭先验(conjugate prior) Dirichlet Distribution: 共轭先验可以使得先验分布和后验分布的形式相同 如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式,那么就称先验分布与似然函数是共轭的 likelihood 似然函数 conjugate prior 共轭先验 posterior 后验 Normal  均匀分布 Nor…

Notes on the Dirichlet Distribution and Dirichlet Process In [3]: %matplotlib inline   Note: I wrote this post in an IPython notebook. It might be rendered better on NBViewer. Dirichlet Distribution The symmetric Dirichlet distribution (DD) can be co…

1. 二项分布与beta分布对应 2. 多项分布与狄利克雷分布对应 3. 二项分布是什么?n次bernuli试验服从 二项分布 二项分布是N次重复bernuli试验结果的分布. bernuli实验是什么?做一次抛硬币实验,该试验结果只有2种情况,x= 1, 表示正面. x=0,表示反面. bernuli(x|p) = p^x*(1-p)^(1-x).如果了n次, 我们只要数一下正面的次数n_x,即可得到反面的次数n-n_x. n次重复的nernuli试验: n-bernuli(n_x|N,p)…

一.pLSA模型 1.朴素贝叶斯的分析 (1)可以胜任许多文本分类问题.(2)无法解决语料中一词多义和多词一义的问题--它更像是词法分析,而非语义分析.(3)如果使用词向量作为文档的特征,一词多义和多词一义会造成计算文档间相似度的不准确性.(4)可以通过增加"主题"的方式,一定程度的解决上述问题:一个词可能被映射到多个主题中(一词多义),多个词可能被映射到某个主题的概率很高(多词一义) 2.pLSA模型 基于概率统计的pLSA模型(probabilistic latentsemanti…

英文链接:http://scikit-learn.org/stable/auto_examples/applications/topics_extraction_with_nmf_lda.html 这是一个使用NMF和LDA对一个语料集进行话题抽取的例子. 输入分别是是tf-idf矩阵(NMF)和tf矩阵(LDA). 输出是一系列的话题,每个话题由一系列的词组成. 默认的参数(n_samples/n_features/n_topics)会使这个例子运行数十秒. 你可以尝试修改问题的规模,但是要注…

在看LDA的时候,遇到的数学公式分布有些多,因此在这里总结一下思路. 一.伯努利试验.伯努利过程与伯努利分布 先说一下什么是伯努利试验: 维基百科伯努利试验中: 伯努利试验(Bernoulli trial)是只有两种可能结果的单次随机试验. 即:对于一个随机变量而言,P(X=1)=p以及P(X=0)=1-p.一般用抛硬币来举例.另外,此处也描述了伯努利过程: 一个伯努利过程(Bernoulli process)是由重复出现独立但是相同分布的伯努利试验组成,例如抛硬币十次. 维基百科中,伯努利过程…

多项分布 http://szjc.math168.com/book/ebookdetail.aspx?cateid=1&&sectionid=983 二项分布和多项分布 http://blog.csdn.net/shuimu12345678/article/details/30773929 0-1分布: 在一次试验中,要么为0要么为1的分布,叫0-1分布. 二项分布: 做n次伯努利实验,每次实验为1的概率为p,实验为0的概率为1-p;有k次为1,n-k次为0的概率,就是二项分布B(n,p,…