PRML读书会第十章 Approximate Inference（近似推断，变分推断，KL散度，平均场， Mean Field ）

【PRML读书会第十章 Approximate Inference（近似推断，变分推断，KL散度，平均场， Mean Field ）】的更多相关文章

PRML读书会第十章 Approximate Inference（近似推断，变分推断，KL散度，平均场， Mean Field ）

主讲人戴玮 (新浪微博: @戴玮_CASIA) Wilbur_中博(1954123) 20:02:04 我们在前面看到,概率推断的核心任务就是计算某分布下的某个函数的期望.或者计算边缘概率分布.条件概率分布等等. 比如前面在第九章尼采兄讲EM时,我们就计算了对数似然函数在隐变量后验分布下的期望.这些任务往往需要积分或求和操作. 但在很多情况下,计算这些东西往往不那么容易.因为首先,我们积分中涉及的分布可能有很复杂的形式,这样就无法直接得到解析解,而我们当然希望分布是类似指数族分布这样具有共轭分…

Approximate Inference 近似推断

引入统计推断的核心任务,是观察到一些X(可见变量戒可观察变量)之后计算隐变量Z的后验分布p(Z|X),以及在这个后验分布下计算我们所需要的函数的期望.比如,讲EM时,我们曾计算过对数似然函数在隐变量后验分布下的期望(公式9.30),作为EM中的E步. 但我们都知道,求期望要用到求和戒积分运算,很多情况下,计算它们往往不那么简单. 首先,我们积分所涉及的分布可能很复杂,不像混合高斯做EM时每步迭代都有解析解:其次,我们要积分的变量空间可能维度很高,这样就把我们做数值积分的路给堵死了.因为这两个原…

PRML读书会第十一章 Sampling Methods（MCMC， Markov Chain Monte Carlo，细致平稳条件，Metropolis-Hastings，Gibbs Sampling，Slice Sampling，Hamiltonian MCMC）

主讲人网络上的尼采 (新浪微博: @Nietzsche_复杂网络机器学习) 网络上的尼采(813394698) 9:05:00 今天的主要内容:Markov Chain Monte Carlo,Metropolis-Hastings,Gibbs Sampling,Slice Sampling,Hybrid Monte Carlo. 上一章讲到的平均场是统计物理学中常用的一种思想,将无法处理的复杂多体问题分解成可以处理的单体问题来近似,变分推断便是在平均场的假设约束下求泛函L(Q)极值的最优化…

变分推断(Variational Inference)

(学习这部分内容大约需要花费1.1小时) 摘要在我们感兴趣的大多数概率模型中, 计算后验边际或准确计算归一化常数都是很困难的. 变分推断(variational inference)是一个近似计算这两者的框架. 变分推断把推断看作优化问题: 我们尝试根据某种距离度量来寻找一个与真实后验尽可能接近的分布(或者类似分布的表示) 预备知识学习变分推断需要以下预备知识多元分布: 边际化(Marginalization)是我们使用变分推断时最常使用的操作 KL散度: KL散度是变分目标函数的一部分.…

近似推断(Approximate Inference)

1.变分推断(Variational Inference) 1.1.分解概率分布(Factorized distributions) 1.2.分解近似的性质(Properties of factorized approximations) 1.3.例子:一元高斯分布(Example: The univariate Gaussian) 1.4.模型比较(Model comparition) 2.例子:高斯的变分混合(Illustration Variational Mixture of Gauss…