title: [概率论]3-5:边缘分布(Marginal Distribution) categories: Mathematic Probability keywords: Marginal p.f. 边缘概率函数 Marginal p.d.f. 边缘密度函数 Independent 独立性 toc: true date: 2018-02-09 11:33:45 Abstract: 本文承接上文,对于二维联合分布,如何求出二维变量中一个变量的一个分布,也就是标题所说的边缘分布:以及对独立随机…

title: [概率论]3-4:二维分布(Bivariate Distribution) categories: Mathematic Probability keywords: Discrete Joint Distribution 离散联合分布 Continuous Joint Distribution 连续联合分布 Mixed Bivariate Distribution 混合分布 Bivariate Cumulative Distribution Functions 二维累计分布 toc…

如何在贝叶斯网络中求解某变量的边缘分布? 这是一个问题. 贝叶斯网络如下: CPTs如下: (1) How to compute p( L | C = high )? p( L | C = high ) = p(L, C=high) / p(C=high) // Bayesian Theorem. = Joint dist / p(C=high) 求 Joint dist,便想到 变量消减,如下: p( L,C) = Σ ... Σ p(H) * p(L) * p(A) * p(V|H,L) *…

EM算法及其应用(一) EM算法及其应用(二): K-means 与 高斯混合模型 EM算法是期望最大化 (Expectation Maximization) 算法的简称,用于含有隐变量的情况下,概率模型参数的极大似然估计或极大后验估计.EM算法是一种迭代算法,每次迭代由两步组成:E步,求期望 (expectation),即利用当前估计的参数值来计算对数似然函数的期望值:M步,求极大 (maximization),即求参数\(\theta\) 来极大化E步中的期望值,而求出的参数\(\theta…

title: [概率论]5-10:二维正态分布(The Bivariate Normal Distributions) categories: - Mathematic - Probability keywords: - The Bivariate Normal Distributions toc: true date: 2018-04-05 22:03:55 Abstract: 本文介绍第一个多变量连续分布--双变量正态分布(本篇内有未证明定理,需要后续要补充 ) Keywords: The…

要整理这部分内容,一开始我是拒绝的.欣赏贝叶斯的人本就不多,这部分过后恐怕就要成为“从入门到放弃”系列. 但,这部分是基础,不管是Professor Daphne Koller,还是统计学习经典,都有章节focus on这里. 可能这些内容有些“反人类正常逻辑”,故让更多的菜鸡选择了放弃. <MLaPP> 参考<MLaPP>的内容,让我们打开坑,瞧一瞧. 20.2 Belief propagation for treesIn this section, we generalize…

要整理这部分内容,一开始我是拒绝的.欣赏贝叶斯的人本就不多,这部分过后恐怕就要成为“从入门到放弃”系列. 但,这部分是基础,不管是Professor Daphne Koller,还是统计学习经典,都有章节focus on这里. 可能这些内容有些“反人类正常逻辑”,故让更多的菜鸡选择了放弃. <MLaPP> 参考<MLaPP>的内容,让我们打开坑,瞧一瞧. 20.2 Belief propagation for treesIn this section, we generalize…

##marg 基础   摘自贺一家的博客 在我们这个工科领域,它来源于概率论中的边际分布(marginal distribution).如从联合分布p(x,y)去掉y得到p(x),也就是说从一系列随机变量的分布中获得这些变量子集的概率分布.回忆了这个概率论中的概念以后,让我们转到SLAM的Bundle Adjustment上,随着时间的推移,路标特征点(landmark)和相机的位姿pose越来越多,BA的计算量随着变量的增加而增加,即使BA的H矩阵是稀疏的,也吃不消.因此,我们要限制优化变量的…

原文:http://dongguo.me/blog/2014/01/01/expectation-propagation/ 简介 第一次接触EP是10年在百度实习时,当时组里面正有计划把线上的CTR预估模型改成支持增量更新的版本,读到了微软一篇基于baysian的CTR预估模型的文章(见推荐阅读5),文章中没有给出推导的细节,自己也没有继续研究.今年在PRML中读Approximal inference这章对EP有了一些了解,同时参考了其它相关的一些资料,在这里和大家探讨. 什么是期望传播 期望…

主讲人 网络上的尼采 (新浪微博: @Nietzsche_复杂网络机器学习) 网络上的尼采(813394698) 9:05:00  今天的主要内容:Markov Chain Monte Carlo,Metropolis-Hastings,Gibbs Sampling,Slice Sampling,Hybrid Monte Carlo. 上一章讲到的平均场是统计物理学中常用的一种思想,将无法处理的复杂多体问题分解成可以处理的单体问题来近似,变分推断便是在平均场的假设约束下求泛函L(Q)极值的最优化…