变分推断(Variational Inference)

(学习这部分内容大约需要花费1.1小时)

摘要

在我们感兴趣的大多数概率模型中, 计算后验边际或准确计算归一化常数都是很困难的. 变分推断(variational inference)是一个近似计算这两者的框架. 变分推断把推断看作优化问题: 我们尝试根据某种距离度量来寻找一个与真实后验尽可能接近的分布(或者类似分布的表示)

预备知识

学习变分推断需要以下预备知识

• 多元分布: 边际化(Marginalization)是我们使用变分推断时最常使用的操作
• KL散度: KL散度是变分目标函数的一部分.
• 熵(entropy): 熵是变分目标函数的一部分.
• 拉格朗日乘子法(Lagrange multipliers): 拉格朗日乘子法是分析变分推断算法时必须的技术

核心资源

(阅读/观看以下其中一个)

付费

• Pattern Recognition and Machine Learning(PRML)
  简介: 一本研究生机器学习教材, 聚焦于贝叶斯方法
  位置: Sections 10.1-10.1.2

  网站
  作者: Christopher M. Bishop
  其他依赖知识:

  • 多元高斯分布

增补资源

(以下为可选内容, 你可能发现它们挺有用的)

付费

• Probabilistic Graphical Models: Principles and Techniques
  简介: 一本非常全面的概率AI研究生教材
  位置: Sections 8.5-8.5.1 and 11.1

  网站
  作者: Daphne Koller,Nir Friedman
  其他依赖知识

  • 连接树(junction trees)

相关知识

• 一些变分推断算法:

  • 平均场近似(Mean field approximation)
  • 图模型中的结构变分近似
  • 期望传播(Expectation propagation): 比平均场慢, 但通常明显更准确.

  当模型由指数族分布构建时, 变分推理效果很好.

• 变分贝叶斯(Variational Bayes): 应用变分推断拟合贝叶斯模型

• 马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC)是在概率模型中进行推断的另一类技术.

• 在图模型的情况下, 信念传播(belief propagation)是带有变分解释的另一种推断算法

---

返回贝叶斯机器学习路线图