Gibbs采样

(学习这部分内容大约需要50分钟)

摘要

Gibbs采样是一种马尔科夫连蒙特卡洛(Markov Chain Monte Carlo, MCMC)算法, 其中每个随机变量从给定剩余变量的条件分布迭代地重新采样. 它是在概率模型中执行后验推理的简单且常用的高效方法.

预备知识

学习Gibbs采样需要以下预备知识

• 条件分布: Gibbs采样根据条件分布定义.
• 马尔科夫蒙特卡洛(Markov chain Monte Carlo, MCMC): Gibbs采样是一种MCMC算法.
• 马尔科夫随机场(Markov random fields): 图模型的结构表明为什么Gibbs更新计算会高效.

学习目标

• 知道Gibbs采样更新规则
• 明白为什么 Gibbs 采样的稳态分布是模型分布.
• 明白为什么 Gibbs 采样在变量紧密耦合时会变得低效.

核心资源

(阅读/观看其中一个资源)

免费

• Coursera: Probabilistic Graphical Models (2013)
  简介: 概率图模型的一门在线课程
  位置: Lecture "Gibbs sampling" ](https://class.coursera.org/pgm/lecture/74)
  网站
  作者: Daphne Koller
  其他依赖知识:

  • 贝叶斯网络

  备注:

  • 点击"Preview"观看视频

• Bayesian Reasoning and Machine Learning
  简介: 一门研究生机器学习课程

  • Section 27.3, Gibbs sampling, up to 27.3.2, "Structured Gibbs sampling" (pages 547-548)
  • Section 27.3.3, "Remarks" (pages 549-550)

  网站

  作者: David Barber

  其他依赖知识:

  • 贝叶斯网络
  • 多元高斯分布

付费

• Pattern Recognition and Machine Learning(PRML)
  简介: 一本研究生机器学习课程, 专注于贝叶斯方法
  位置: Section 11.3, pages 542-546
  网站
  作者: Christopher M. Bishop
  其他依赖知识:
  • 多元高斯分布
• Probabilistic Graphical Models: Principles and Techniques
  简介: 一本非常全面的概率AI研究生教材
  位置: Sections 12.3.1 (pages 505-507) and 12.3.3 (pages 512-515)
  网站
  作者: Daphne Koller,Nir Friedman
  其他依赖知识:
  • 贝叶斯网络

增补资源

(以下为可选内容, 你可能会发现它们很有用)

免费

• Information Theory, Inference, and Learning Algorithms
  简介: 一本机器学习和信息论的研究生教材
  位置: Section 29.5, "Gibbs sampling," pages 370-371
  网站
  作者: David MacKay
  其他依赖知识:
  • Metropolis-Hastings算法
• Machine learning summer school: Markov chain Monte Carlo (2009)
  简介: 一个 MCMC 方法视频教程
  位置: 69:40 to 77:34
  网站
  作者: Iain Murray
• Computational Cognition Cheat Sheets (2013)
  简介: 认知科学家写的一些笔记
  位置: Bayesian Inference: Gibbs Sampling
  网站

付费

• Machine Learning: a Probabilistic Perspective(MLAPP)
  简介: 一本非常全面的研究生机器学习教材
  位置: Section 24.2-24.2.2, pages 838-839
  网站
  作者: Kevin P. Murphy

相关知识

• Gibbs采样可以被看作 Metropolis-Hastings 算法的特例

• 简单 Gibbs 采样常常 mix 得很慢. 以下是一些改进版本:

  • block Gibbs sampling: 一次采样多个随机变量.
  • collapsed Gibbs sampling: 一些随机变量被解析地积分掉了

  Slice sampling 是一类特殊的 Gibbs 采样, 适合从没有解析形式的单变量分布中采样.

• 我们可以使用spectral graph理论分析 mixing 率.

---

返回贝叶斯机器学习路线图