马尔科夫链蒙特卡洛(Markov chain Monte Carlo)

(学习这部分内容大约需要1.3小时)

摘要

马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC) 是一类近似采样算法. 它通过一条拥有稳态分布 \(p\) 的马尔科夫链对目标分布 \(p\) 进行采样.

预备知识

学习MCMC需要以下预备知识

• 条件分布: MCMC常常被用于从条件分布中采样.
• 蒙特卡洛估计(Monte Carlo estimation)
• 马尔科夫链(Markov chains)

学习目标

• 知道基本的问题设定: 即你希望从一个难以处理的分布中采样近似样本.
• 能够检查马尔科夫链是否达到稳态分布, 可以使用细致平衡条件(detailed balance conditions)或者直接根据定义.
• 明白为什么我们可以平均几个具有相同稳态分布 \(p\) 的蒙特卡洛算子, 并获得一个稳态分布也是 \(p\) 的算子.

核心资源

(阅读/观看其中一个)

免费

• Coursera: Probabilistic Graphical Models (2013)
  简介: 一门概率图模型的在线课程

  • Lecture "Markov Chain Monte Carlo"
  • Lecture "Using a Markov Chain"

  网站链接

  作者: Daphne Koller
  备注:

  • 点击"Preview"观看视频

• Machine learning summer school: Markov chain Monte Carlo (2009)
  简介: 一个MCMC方法的视频教程
  位置: 29:08 to 69:40
  网站
  作者: Iain Murray

• Information Theory, Inference, and Learning Algorithms
  简介: 一门研究生机器学习和信息论教材
  位置: Section 29.6, "Terminology for Markov chain Monte Carlo methods," pages 372-374
  网站
  作者: David MacKay

付费

• Pattern Recognition and Machine Learning(PRML)
  简介: 一本研究生机器学习教材, 聚焦于贝叶斯方法
  位置: Section 11.2, pages 537-542
  网站
  作者: Christopher M. Bishop
  其他依赖知识:

  • 多元高斯分布

• Probabilistic Graphical Models: Principles and Techniques
  简介: 一本非常全面的概率AI研究生教材
  位置: Section 12.3-12.3.3, pages 505-515

  网站
  作者: Daphne Koller,Nir Friedman

相关知识

• 一些常用的 MCMC 算法包括:

  • Gibbs采样: 每个变量在已知其他变量的条件分布中采样
  • Metropolis-Hastings, 非常一般化的方法

  Sequential importance sampling 是另一类采样方法

• 虽然 MCMC 通常用作近似推断技术, 但它也可以用于获得精确的样本.

• 我们可以使用 spectral graph 理论来分析 MCMC 采样器的 mixing 率

---

返回贝叶斯机器学习路线图