为什么要用Markov chain Monte Carlo (MCMC)

马尔科夫链的蒙特卡洛采样的核心思想是构造一个Markov chain，使得从任意一个状态采样开始，按该Markov chain转移，经过一段时间的采样，逼近平稳分布stationary distribution/equilibrium distribution（目标分布），最后选用逼近后的样本作为最终的采样。那么为什么要用MCMC呢，在什么情况下使用呢，这里给出一些个人的学习心 得。

1. 什么情况下用？

很多书籍或论文给出的情况是，目标分布难以被直接估计的情况下使用，那么具 体是什么情况呢？举一个很简单的例子：现在对3个Binary变量X1,X2,X3进行采样，而三个变量之间的关系可以用存在自转移概率的Markov network网描述，如果直接采样，Forward sampling的方法不可用，因为这三个变量之间不存在任何前后顺序，那么我假设从样本X1=F，X2=F，X3=F开始，采样X1，这时由于变量间相 互转移概率已知，可得到如下采样概率：P（X1） = Pt(X1|X2=F)Pt(X1|X3=F)，如果得到样本X1=T，继续采样X2，按P（X2） = Pt(X2|X1=T)Pt(X2|X3=F)，得到样本X2=F，继续采样X3，按P（X3） = Pt(X3|X1=T)Pt(X3|X2=F)，得到样本X3=T。那么这样就有了两组样本：

1：F，F，F

2：T，F，T

继续采样可能得到

3：T，F，F

4：F，T，T

5：... ...

直到样本不再变化的时候，可以认为逼近了stationary distribution，取这时的样本作为最终采样。

2.哪几种用法

目前比较著名的实现方法有：

Gibbs sampling上一节中3个变量的采样的例子就是这种方法，对某一变量采样时，选用其它变量给定的条件概率。

Metropolis–Hastings algorithm这个方法的特点是引入了生成样本的the probability of acceptance接受概率。