理论沉淀：隐马尔可夫模型（Hidden Markov Model, HMM）

参考链接：http://www.zhihu.com/question/20962240

参考链接：http://blog.csdn.net/ppn029012/article/details/8923501

本博文链接：http://www.cnblogs.com/dzyBK/p/5011727.html

1 题设

假设有n个骰子（从1~n编号），每个骰子有m面，每面标有一个数字且不重复，数字取值限制在[1,m]。（1）若有放回地取出一个骰子投，当前取到哪个骰子与前一次取到的是哪个骰子相关。（2）同一个骰子出现不同数字的概率不一定相同（即不是均匀分布），不同骰子出现同一个数字的概率也不一定相同（即完全是n个不同的骰子）。

对于条件（1）可表达为：

式中，p_ij表示前一次取到第i个骰子时，当前取第j个骰子的概率。

对于条件（2）可表达为：

式中，q_ij表示第i个骰子出现数字j的概率。

数学里，将骰子（或骰子编号）称为HMM的隐性状态，将骰子的每面（或每面上的数字）称为隐性状态的表现。将矩阵P_nn称为隐性状态的转移概率矩阵，将矩阵Q_nm称为隐性状态的表现概率矩阵。HMM可表示为{n,m,P_nm,Q_nm}。

那HMM到底有什么作用勒？现在我们进行以下操作。

我们有放回地取k次骰子投，记录下每次投掷后的数字a_i。设投掷结束后得到数字序列为A=[a₁,a₂,…,a_k]，那么A对应的骰子序列是什么勒？显得有很多种可能，每个数字可选的骰子有n个，所以共有u=k^n种可能的骰子序列，设为{B₁,B₂,…,B_u}。

注意：因为是有放回地取骰子，所以取到骰子可能重复。记录的数字也有可能重复，且两个重复的数字可能来源于同一个骰子，也可能来源于不同的骰子。

注意：以下将骰子编号与骰子等价，骰子编号序列与骰子序列等价。

2 基本问题

我想知道，A对应的骰子序列为B_i=[b₁,b₂,..,b_k]的可能性有多大？

解法：概率乘法。

3 解码问题

我想知道，A最有可能对应的骰子序列是什么？

等价于：求使A出现的概率最大的骰子序列。

解法一：穷列举法。列举使A出现的u=k^n个可能的骰子序列，然后按照基本问题的解法计算每个骰子序列的使A出现的概率，概率最大者对应的骰子序列为所求。此法只对骰子个数少且骰子面数也少的情况适用。

解法二：最大似然估计。

（1）求使a₁出现的概率最大的骰子，易进行，假设为b₁

（2）在b₁出现的情况下，求使a₂出现的概率最大的骰子，易进行，假设为b₂

（3）在b₂出现的情况下，求使a₃出现的概率最大的骰子，易进行，假设为b₃

…

（n）在b_n-1出现的情况下，求使a_n出现的概率最大的骰子，易进行，假设为b_n

于是所求骰子序列为B=[b₁,b₂,..,b_n]。

4 预测问题

假如我现在还没有取骰子投，我想知道我能投到A=[a₁,a₂,…,a_k]的可能性有多大？

等价于：设骰子序列B_i(i=1,2,…,u)使A出现的概率为h_i，则问题等价于求h_i之和。

解法一：穷列举法。与解码问题相似，只不过解码问题是在{h_i,h_i,…,h_u}中找最大者，而估计问题是求所有h_i之和。

解法二：前向推导法。

其实就是一个迭代的过程。设出现[a₁,a₂,…,a_i](i<k)的概率为g_i，则出现[a₁,a₂,…,a_i,a_i+1]的概率为：

sum表示对矩阵G_i内的所有元素求和。

解释：a_i+1可能来自n个骰子中的任何一个，所以有q_i+1。同时，不管这次取到哪个骰子，前一次取到的骰子也有n种可能，所以有P_nn。

5 学习问题

以上问题都必须已知P_nn和Q_nm的情况才能进行。而实际应用中，这两个矩阵通常都未知或已知一部分。学习问题就是确定P_nn和Q_nm的过程。现在假设我们有多组（越多越好）观测数据(即多组A，可通过反复投掷得到)，根据这些观察数据我们就可以（近似地）确定P_nn和Q_nm。

详见：

6 相关概念

（1）马尔可夫链，马尔可夫随机场(MRF)，马尔可夫过程等本质上都是HHM。

（2）我们取了k次骰子，每次取时都对应一个随机变量X_i，代表此次取的骰子（编号），k个随机变量的取值范围构成的集合称为HHM的状态空间，用Ω表示。这里，Ω={1,2,..,n}。

7 应用条件

应用HHM需要满足三个条件：

（1）马尔可夫假设：系统或模型的当前（隐性）状态都只依赖于前一个（隐性）状态：

（2）输出独立性假设：状态的表现只与此状态相关。

（3）不动性假设：状态与具体时间无关

马尔可夫假设更哲学说法是未来决定于现在而不是过去。

8 马尔可夫随机场(MRF)、吉布斯随机场(GRF)及条件随机场(CRF)之间的关系