这是一个非常重要的模型,凡是学统计学、机器学习、数据挖掘的人都应该彻底搞懂。

python包:

hmmlearn 0.2.0

https://github.com/hmmlearn/hmmlearn

参考链接:

一文搞懂HMM(隐马尔可夫模型)

如何用简单易懂的例子解释隐马尔可夫模型? - 知乎

有些文章里面已经介绍得非常清楚了,只是需要在项目中进行实践,然后做一下总结。


数学之美里有一章专门讲了隐含马尔科夫模型,讲得非常的通俗易懂。

在自然语言处理方面得到了广泛的应用,此外还有语音识别,机器翻译。

通信是一个编码、传输和解码的过程。自然语言的处理应该使用通信原理解决,而不是在语言的语法和语义上。

通信六要素:信息源、信道、接受者、信息、上下文和编码。

解码就是通过接受到的信号(o)还原出发送的信号(s)。

语音识别就是听话的人去采说话人要表达的意思,机器翻译也是同理。

上式等价于:

而上面的分母可以省略,因为一旦信息产生了,它就不会变了,事件就是一个固定的事件,一个固定事件发生的概率必然是一个常数,对这个公式而言它就可以省略了。  余下的式子就可以通过隐马尔科夫模型来求解。

马尔科夫链:概率论的研究对象从静态的随机变量转移到动态的序列随机变量上,一个简化的假设:随机过程中每个状态的概率分布只与它的前一个状态有关,即:

马尔科夫链:我们已经知道一个马尔科夫链的所有的状态,让它随机运行,随机初始化,后面随机选择,运行完了会产生一个状态序列,可以因此估计转移概率。

隐马尔科夫模型:状态是不可见的,无法通过观察状态序列推算转移概率,但它会输出一个结果序列(仅与状态相关,独立输出假设),

可以计算出某个特定状态序列(s)产生输出序列(o)的概率:

等价于:

这就与前面的式子联系在了一起,可以解码问题就得到了解决。

隐马尔可夫模型有三个问题:

  1. 给定一个模型(参数),计算某个特定输出序列的概率;(forward-backward算法)
    1. 给定模型和某个特定的输出序列,找到最可能的状态序列;(维特比算法)  解码算法
  2. 给定观测数据,估计隐马尔科夫模型的参数。(鲍姆-韦尔奇算法(Baum-Welch)) 训练算法

需要知道:状态转移概率,生成概率等模型参数,估计这两个参数称为模型的训练。

有两种训练方法:一是有监督训练方法;一是无监督训练。

有监督的需要得到人工的标注训练集,成本高,而且一些情况下无法得到训练集,如语音识别。

可行的方式是仅仅通过观察信号(o)推算出模型的这两个参数,使用鲍姆-韦尔奇算法(Baum-Welch)

鲍姆-韦尔奇算法(Baum-Welch):

初始化可行的模型参数,在此模型下,计算出产生观察信号(o)的所有路径及其概率,作为标注的训练数据,计算出新的模型参数,此时迭代后的模型参数一定优于原来的模型参数。不断迭代,直至最后模型质量不再提升。

这也是个期望最大化的过程,简称EM过程,目前只能寻找出局部最优解,除非目标函数是凸函数。


待续~

HMM隐马尔科夫模型的更多相关文章

  1. 自然语言处理(1)-HMM隐马尔科夫模型基础概念(一)

    隐马尔科夫模型HMM 序言 文本序列标注是自然语言处理中非常重要的一环,我先接触到的是CRF(条件随机场模型)用于解决相关问题,因此希望能够对CRF有一个全面的理解,但是由于在学习过程中发现一个算法像 ...

  2. HMM 隐马尔科夫模型

    参考如下博客: http://www.52nlp.cn/itenyh%E7%89%88-%E7%94%A8hmm%E5%81%9A%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8 ...

  3. HMM基本原理及其实现(隐马尔科夫模型)

    HMM(隐马尔科夫模型)基本原理及其实现 HMM基本原理 Markov链:如果一个过程的“将来”仅依赖“现在”而不依赖“过去”,则此过程具有马尔可夫性,或称此过程为马尔可夫过程.马尔可夫链是时间和状态 ...

  4. 基于隐马尔科夫模型(HMM)的地图匹配(Map-Matching)算法

    文章目录 1. 1. 摘要 2. 2. Map-Matching(MM)问题 3. 3. 隐马尔科夫模型(HMM) 3.1. 3.1. HMM简述 3.2. 3.2. 基于HMM的Map-Matchi ...

  5. 隐马尔科夫模型HMM学习最佳范例

    谷歌路过这个专门介绍HMM及其相关算法的主页:http://rrurl.cn/vAgKhh 里面图文并茂动感十足,写得通俗易懂,可以说是介绍HMM很好的范例了.一个名为52nlp的博主(google ...

  6. HMM 自学教程(四)隐马尔科夫模型

    本系列文章摘自 52nlp(我爱自然语言处理: http://www.52nlp.cn/),原文链接在 HMM 学习最佳范例,这是针对 国外网站上一个 HMM 教程 的翻译,作者功底很深,翻译得很精彩 ...

  7. 隐马尔科夫模型(HMM)的概念

    定义隐马尔科夫模型可以用一个三元组(π,A,B)来定义:π 表示初始状态概率的向量A =(aij)(隐藏状态的)转移矩阵 P(Xit|Xj(t-1)) t-1时刻是j而t时刻是i的概率B =(bij) ...

  8. 猪猪的机器学习笔记(十七)隐马尔科夫模型HMM

    隐马尔科夫模型HMM 作者:樱花猪 摘要: 本文为七月算法(julyedu.com)12月机器学习第十七次课在线笔记.隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来 ...

  9. 隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率

    隐马尔科夫模型HMM(一)HMM模型 隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率 隐马尔科夫模型HMM(三)鲍姆-韦尔奇算法求解HMM参数(TODO) 隐马尔科夫模型HMM(四)维特比算法 ...

随机推荐

  1. 几篇不错的基础css博客转载

    CSS 巧用 :before和:after:http://web.jobbole.com/85083/ css清除元素间距:http://ouvens.github.io/frontend-css/2 ...

  2. 2016年11月12日 星期六 --出埃及记 Exodus 20:3

    2016年11月12日 星期六 --出埃及记 Exodus 20:3 "You shall have no other gods before me.除了我以外,你不可有别的 神.

  3. Linux 常见的trouble shooting故障排错

    Linux 常见的trouble shooting故障排错 备份开机所必须运行的程序对一个运维人员来说是非常有必要的.在实际生产环境中,系统和数据基本都是安装在不同的硬盘上面,因为企业最关心的还是数据 ...

  4. EF 增删改查

    StudentEntities entities = new StudentEntities(); //初始化对象 Register register = new Register(); #regio ...

  5. Xcode_5

    Xcode_5  Objective-C进行IOS7编程   我个人的经验是,如果之前有过编程基础(无论是C.C++还是Java),那么<Objective-C基础教程>(图灵程序设计丛书 ...

  6. C++ UTF8 UrlEncode(宽字符)(转载)

    转载:http://www.cnblogs.com/newcj/p/3645749.html #include "UrlEncode.h" #include <string& ...

  7. centos6.5 ssh安全优化,修改默认端口名,禁止root远程登录

    一.修改默认端口号 第一步: vi /etc/sysconfig/iptables 添加修改后的端口号的配置 -A INPUT -p tcp -m state --state NEW -m tcp - ...

  8. BZOJ 3551 Peaks加强版

    题目链接:http://www.lydsy.com/JudgeOnline/problem.php?id=3551 题意:给出一个图,n个点,m条边.边有权值点也有权值.若干询问,(v,x,k),问从 ...

  9. background:linear-gradient()

    文章一   http://www.runoob.com/css3/css3-gradients.html 文章二:http://www.w3cplus.com/content/css3-gradien ...

  10. Django.template框架 template context (非常详细)

    前面的章节我们看到如何在视图中返回HTML,但是HTML是硬编码在Python代码中的 这会导致几个问题: 1,显然,任何页面的改动会牵扯到Python代码的改动 网站的设计改动会比Python代码改 ...