4.1 引言

现在要研究的是这样一种过程:

表示在时刻的值(或者状态),想对一串连续时刻的值,比如: ... 建立一个概率模型。

最简单的模型就是:假设都是独立的随机变量,但是通常这种假设都是没什么根据的,也缺乏研究的意义。

举例来说的话,如果用来代替某个公司,比如Google,在个交易日之后的股票价格。

那么说第天的股票价格和之前第天,第天,第乃至第天的股票价格一点关系都没有,这样是说不过去的。

但是说第天股票的收盘价格依赖于第天的收盘价格还是有点道理的。

同样还可以做出这样的合理假设:在给定了所有过去的收盘价,...,,那么第天的收盘价格仅仅依赖于第天的收盘价格。这种假设就定义了一个中随机过程,即Markov Chain(马尔科夫链)。

下面给出马尔科夫链的正式定义:

是一个取有限或者可数个可能值的随机过程。

除非明确提到过,这个过程可能的取值将会用非负整数来表示。

如果,那么该过程就是在时刻的状态为

这里假设只要过程是处于状态,那么下一步过程状态转为的概率是固定的。

                           (4.1)

对所有的状态,...,和和所有的都成立。

上面定义的过程就被称之为马尔科夫链。

方程(4.1)可以解释为:对于马尔科夫链,在给定了过去时刻的状态,...,和当前的状态,任何未来状态和过去的状态无关,只和当前的状态有关。

代表了过程从状态通过下一步转变到状态的概率。由于概率都是非负的,而且过程随着时间也必须流转到接下来的某个状态,所以可以得到:

表示一步转移概率的矩阵,那么可以得到

例4.1 天气预报

假设明天是否下雨的依赖于过去的天气条件,但仅限于今天是否下雨,而和之前的天气状态无关。

假设今天下雨,明天也下雨的概率是;今天不下雨,明天下雨的概率是

令下雨时,过程的状态为,不下雨的时过程的状态为

那么上述过程就是一个两状态的马尔科夫链,其转移概率矩阵为:

4.2 Chapman-Kolmogorov等式

之前我们已经定义了一步转移概率,现在来定义转移概率,即处于状态的过程经过了步状态改变之后处于状态的概率。

用公式来阐述就是:

显而易见的是

Chapman-Kolmogorov等式提供了计算步转移概率的方法。

                              (4.2)

对于比较通俗的解释就是过程从状态开始经过了步转移之后到达状态,然后从状态经过步转移之后到达了状态。把中间状态的所有可能的概率加起来就是过程从状态经过了步之后转移到状态的概率了。

Chapter 4 马尔科夫链的更多相关文章

  1. 从随机过程到马尔科夫链蒙特卡洛方法(MCMC)

    从随机过程到马尔科夫链蒙特卡洛方法 1. Introduction 第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning t ...

  2. 蒙特卡洛马尔科夫链(MCMC)

    蒙特卡洛马尔科夫链(MCMC) 标签: 机器学习重要性采样MCMC蒙特卡洛 2016-12-30 20:34 3299人阅读 评论(0) 收藏 举报  分类: 数据挖掘与机器学习(41)  版权声明: ...

  3. MCMC(二)马尔科夫链

    MCMC(一)蒙特卡罗方法 MCMC(二)马尔科夫链 MCMC(三)M-H采样和Gibbs采样(待填坑) 在MCMC(一)蒙特卡罗方法中,我们讲到了如何用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或 ...

  4. 《principles of model checking》中的离散时间马尔科夫链

    <principles of model checking>中的离散时间马尔科夫链 说明:此文为我自学<principles of model checking>第十章内容的笔 ...

  5. 13张动图助你彻底看懂马尔科夫链、PCA和条件概率!

    13张动图助你彻底看懂马尔科夫链.PCA和条件概率! https://mp.weixin.qq.com/s/ll2EX_Vyl6HA4qX07NyJbA [ 导读 ] 马尔科夫链.主成分分析以及条件概 ...

  6. N元马尔科夫链的实现

    马尔可夫模型(Markov Model)是一种统计模型,广泛应用在语音识别,词性自动标注,音字转换,概率文法等各个自然语言处理等应用领域.经过长期发展,尤其是在语音识别中的成功应用,使它成为一种通用的 ...

  7. 马尔科夫链蒙特卡洛(Markov chain Monte Carlo)

    (学习这部分内容大约需要1.3小时) 摘要 马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC) 是一类近似采样算法. 它通过一条拥有稳态分布 \(p\) 的马尔科夫链对 ...

  8. 【HDOJ6229】Wandering Robots(马尔科夫链,set)

    题意:给定一个n*n的地图,上面有k个障碍点不能走,有一个机器人从(0,0)出发,每次等概率的不动或者往上下左右没有障碍的地方走动,问走无限步后停在图的右下部的概率 n<=1e4,k<=1 ...

  9. 【强化学习】MOVE37-Introduction(导论)/马尔科夫链/马尔科夫决策过程

    写在前面的话:从今日起,我会边跟着硅谷大牛Siraj的MOVE 37系列课程学习Reinforcement Learning(强化学习算法),边更新这个系列.课程包含视频和文字,课堂笔记会按视频为单位 ...

随机推荐

  1. 创建 router 连通 subnet

    上一节我们为 Neutron 虚拟路由器配置好了 L3 agent,今天将创建虚拟路由器“router_100_101”,打通 vlan100 和 vlan101. 打开操作菜单 Project -& ...

  2. Mongoose 表实例

    /********** 用户表 BY Jaysir 2015.6.21 *********** *********** 可搜索以下关键词来查看未实现功能 *********** *********** ...

  3. boost::thread编程-线程中断(转)

    原文转自 http://blog.csdn.net/anda0109/article/details/41943691 thread的成员函数interrupt()允许正在执行的线程被中断,被中断的线 ...

  4. input上报流程分析【转】

    转自:http://blog.chinaunix.net/uid-28320320-id-3389196.html .参考文章 [Andorid]input系统的事件处理 .源码分析 linux )查 ...

  5. check source code after macro expand

    Some time I'd like check source code after macro expand. We can use -E option to stop after the prep ...

  6. my.ini配置详解

    Mysql my.ini 配置文件详解 #BEGIN CONFIG INFO #DESCR: 4GB RAM, 只使用InnoDB, ACID, 少量的连接, 队列负载大 #TYPE: SYSTEM ...

  7. 2018年东北农业大学春季校赛 F wyh的集合【思维】

    链接:https://www.nowcoder.com/acm/contest/93/F来源:牛客网 题目描述 你们wyh学长给你n个点,让你分成2个集合,然后让你将这n个点进行两两连接在一起,连接规 ...

  8. HDU 1020 Encoding【连续的计数器重置】

    Encoding Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total Su ...

  9. 基于 OpenResty 的动态服务路由方案

    2019 年 5 月 11 日,OpenResty 社区联合又拍云,举办 OpenResty × Open Talk 全国巡回沙龙武汉站,又拍云首席布道师在活动上做了< 基于 OpenResty ...

  10. BZOJ——3412: [Usaco2009 Dec]Music Notes乐谱

    http://www.lydsy.com/JudgeOnline/problem.php?id=3412 Time Limit: 3 Sec  Memory Limit: 128 MBSubmit:  ...