离散信源的分类和数学模型&&离散无记忆信源的熵
1.离散信源的分类和数学模型
在离散时间发出离散符号的信源称为离散信源。如果信源符号集为有限集,则称为有限离散信源。如果信源符号集为无限可数集,则称为无限离散信源。
离散无记忆信源的N次拓展源:设信源为X,则由X构成的N维随机矢量集合XN = X1X2X3...XN(其中Xi与X同分布),称为信源X的N次扩展源。
2.离散无记忆信源的熵
2.1离散平稳信源 若具有有限符号集A={a1,a2,a3,...,an}的信源X产生的随机序列{xi},i=...1,2...且满足:对所有的i1,i2,...in,h,j1,j2,...,jn及xi ε X,有p(xi1=aj1,xi2=aj2,xi3=aj3,...xi N=ajN) = p(xi1+h=aj1,xi2+h=aj2,...,xin+h=ajn)则称信源为离散平稳信源,所产生的序列为平稳序列。平稳序列的统计特性与时间的推移无关,即序列中符号的额任意维联合概率分布与时间起点无关。
2.2离散平稳有记忆信源的熵 设X为离散平稳有记忆信源,X的N次扩展源记为XN, XN=X1X2X3...XN. 根据熵的可加性,有H(XN)=H(X1X2X3...XN)=H(X1)+H(X2|X1)+...+H(XN|X1...XN-1)
定理1:对任意离散平稳信源,若H1(X)<∞,有以下结论:(1)H(XN|X1...XN-1)不随N而增加;(2)HN(X)≥H(XN|X1...XN-1); (3) HN(X)不随N而增加;(4)H∞(X)存在,且H∞(X)=limH(XN|X1...XN-1); 式(4)表明,有记忆信源的符号熵也可以通过计算极限条件熵得到。
3.有限状态马尔可夫链
3.1马氏链的基本概念
设信源的符号集为{a1,a2,..,aq},信源的输出序列为x1,x2,...,xN,如果其中每个随机变量xn仅通过最接近的变量xn-1依赖于过去的随机变量xn-1,xn-2,...,即对所有的i,j,k,...有p(xn=j|xn-1=i,xn-2=k,...,x0=m ) = p(xn=j|xn-1=i) 则称{xn,n≥0}为马尔可夫链,简称马氏链。 p(xn=j|xn-1=i,xn-2=k,...,x0=m ) = p(xn=j|xn-1=i) 定义的是一阶马氏链,此时随机变量xn也称作马氏链在n时刻的状态。 换一句话说就是:信源在时刻n处于某一状态的概率,在时刻n-1的状态下与过去的其他时刻的状态无关,即当下状态只和前一个状态有关。
类似的可以定义m阶马氏链,即信源输出某一符号的概率与以前的m个符号有直接关系,则此时m个信源符号组成的所有的可能的序列就对应于信源全部可能的状态{1,2,3,...J},这里J= qm.
马氏链是时间离散,状态也离散的马氏过程。如果状态集合为有限集,则称为有限状态马氏链;如果状态集合为无穷可数集,则称为无穷状态马氏链。
3.2齐次马氏链
齐次马氏链是具有平稳转移概率的马氏链。若马氏链转移概率与起始时刻无关,则称为齐次马氏链。很明显,齐次马氏链的转移概率矩阵与起始时刻也无关,从状态i经k步转移到状态j的概率可写成Pij.
齐次马氏链可以用转移概率矩阵、网格图和状态转移图来描述。 注意转移概率矩阵与状态转移图的对照。
3.3,马氏链的状态分类
对于一个有限状态的马氏链,如果状态i是经过有限步骤后迟早要返回的状态,则称状态i是常返态。 不是常返态的状态称为过渡态,即若存在某状态j经过若干步以后总能到达某一其他状态,但不能从其他状态返回,则称状态j是过渡态。
如果马氏链中任何两个状态互通,则此马氏链是不可约的。一个有限马氏链按互通关系所分成的子集中的状态要么是常返的,称为常返类。要么是过渡的,称为过渡类。一个有限马氏链至少有一个常返类和若干个过渡类。
而常返态又可以分为周期的或者遍历的。主要看d,d>1就是周期的;d=1就是遍历的。其实如果这个子集中有自返的子集,那么这些子集中的元素就是遍历的了。
3.4马氏链的平稳分布
平稳分布的“平稳分布列矢量”,经过状态转移是不变的。如果起始状态的概率分布不是平稳分布,则马氏链是不平稳的。但是,对于遍历马氏链,无论初始状态如何,当转移步数足够大时,状态概率分布总会趋于平稳分布,与初始状态概率分布无关。
结论:(1)对于有限状态马氏链,平稳分布恒存在。(2)如果马氏链中仅存在一个常返类,则πT=πTP的解是唯一的;如果存在r个常返类,则具有r个线性独立的矢量解。(3)如果马氏链中仅存在一个或多个常返类而且是非周期的,那么Pn也收敛。 如果马氏链有一个或多个周期常返类,则Pn不收敛。
离散信源的分类和数学模型&&离散无记忆信源的熵的更多相关文章
- 『TensorFlow』分类问题与两种交叉熵
关于categorical cross entropy 和 binary cross entropy的比较,差异一般体现在不同的分类(二分类.多分类等)任务目标,可以参考文章keras中两种交叉熵损失 ...
- BITED数学建模七日谈之四:数学模型分类浅谈
本文进入到数学建模七日谈第四天:数学模型分类浅谈 大家常常问道,数学模型到底有哪些,分别该怎么学习,这样能让我们的学习有的放矢,而不至于没了方向.我想告诉大家,现实生活中的问题有哪些类,数学模型就有哪 ...
- HotSpot关联规则算法(2)-- 挖掘连续型和离散型数据
本篇代码可在 http://download.csdn.net/detail/fansy1990/8502323下载. 前篇<HotSpot关联规则算法(1)-- 挖掘离散型数据>分析了离 ...
- 利用 pandas 进行数据的预处理——离散数据哑编码、连续数据标准化
数据的标准化 数据标准化就是将不同取值范围的数据,在保留各自数据相对大小顺序不变的情况下,整体映射到一个固定的区间中.根据具体的实现方法不同,有的时候会映射到 [ 0 ,1 ],有时映射到 0 附近的 ...
- 文本离散表示(一):词袋模型(bag of words)
一.文本表示 文本表示的意思是把字词处理成向量或矩阵,以便计算机能进行处理.文本表示是自然语言处理的开始环节. 文本表示按照细粒度划分,一般可分为字级别.词语级别和句子级别的文本表示.字级别(char ...
- Python 实现图像快速傅里叶变换和离散余弦变换
图像的正交变换在数字图像的处理与分析中起着很重要的作用,被广泛应用于图像增强.去噪.压缩编码等众多领域.本文手工实现了二维离散傅里叶变换和二维离散余弦变换算法,并在多个图像样本上进行测试,以探究二者的 ...
- CART:分类与回归树
起源:决策树切分数据集 决策树每次决策时,按照一定规则切分数据集,并将切分后的小数据集递归处理.这样的处理方式给了线性回归处理非线性数据一个启发. 能不能先将类似特征的数据切成一小部分,再将这一小部分 ...
- Coursera台大机器学习基础课程学习笔记2 -- 机器学习的分类
总体思路: 各种类型的机器学习分类 按照输出空间类型分Y 按照数据标记类型分yn 按照不同目标函数类型分f 按照不同的输入空间类型分X 按照输出空间类型Y,可以分为二元分类,多元分类,回归分析以及结构 ...
- 随机森林分类(Random Forest Classification)
其实,之前就接触过随机森林,但仅仅是用来做分类和回归.最近,因为要实现一个idea,想到用随机森林做ensemble learning才具体的来看其理论知识.随机森林主要是用到决策树的理论,也就是用决 ...
随机推荐
- 背水一战 Windows 10 (37) - 控件(弹出类): MessageDialog, ContentDialog
[源码下载] 背水一战 Windows 10 (37) - 控件(弹出类): MessageDialog, ContentDialog 作者:webabcd 介绍背水一战 Windows 10 之 控 ...
- 【Java每日一题】20161221
package Dec2016; public class Ques1221 { } class Parent{ public void test(){ System.out.println(&quo ...
- windows下新安装的mysql修改root password问题
常用步骤: 1. 在my.ini中的mysqld下添加一行 skip-grant-tables 2.重启mysql后直接进入后,用SQL直接修改password列: C:\> net stop ...
- Xdebug文档(三)堆栈跟踪
当xdebug激活时,PHP一旦要显示通知.警告或错误时,xdebug 显示堆栈跟踪信息.这个堆栈信息能跟据你的需要来配置显示. Xdebug显示的堆栈跟踪都是以保守数量状态显示信息.因为大量的信息处 ...
- css3相册图片3D旋转展示特效
查看效果:http://hovertree.com/texiao/css/14/ 本效果用css3的animation实现动画 定义和用法animation 属性是一个简写属性,用于设置六个动画属性: ...
- angular源码分析:angular中$rootscope的实现——scope的一生
在angular中,$scope是一个关键的服务,可以被注入到controller中,注入其他服务却只能是$rootscope.scope是一个概念,是一个类,而$rootscope和被注入到cont ...
- AJAX初探,XMLHttpRequest介绍
AJAX初探,XMLHttpRequest介绍 AJAX AJAX = Asynchronous JavaScript and XML. 异步的JavaScript和XML. AJ ...
- Android的Message Pool是什么——源码角度分析
原文地址: http://blog.csdn.net/xplee0576/article/details/46875555 Android中,我们在线程之间通信传递通常采用Android的消息机制,而 ...
- Android 窗体设置
requestWindowFeature(Window.FEATURE_NO_TITLE); getWindow().setFlags(WindowManager.LayoutParams.FLAG ...
- Android Studio 运行出现 Error:Execution failed for task ':app:transformResourcesWithMergeJavaResForDebug'.
转载请标明出处: http://www.cnblogs.com/why168888/p/5978381.html 本文出自:[Edwin博客园] 我引用compile 'com.squareup.re ...