这个时代已经是多学科相互渗透的时代，纯粹的传统学科在没落，新兴的交叉学科在不断兴起。

  • life science
  • neurosciences
  • statistics
  • computer science
  • information theory

我的问题很简单：

  1. 一个细胞里到底保存了多少信息，复制、转录、翻译过程中传递了多少信息？
  2. 神经突触传递信息的上限是多少？

想回答这些问题就必须要学习信息论！

什么是信息？

两个同样的光碟里保存的信息是一样的吗？

人和信息的关系是什么？假设所有人都不存在了，信息还存在吗？

independence of random variables

  • Mutual Independence
  • Pairwise Independence
  • Conditional Independence

Markov chain

strictly positive

重点概念：

条件独立：独立与条件独立，X->Y->Z，X与Y不独立，Y与Z也不独立，X与Z呢？这就是条件独立。也就是X和Z的依赖关系（独立关系）借由Y产生，所以叫条件独立。举例：X：明天下雨，Y：今天下雨，Z：今天地面变湿了。

马尔科夫链：由条件独立引申而来。

信息论 | information theory | 信息度量 | information measures | R代码（一）的更多相关文章

  1. 决策论 | 信息论 | decision theory | information theory

    参考: 模式识别与机器学习(一):概率论.决策论.信息论 Decision Theory - Principles and Approaches 英文图书 What are the best begi ...

  2. 信息熵 Information Theory

    信息论(Information Theory)是概率论与数理统计的一个分枝.用于信息处理.信息熵.通信系统.数据传输.率失真理论.密码学.信噪比.数据压缩和相关课题.本文主要罗列一些基于熵的概念及其意 ...

  3. Computer Science Theory for the Information Age-1: 高维空间中的球体

    高维空间中的球体 注:此系列随笔是我在阅读图灵奖获得者John Hopcroft的最新书籍<Computer Science Theory for the Information Age> ...

  4. Tree - Information Theory

    This will be a series of post about Tree model and relevant ensemble method, including but not limit ...

  5. Better intuition for information theory

    Better intuition for information theory 2019-12-01 21:21:33 Source: https://www.blackhc.net/blog/201 ...

  6. CCJ PRML Study Note - Chapter 1.6 : Information Theory

    Chapter 1.6 : Information Theory     Chapter 1.6 : Information Theory Christopher M. Bishop, PRML, C ...

  7. Computer Science Theory for the Information Age-4: 一些机器学习算法的简介

    一些机器学习算法的简介 本节开始,介绍<Computer Science Theory for the Information Age>一书中第六章(这里先暂时跳过第三章),主要涉及学习以 ...

  8. 7.2 GRASP原则二：信息专家 Information Expert

    2.GRASP原则二:信息专家 Information Expert  What is a general principle of assigning responsibility to obje ...

  9. information entropy as a measure of the uncertainty in a message while essentially inventing the field of information theory

    https://en.wikipedia.org/wiki/Claude_Shannon In 1948, the promised memorandum appeared as "A Ma ...

随机推荐

  1. Python多版本环境搭建（Linux系统）

    python Linux 环境 (版本隔离工具)   首先新建用户,养成良好习惯   useradd python   1.安装pyenv   GitHub官网:   https://github.c ...

  2. Debian9.5系统安装

    1.镜像下载地址 http://cdimage.debian.org/cdimage/archive/ 2.开始安装 如果有配置网络地址,可以手动配置或者跳过等系统安装好后配置.  至此debian9 ...

  3. Flink 原理（六）——异步I/O（asynchronous I/O）

    1.前言 本文是基于Flink官网上Asynchronous  I/O的介绍结合自己的理解写成的,若有不正确的欢迎大伙留言交流,谢谢! 2.Asynchronous  I/O简介 将Flink用于流计 ...

  4. 191011 python3-format函数

    # 题目:一球从100米高度自由落下,每次落地后反跳回原高度的一半:# 再落下,求它在第10次落地时,共经过多少米?第10次反弹多高?方法一: l = 100.0 s = 100 for i in r ...

  5. 14.专攻python和centos7

    大牛博客:https://blog.51cto.com/yangrong/p5 用户接口应用程序: [root@python01 ~]# ps aux|grep bashroot      23860 ...

  6. Python入门篇-封装与解构和高级数据类型集合（set）和字典（dict）

    Python入门篇-封装与解构和高级数据类型集合(set)和字典(dict) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.封装和结构 #!/usr/bin/env pytho ...

  7. Ffmpeg常用转码命令

    H264视频转ts视频流 ffmpeg -i test.h264 -vcodec copy -f mpegts test.ts H264视频转mp4 ffmpeg -i test.h264 -vcod ...

  8. scala 中的集合类

    集合最重要的继承路线 —— Traversable -> Iterable -> Seq -> LinerSeq -> List Traversable 中的公有方法: 分类 ...

  9. Exec Maven插件

    1.为什么使用exec? 现在的工程往往依赖 众多的jar包,不像war包工程,对于那些打包成jar包形式的本地java应用来说,通过java命令启动将会是一件极为繁琐的事情,原因很简单,太 多的依赖 ...

  10. 1.什么是spring

    spring框架是一个为java应用程序的开发提供了综合,广泛的基础性支持的java开源框架, 使得开发者不用去关心一些冗杂的基础性问题,从而可以更加专注于应用程序的开发. spring框架是一个分层 ...