信息论 | information theory | 信息度量 | information measures | R代码（一）

这个时代已经是多学科相互渗透的时代，纯粹的传统学科在没落，新兴的交叉学科在不断兴起。

• life science
• neurosciences
• statistics
• computer science
• information theory

我的问题很简单：

1. 一个细胞里到底保存了多少信息，复制、转录、翻译过程中传递了多少信息？
2. 神经突触传递信息的上限是多少？

想回答这些问题就必须要学习信息论！

---

什么是信息？

两个同样的光碟里保存的信息是一样的吗？

人和信息的关系是什么？假设所有人都不存在了，信息还存在吗？

independence of random variables

• Mutual Independence
• Pairwise Independence
• Conditional Independence

Markov chain

strictly positive

重点概念：

条件独立：独立与条件独立，X->Y->Z，X与Y不独立，Y与Z也不独立，X与Z呢？这就是条件独立。也就是X和Z的依赖关系（独立关系）借由Y产生，所以叫条件独立。举例：X：明天下雨，Y：今天下雨，Z：今天地面变湿了。

马尔科夫链：由条件独立引申而来。