Entropy, relative entropy and mutual information
Entropy
\]
熵非负, 且当且仅当\(X\)确定性的时候为有最小值0, 即\(P(X=x_0)=1\).
Proof:
由\(\log\)的凹性可得
H(X)
& = -\sum_{x} p(x) \log p(x) \\
& = \sum_{x} p(x) \log \frac{1}{p(x)} \\
& \ge \log 1=0.
\end{array}
\]
Joint Entropy
\]
Conditional Entropy
H(Y|X)
&= - \mathbb{E}_{p(x)} [H(Y|X=x)] \\
&= - \sum_{x \in \mathcal{X}} p(x) H(Y|X=x) \\
&= - \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x)p(y|x) \log p(y|x) \\
&= - \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x, y) \log p(y|x).
\end{array}
\]
注意 \(H(Y|X)\) 和 \(H(Y|X=x)\) 的区别.
Chain rule
\]
proof:
根据\(p(y|x)=\frac{p(x, y)}{p(x)}\)以及上面的推导可知:
H(Y|X)
&= H(X,Y) + \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x, y) \log p(x) \\
&= H(X, Y) -H(X).
\end{array}
\]
推论:
\]
H(Y|X,Z)
&= \mathbb{E}_{x,z} [H(Y|x,z)] \\
&= -\sum_{x,z} p(x,z) p(y|x,z) \log p(y|x,z) \\
&= -\sum_{x, z} p(x, y, z) [\log p(x, y|z) - \log p(x|z)] \\
&= \mathbb{E}_{z} H(X, Y|z) - \mathbb{E}_{z} H(X|z) = H(X, Y|Z) - H(X|Z).
\end{array}
\]
Mutual Information
\]
\(I(X; Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = I(Y;X) = H(X) + H(Y) - H(X, Y) \ge 0\)
\(I(X, X) = H(X)\)
Relative Entropy
\]
Chain Rules
Chain Rule for Entropy
设\((X_1, X_2,\ldots, X_n) \sim p(x_1, x_2, \ldots, x_n)\):
\]
proof:
归纳法 + \(H(X, Y) = H(X) + H(Y|X)\).
Chain Rule for Mutual Information
Conditional Mutual Information
定义:
\]
性质:
\]
proof:
I(X_1, X_2, \ldots, X_n; Y)
& =H(X_1, \ldots, X_n) + H(Y) - H(X_1,\ldots, X_n;Y) \\
&= H(X_1,\ldots, X_{n-1}) + H(X_n|X_1,\ldots, X_{n-1}) + H(Y) - H(X_1, \ldots, X_n;Y) \\
&= I(X_1, X_2,\ldots, X_{n-1};Y) + H(X_n|X_1,\ldots, X_{n-1}) - H(X_n|X_1, \ldots, X_{n-1};Y) \\
&= I(X_1, X_2,\ldots, X_{n-1};Y) + I(X_n;Y|X_1,\ldots, X_{n-1}). \\
\end{array}
\]
Chain Rule for Relative Entropy
定义:
D(p(y|x)\|q(y|x))
&:= \mathbb{E}_{p(x, y)} [\log \frac{p(Y| X)}{q(Y|X)}] \\
&= \sum_x p(x) \sum_y p(y|x) \log \frac{p(y|x)}{q(y|x)}.
\end{array}
\]
性质:
\]
proof:
D(p(x, y)\| q(x, y))
&= \sum_{x, y} p(x, y) \log \frac{p(x, y)}{q(x, y)} \\
&= \sum_{x, y} p(x, y) \log \frac{p(y|x)p(x)}{q(y|x)q(x)} \\
&= \sum_{x, y} [p(x, y) (\log \frac{p(y|x)}{q(y|x)} + \log \frac{p(x)}{q(x)})]\\
&= D(p(x)\|q(x)) + D(p(y|x)\|q(y|x)).
\end{array}
\]
补充:
\]
故, 当\(p(x) = q(x)\)的时候, 我们可以得到
\]
\(D(p(y|x)\|q(y|x))=D(p(x, y)\| p(x)q(y|x))\)
\(D(p(x_1, x_2,\ldots, x_n)\| q(x_1, x_2,\ldots, x_m)) = \sum_{i=1}^n D(p(x_i|x_{i-1}, \ldots, x_1)\|q(x_i| x_{i-1}, \ldots, x_1))\)
\(D(p(y)\| q(y)) \le D(p(y|x)\|q(y|x))\), \(q(x)=p(x)\).
1, 2, 3的证明都可以通过上面的稍作变换得到.
Jensen's Inequality
如果\(f\)是凸函数, 则
\]
Properties
- \(D(p\|q) \ge 0\) 当且仅当\(p=q\)取等号.
- \(I(X; Y) \ge 0\)当且仅当\(X, Y\)独立取等号.
- \(D(p(y|x)\|q(y|x)) \ge 0\) (根据上面的性质), 当且仅当\(p(y|x) = q(y|x)\)取等号, \(p(x) > 0\).
- \(I(X; Y|Z) \ge 0\), 当且仅当\(X, Y\)条件独立.
- \(H(X|Y)\le H(X)\), 当且仅当\(X, Y\)独立等号成立.
- \(H(X_1, X_2, \ldots, X_n)\le \sum_{i=1}^n H(X_i)\), 当且仅当所有变量独立等号成立.
Log Sum Inequality
- \(D(p\|q)\) 关于\((p, q)\)为凸函数, 即\(\forall 0\le \lambda \le 1\):
\[D(\lambda p_1 + (1-\lambda)p_2\| \lambda q_1 + (1-\lambda)q_2) \le \lambda D(p_1\|q_1) + (1-\lambda)D(p_2 \| q_2).
\]
此部分的证明, 一方面可以通过\(p\log\frac{p}{q}\)的凸性得到, 更有趣的证明是, 构造一个新的联合分布
\]
即
p(c=0)=q(c=0)=\lambda, p(c=1) = q(c=1) = 1-\lambda.
\]
并注意到\(D(p(y)\| q(y)) \le D(p(y|x)\|q(y|x))\).
- \(H(X) = -\sum_{x \in \mathcal{X}} p(x) \log p(x)\)是关于\(p\)的凹函数.
- \(I(X, Y) = \sum_{x, y} p(y|x)p(x) \log \frac{p(y|x)}{p(y)}\), 当固定\(p(y|x)\)的时候是关于\(p(x)\)的凹函数, 当固定\(p(x)\)的时候, 是关于\(p(y|x)\)的凸函数.
仅仅证明后半部分, 任给\(p_1(y|x), p_2(y|x)\), 由于\(p(x)\)固定, 故\(\forall 0 \le \lambda \le 1\):
p(y): = \sum_x p(x, y) = \lambda \sum_x p_1(x, y) + (1-\lambda) \sum_{x} p_2(x, y) \\
q(x, y):= p(x)p(y) = \sum_x p(x, y) = \lambda p(x) \sum_x p_1(x, y) + (1-\lambda) p(x)\sum_{x} p_2(x, y) =: \lambda q_1(x, y) + (1-\lambda)q_2(x, y).\\
\]
又
\]
因为KL散度关于\((p, q)\)是凸函数, 所以\(I\)关于\(p(y|x)\)如此.
Data-Processing Inequality
数据\(X \rightarrow Y \rightarrow Z\), 即\(P(X, Y,Z) = P(X)P(Y|X)P(Z|Y)\) 比如\(Y=f(X), Z = g(Y)\).
\]
又
I(X;Y|Z) = \sum_{x,y,z} p(x,y,z) \log \frac{p(x|y)}{p(x|z)}\ge 0.
\]
故
I(X;Y|Z) \le I(X;Y).
\]
Sufficient Statistics
Statistics and Mutual Information
一族概率分布\(\{f_{\theta(x)}\}\)
\(X \sim f_{\theta}(x)\), \(T(X)\)为其统计量, 则
\[\theta \rightarrow X \rightarrow T(X)
\]故
\[I(\theta;X) \ge I(\theta;T(X))
\]
Sufficient Statistics and Compression
充分统计量定义: 一个函数\(T(X)\)被称之为一族概率分布\(\{f_{\theta}(x)\}\)的充分统计量, 如果给定\(T(X)=t\)时\(X\)的条件分布与\(\theta\)无关, 即
\]
此时, \(I(\theta;T(X))= I(\theta;X)\).
最小充分统计量定义: 如果一个充分统计量\(T(X)\)与其余的一切关于\(\{f_{\theta}(x)\}\)的充分统计量\(U(X)\)满足
\]
Entropy, relative entropy and mutual information的更多相关文章
- 论文解读( N2N)《Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization》
论文信息 论文标题:Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximiz ...
- 互信息(Mutual Information)
本文根据以下参考资料进行整理: 1.维基百科:https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF 2.新浪博客:http://blog. ...
- Mutual information and Normalized Mutual information 互信息和标准化互信息
实验室最近用到nmi( Normalized Mutual information )评价聚类效果,在网上找了一下这个算法的实现,发现满意的不多. 浙江大学蔡登教授有一个,http://www.zju ...
- 泡泡一分钟:Robust and Fast 3D Scan Alignment Using Mutual Information
Robust and Fast 3D Scan Alignment Using Mutual Information 使用互信息进行稳健快速的三维扫描对准 https://arxiv.org/pdf/ ...
- Computer Vision_33_SIFT:A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information——2014
此部分是计算机视觉部分,主要侧重在底层特征提取,视频分析,跟踪,目标检测和识别方面等方面.对于自己不太熟悉的领域比如摄像机标定和立体视觉,仅仅列出上google上引用次数比较多的文献.有一些刚刚出版的 ...
- Image Processing and Analysis_15_Image Registration:Multi-modal volume registration by maximization of mutual information——1996
此主要讨论图像处理与分析.虽然计算机视觉部分的有些内容比如特 征提取等也可以归结到图像分析中来,但鉴于它们与计算机视觉的紧密联系,以 及它们的出处,没有把它们纳入到图像处理与分析中来.同样,这里面也有 ...
- Point-wise Mutual Information
Point-wise Mutual Information (Yao, et al 2019) reclaimed a clear description of Point-wise Mutual I ...
- 双目立体匹配经典算法之Semi-Global Matching(SGM)概述:匹配代价计算之互信息(Mutual Information,MI)
半全局立体匹配算法Semi-Global Matching,SGM由学者Hirschmüller在2005年所提出1,提出的背景是一方面高效率的局部算法由于所基于的局部窗口视差相同的假设在很多情况 ...
- Mutual Information
Mutal Information, MI, 中文名称:互信息. 用于描述两个概率分布的相似/相关程度. 常用于衡量两个不同聚类算法在同一个数据集的聚类结果的相似性/共享的信息量. 给定两种聚类结果\ ...
随机推荐
- LeetCode最富有客户的资产总量
最富有客户的资产总量 题目描述 给你一个 m * n 的整数网格 accounts,其中 account[i][j]是第 i 位客户在第 j 家银行托管的资产数量.返回最富有客户所拥有的资产总量. 客 ...
- flink---实时项目--day01--1. openrestry的安装 2. 使用nginx+lua将日志数据写入指定文件中 3. 使用flume将本地磁盘中的日志数据采集到的kafka中去
1. openrestry的安装 OpenResty = Nginx + Lua,是⼀一个增强的Nginx,可以编写lua脚本实现⾮非常灵活的逻辑 (1)安装开发库依赖 yum install -y ...
- SpringBoot-RestTemplate测试Controller
1.功能测试类 package com.imooc.controller; import java.io.IOException; import java.math.BigDecimal; impor ...
- _BSMachError: (os/kern) invalid capability (20) _BSMachError: (os/kern) invalid name (15) 问题的解决
在项目中突然遇到一个问题,也就是_BSMachError: (os/kern) invalid capability (20) _BSMachError: (os/kern) invalid name ...
- 【编程思想】【设计模式】【行为模式Behavioral】Publish_Subscribe
Python版 https://github.com/faif/python-patterns/blob/master/behavioral/publish_subscribe.py #!/usr/b ...
- Redis的一致性哈希算法
一.节点取余 根据redis的键或者ID,再根据节点数量进行取余. key:value如下 name:1 zhangsna:18:北京 对name:1 进行hash操作,得出来得值是242342345 ...
- Gitlab Flow到容器
一.简介 长话短说,本文全景呈现我司项目组gitlab flow && devops Git Flow定义了一个项目发布的分支模型,为管理具有预定发布周期的大型项目提供了一个健壮的框架 ...
- 车载以太网第二弹 | 测试之实锤-物理层PMA测试实践
前言 本期先从物理层"PMA测试"开始,下图1为"PMA测试"的测试结果汇总图.其中,为了验证以太网通信对线缆的敏感度,特选取两组不同特性线缆进行测试对比,果然 ...
- <转>Java NIO API
Java NIO API详解 NIO API 主要集中在 java.nio 和它的 subpackages 中: java.nio 定义了 Buffer 及其数据类型相关的子类.其中被 java.ni ...
- 华为HMS Core图形引擎服务携手三七游戏打造移动端实时DDGI技术
在2021年HDC大会的主题演讲中提到,华为HMS Core图形引擎服务(Scene Kit)正协同三七游戏一起打造实时DDGI(动态漫反射全局光照:Dynamic Diffuse Global Il ...