wasserstein 距离
https://blog.csdn.net/nockinonheavensdoor/article/details/82055147
注明:直观理解而已,正儿八经的严谨证明看最下面的参考。
Earth Mover’s Distance
推土机距离的例子:有一堆土的分布是 PrPr, 其随机变量是xx,现在要求把这堆土挪动成为分布 PgPg ,其随机变量是yy(图上是PθPθ),这样做的方法很多,那么做最小功的挪动该是什么?这是一个优化问题对应着的最优解是:
这里Π(Pr,Pg)Π(Pr,Pg) 表示的是边缘分布是PrPr 和 PgPg 的联合分布(Pr,Pg)(Pr,Pg) 集合,即 ∑xγ(x,y)=Pr(y)∑xγ(x,y)=Pr(y) ,∑yγ(x,y)=Pθ(x)∑yγ(x,y)=Pθ(x).
γ∈Π(Pr,Pθ)γ∈Π(Pr,Pθ), 求解(x,y)(x,y)服从联合分布γγ 时,关于||x−y||||x−y||的期望,所有的解中最小的期望便是推土机距离。
直观的测度论
测度论提供了一些集合的特征,用来描述适用于RnRn空间的大多数点。
零测度:零测度集合在我们的度量空间中不占有任何的体积。比如二维空间中的一条直线的测度是0。
高维空间的低维子空间
高维空间中的很多点是多余的,真实数据蜷缩在低维子空间的流形上(即高维曲面),因为维度低,所占空间体积几乎为0,所以原始的GANs存在的问题是生成器的生成数据广泛分布在高维空间中,侦测不到真实数据,KL距离始终是log2,所以对生成器的梯度始终是0,怎么训练也没用。
Wasserstein距离的对偶式
相当于找到一个函数 ff 求(3)的最大目标函数。这个函数满足∥f∥L≤1‖f‖L≤1, 1-Lipschitz 函数。
参考:https://www.zhihu.com/question/41752299
:https://vincentherrmann.github.io/blog/wasserstein/
:《深度学习》《hulu百面》
---------------------
作者:NockinOnHeavensDoor
来源:CSDN
原文:https://blog.csdn.net/nockinonheavensdoor/article/details/82055147
版权声明:本文为博主原创文章,转载请附上博文链接!
wasserstein 距离的更多相关文章
- KL散度、JS散度、Wasserstein距离
1. KL散度 KL散度又称为相对熵,信息散度,信息增益.KL散度是是两个概率分布 $P$ 和 $Q$ 之间差别的非对称性的度量. KL散度是用来 度量使用基于 $Q$ 的编码来编码来自 $P$ 的 ...
- Wasserstein距离 和 Lipschitz连续
EMD(earth mover distance)距离: 在计算机科学与技术中,地球移动距离(EMD)是一种在D区域两个概率分布距离的度量,就是被熟知的Wasserstein度量标准.不正式的说,如果 ...
- 【深度学习】K-L 散度,JS散度,Wasserstein距离
度量两个分布之间的差异 (一)K-L 散度 K-L 散度在信息系统中称为相对熵,可以用来量化两种概率分布 P 和 Q 之间的差异,它是非对称性的度量.在概率学和统计学上,我们经常会使用一种更简单的.近 ...
- PyTorch 实战:计算 Wasserstein 距离
PyTorch 实战:计算 Wasserstein 距离 2019-09-23 18:42:56 This blog is copied from: https://mp.weixin.qq.com/ ...
- Wasserstein距离
https://blog.csdn.net/leviopku/article/details/81388306 https://blog.csdn.net/nockinonheavensdoor/ar ...
- 不要怂,就是GAN (生成式对抗网络) (六):Wasserstein GAN(WGAN) TensorFlow 代码
先来梳理一下我们之前所写的代码,原始的生成对抗网络,所要优化的目标函数为: 此目标函数可以分为两部分来看: ①固定生成器 G,优化判别器 D, 则上式可以写成如下形式: 可以转化为最小化形式: 我们编 ...
- 概率分布之间的距离度量以及python实现(四)
1.f 散度(f-divergence) KL-divergence 的坏处在于它是无界的.事实上KL-divergence 属于更广泛的 f-divergence 中的一种. 如果P和Q被定义成空间 ...
- Generative Adversarial Nets[Wasserstein GAN]
本文来自<Wasserstein GAN>,时间线为2017年1月,本文可以算得上是GAN发展的一个里程碑文献了,其解决了以往GAN训练困难,结果不稳定等问题. 1 引言 本文主要思考的是 ...
- Wasserstein CNN: Learning Invariant Features for NIR-VIS Face Recognition
承接上上篇博客,在其基础上,加入了Wasserstein distance和correlation prior .其他相关工作.网络细节(maxout operator).训练方式和数据处理等基本和前 ...
随机推荐
- Python Requests库网络爬取全代码
#爬取京东商品全代码 import requestsurl = "http://item.jd.com/2967929.html"try: r = requests.get(url ...
- leetcode1003
class Solution: def isValid(self, S: str) -> bool: n = len(S) if n % 3 != 0: return False while n ...
- OV7670配置和调试小结
先上一下OV7670的框架图 OV7670常用寄存器设置说明 直接看OV7670 Implementation Guide (V1.0)等 资料我已经上传了 https://files.cnblogs ...
- android stuido的代码排版的快捷建CTRL+ALT+L
CTRL+ALT+L 需要主要留意的地方是QQ的与其冲突的 我将qq的中快捷方式给去除
- idea 与springboot 快捷键
ctrl + m 还原 查询 getmapping 修改默认端口号
- crontab 安装与配置
安装方法: yum -y install vixie-cron yum -y install crontabs 说明:vixie-cron 软件包是 cron 的主程序:crontabs 软件包是用来 ...
- Linux swap 使用
使用的背景 内存吃紧的时候可以考虑使用swap. swap新增 http://www.cnblogs.com/wuxie1989/p/5888595.html swap 使用 https://www. ...
- TLS协议工作过程;如何应用TLS/SSL协议为WEB流量提供安全
SSL/TLS协议的基本过程是这样的: 客户端向服务器端索要并验证公钥. 双方协商生成"对话密钥". 双方采用"对话密钥"进行加密通信. 上面过程的前两 ...
- python 获取命令行参数
https://www.cnblogs.com/captain_jack/archive/2011/01/11/1933366.html zzz.py import sys from optparse ...
- UILabel的一些属性
1.0 lineBreakMode 1.1.0 NSLineBreakByWordWrapping = 0, 以字符为显示单位显示,后面部分省略不显示 NSLineBreakByCharWrapp ...