目录

Locatello F., Bauer S., Lucic M., R"{a}tsch G., Gelly S. Sch"{o}lkopf and Bachem Olivier. Challenging common assumptions in the unsupervised learning of disentangled representations. In International Conference on Machine Leaning (ICML), 2018.

解耦表示学习(disentangled representations)通常假设图片有独立的几个因素决定, 即:

\[p(x|z) , p(z) = \prod_{i=1}^d p(z_i).
\]

本文对这个假设提出质疑.

主要内容

VAE 首先通过encoder 将\(x\)映射为隐变量\(z\), 再通过隐变量\(z\)恢复出\(x\), 其中赋予先验\(p(z)\)常常为标准正态分布, 并且最大化ELBO的同时要最小化:

\[\mathrm{KL} (q_{\phi}(z|x) \| p(z)),
\]

这表示我们希望所提取的隐变量\(z\)的各分量是相互独立. 形象地说, 我们改变\(z_i\)就有图片相应的元素发生改变而其它元素不变. 作者认为这种假设简单而美好, 但是在无监督的模式下, 该假设是不可能成立的.

实际上, 假设先验分布的确如此\(p(z) = \prod_{i}^d p(z_i)\), 则一定存在一个双射\(f: \mathrm{supp}(z) \rightarrow \mathrm{supp}(z)\), 是的\(\frac{\partial{f_i(z)}}{\partial z_j}\not = 0, \mathrm{a.e.}, \forall i, j\), 且\(z, f(z)\)同分布, 即

\[P(z \le u) = P(f(z) \le u),
\]

又因为\(f\)是一个双射, 故

\[p(x|z) = p(x|f(z)),
\]

进一步有

\[P(x) = \int p(x|z)p(z) \mathrm{d}z = \int p(x|f(z))p(f(z)) \mathrm{d}f(z).
\]

故边缘分布是一致的, 这意味着, 我们除了\(p(z)\), 还有\(p(f(z))\)同样可以到处我们的观测数据\(P(x)\), 反之, 没有额外的信息(即在无监督条件下)我们无法确定所拟合的分布是\(p(z)\)还是\(p(f(z))\).

倘若是后者, 我们改变隐变量的某一个维度\(f_i\), 由于偏导数均不为0, 则几乎所有的\(z\)都改变了, 也就是真正的控制元素都会发生改变, 这和我们的解耦表示学习的初衷产生了背离. 所以结论就是在无监督条件下, 想要解耦表示是几乎不可能的.

注: 上面的\(f\)的构造不是唯一的;

注: 上面的证明用到了和顺序统计量一样的有趣的玩意.

作者做了很多很多实验, 个人觉得最能体现这一点就是, 所有这些强调解耦表示的VAE都对参数初始化和超参数选择异常敏感.

Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations的更多相关文章

  1. 《Domain Agnostic Learning with Disentangled Representations》ICML 2019

    这篇文章是ICML 2019上一篇做域适应的文章,无监督域适应研究的问题是如何把源域上训练的模型结合无lable的目标域数据使得该模型在目标域上有良好的表现.之前的研究都有个假设,就是数据来自哪个域是 ...

  2. 【ML】ICML2015_Unsupervised Learning of Video Representations using LSTMs

    Unsupervised Learning of Video Representations using LSTMs Note here: it's a learning notes on new L ...

  3. 【CV】ICCV2015_Unsupervised Learning of Visual Representations using Videos

    Unsupervised Learning of Visual Representations using Videos Note here: it's a learning note on Prof ...

  4. Unsupervised Learning and Text Mining of Emotion Terms Using R

    Unsupervised learning refers to data science approaches that involve learning without a prior knowle ...

  5. Machine Learning Algorithms Study Notes(4)—无监督学习(unsupervised learning)

    1    Unsupervised Learning 1.1    k-means clustering algorithm 1.1.1    算法思想 1.1.2    k-means的不足之处 1 ...

  6. Unsupervised Learning: Use Cases

    Unsupervised Learning: Use Cases Contents Visualization K-Means Clustering Transfer Learning K-Neare ...

  7. Supervised Learning and Unsupervised Learning

    Supervised Learning In supervised learning, we are given a data set and already know what our correc ...

  8. Unsupervised learning无监督学习

    Unsupervised learning allows us to approach problems with little or no idea what our results should ...

  9. PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning --- 论文笔记

    PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning   ICLR 20 ...

随机推荐

  1. 学习Java的第十八天

    一.今日收获 1.java完全学习手册第三章算法的3.1比较值 2.看哔哩哔哩上的教学视频 二.今日问题 1.在第一个最大值程序运行时经常报错. 2.哔哩哔哩教学视频的一些术语不太理解,还需要了解 三 ...

  2. 漏洞检测方法如何选?详解源代码与二进制SCA检测原理

    摘要:本文探讨的是SCA具体的检测原理,源代码SCA检测和二进制SCA检测有哪些相同点和不同点,在进行安全审计.漏洞检测上各自又有什么样的优势和适用场景. 本文分享自华为云社区<源代码与二进制文 ...

  3. adjust, administer

    adjust to just, exact. In measurement technology and metrology [度量衡学], calibration [校准] is the compa ...

  4. nodejs-os模块

    JavaScript 标准参考教程(alpha) 草稿二:Node.js os模块 GitHub TOP os模块 来自<JavaScript 标准参考教程(alpha)>,by 阮一峰 ...

  5. css相关,flex布局全通!

    寻根溯源话布局 一切都始于这样一个问题:怎样通过 CSS 简单而优雅的实现水平.垂直同时居中. 记得刚开始学习 CSS 的时候,看到 float 属性不由得感觉眼前一亮,顺理成章的联想到 Word 文 ...

  6. Templates and Default Arguments

    Default parameters for templates in C++: Like function default arguments, templates can also have de ...

  7. NSURLSessionDownloadTask实现大文件下载

    - 4.1 涉及知识点(1)使用NSURLSession和NSURLSessionDownload可以很方便的实现文件下载操作 第一个参数:要下载文件的url路径 第二个参数:当接收完服务器返回的数据 ...

  8. 应用层协议——DHCP

    常见协议分层 网洛层协议:包括:IP协议.ICMP协议.ARP协议.RARP协议. 传输层协议:TCP协议.UDP协议. 应用层协议:FTP.Telnet.SMTP.HTTP.RIP.NFS.DNS ...

  9. 阿里云esc 安装 mysql5.7.27

    1. 下载:  wget  http://repo.mysql.com/mysql57-community-release-el7-10.noarch.rpm 2. 安装: (1) yum -y in ...

  10. SpringBoot 项目不加载 application.properties 配置文件

    起因:新安装的idea第一次运行springboot项目报url错误(Failed to configure a DataSource: 'url' attribute is not specifie ...