probability VS likelihood: https://zhuanlan.zhihu.com/p/25768606 http://sdsy888.me/%E9%9A%8F%E7%AC%94-Writing/2018/%E4%BC%BC%E7%84%B6%EF%BC%88likelihood%EF%BC%89%E5%92%8C%E6%A6%82%E7%8E%87%EF%BC%88probability%EF%BC%89%E7%9A%84%E5%8C%BA%E5%88%AB%E4%B8…

目录 概 主要内容 一些合适的可逆变换 代码 Rezende D., Mohamed S. Variational Inference with Normalizing Flow. ICML, 2015. 概 VAE的先验分布很重要, 但是后验分布也很重要, 我们常常假设\(q_{\phi}(z|x)\)满足一个高斯分布, 这就大大限制了近似后验分布的逼近的准确性. 这番假设实在是过于强烈了. 本文提出的 normalizing flows的方法可以提高\(q_{\phi}\)的逼近能力. 主要…

转自:http://blog.evjang.com/2017/01/nips2016.html           Eric Jang Technology, A.I., Careers               Monday, January 2, 2017 Summary of NIPS 2016   The 30th annual Neural Information Processing Systems (NIPS) conference took place in Barcelona…

和 Nested Partition 有相通之处? 伯克利提出 AdaSearch:一种用于自适应搜索的逐步消除方法 在机器学习领域的诸多任务当中,我们通常希望能够立足预先给定的固定数据集找出问题的答案.然而,在某些应用场景下我们并没有先验数据可供参考 ; 相反,我们必须自行收集数据以回答那些自己感兴趣的问题.举例来说,这种情况在环境污染物监测以及人口普查类调查中就比较常见.自行收集数据的方式,使得我们能够将注意力集中在相关度最高的信息来源身上.然而,确定哪些信息来源能够生成有用的指标同样不是件…

Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. Before: a discrete sequence of hidden layers. After: the derivative of the hidden state. Traditional methods: resid…

from Eric Jang Normalizing flows transform simple densities (like Gaussians) into rich complex distributions that can be used for generative models, RL, and variational inference. Supplementary knowledge: 1. 仿射变换: 伸缩+平移 !!!对不起!!,知识储备量不够,看不懂.... Refer…

PROBLEM: OmniAnomaly multivariate time series anomaly detection + unsupervised 主体思想: input: multivariate time series to RNN ------> capture the normal patterns -----> reconstruct input data by the representations ------> use the reconstruction pr…

*****仅供个人学习记录***** Neural Ordinary Differential Equations[2019] 论文地址:[1806.07366] Neural Ordinary Differential Equations (arxiv.org) 摘要:我们介绍了一个新的深度神经网络模型系列.我们不是指定一个离散的隐藏层序列,而是使用神经网络对隐藏状态的导数进行参数化.网络的输出是用一个黑盒微分方程解算器计算的.这些连续深度模型具有恒定的内存成本,使其评估策略适应每个输入,并且…

最近在HDP2.1的HBase环境中安装了一个Storm测试机器(单节点,JDK8),遇到了几个问题,记录下来. 尝试步骤 1. 使用和HBase一样HDP版本,直接安装Storm yum install storm 顺利安装完了.nimbus, supervisor and ui都能顺利起来.一个小插曲是,中途需要修改UI使用的端口,默认的8080被占用.所幸只需要添加配置 ui.port 就解决了. 然后提交topology后,怎么都跑不起来.查看version,蒙逼了,Storm的版本是0…

Centering: 使数据的均值(Empirical Mean)变为0的过程. 具体操作:原始数据Xn(n=1, 2, 3, ..., n)减去均值. Scaling: 使数据的标准差(Empirical Standard Deviation)变为1的过程. 具体操作:原始数据Xn(n=1, 2, 3, ..., n)除以标准差s. Normalizing: 使数据的均值为0,标准差为1的过程. 具体操作:Centering + Scaling. 经过Normalizing之后的数据又可被称作…