目录 1 Recurrent Entity Network Introduction 模型构建 Input Encoder Dynamic Memory Output Model 总结 2 hierarchical Memory Networks MIPS 3 Hierarchical Memory Networks for Answer Selection on Unknown Words 4 Gated End-to-End Memory Networks 参考 1 Recurrent En…

目录 1.Memory Networks 框架 流程 损失函数 QA 问题 一些扩展 小结 2.End-To-End Memory Networks Single Layer 输入模块 算法流程 Multiple Layer 网络参数设置细节 QA 问题 3 Key-Value Memory Networks 4 Dynamic Memory Networks Input Module Question Module Episodic Memory Module Attention mechan…

​  前言  本文介绍一篇CVPR2020的论文,它在paperswithcode上获得了16887星,谷歌学术上有261的引用次数. 论文主要介绍了目标检测现有的研究进展.anchor-based和anchor-free的背景和各自的方法差异,并提出了一种新的正负样本选择方案,用于消除这两者之间的差距. 注:论文讲述了很多关于anchor方面的知识,这篇文章保留了较多原论文中的内容,在介绍新方法的同时,可作为深入理解anchor的文章. 论文:Bridging the Gap Between…

[论文标题]Collaborative Memory Network for Recommendation Systems    (SIGIR'18) [论文作者]—Travis Ebesu (Santa Clara University).—Bin Shen (Google).—Yi Fang (Santa Clara University) [论文链接]Paper(10-pages // Double column) [摘要] 在现代网络平台上,推荐系统对于保持用户对个性化内容的关注起着至关…

继上一篇:Memory Network 1. 摘要 引入了一个神经网络,在一个可能很大的外部记忆上建立了一个recurrent attention模型. 该体系结构是记忆网络的一种形式,但与该工作中的模型不同,它是端到端培训的,因此在培训期间需要的监督明显更少,这使得它更适合实际环境. 它还可以看作是RNNsearch的扩展,适用于每个输出符号执行多个计算步骤的情况.该模型的灵活性允许我们将其应用于各种任务,如(合成的)问题回答[22]和语言建模. 对于前者,我们的方法是与记忆网络竞争,但缺乏监…

2015年,Facebook首次提出Memory Network. 应用领域:NLP中的对话系统. 1. 研究背景 大多数机器学习模型缺乏一种简单的方法来读写长期记忆. 例如,考虑这样一个任务:被告知一组事实或一个故事,然后必须回答关于这个主题的问题. 循环神经网络(RNN) 经过训练来预测下一个(一组)单词的输出.----> 记忆通常太小,并且不能准确地记住过去的事实(知识被压缩到密集的向量中). RNNs在记忆方面有困难. 然而,例如,在视觉和听觉领域,观看一部电影并回答有关它的问题需要长时…

今天我们剖析的也是推荐领域的经典论文,叫做Wide & Deep Learning for Recommender Systems.它发表于2016年,作者是Google App Store的推荐团队.这年刚好是深度学习兴起的时间.这篇文章讨论的就是如何利用深度学习模型来进行推荐系统的CTR预测,可以说是在推荐系统领域一次深度学习的成功尝试. 著名的推荐模型Wide & deep就是出自这篇论文,这个模型因为实现简单,效果不俗而在各大公司广泛应用.因此它同样也可以认为是推荐领域的必读文章之…

循环神经网络(RNN) 人们不是每一秒都从头开始思考,就像你阅读本文时,不会从头去重新学习一个文字,人类的思维是有持续性的.传统的卷积神经网络没有记忆,不能解决这一个问题,循环神经网络(Recurrent Neural Networks)可以解决这一个问题,在循环神经网络中,通过循环可以解决没有记忆的问题,如下图: 看到这里,你可能还是不理解为什循环神经网络就可以有记忆.我们把这个图展开: 可以看出,我们输入 \(X_0\) 后,首先警告训练,得到输出 \(h_0\),同时会把这个输出传递给下一…

递归神经网络 人类并不是每时每刻都从头开始思考.正如你阅读这篇文章的时候,你是在理解前面词语的基础上来理解每个词.你不会丢弃所有已知的信息而从头开始思考.你的思想具有持续性. 传统的神经网络不能做到这点,而且这似乎也是它的主要缺陷.比如,你想对电影中每个点发生的事件类型进行分类.目前还不清楚传统神经网络如何利用之前事件的推理来得出后来事件. 递归神经网络能够解决这一问题.这些网络中具有循环结构,能够使信息持续保存. 递归神经网络具有循环结构 在上图中,一组神经网络A,接收参数,输出,循环A可以使…

这篇博客会介绍点云的基本知识,重点介绍最近两年发表的部分经典论文,有什么建议欢迎留言! 点云基本介绍 点云是某个坐标系下的点的数据集,包含了丰富的信息,可以是三维坐标X,Y,Z.颜色.强度值.时间等等.下面两张图分别展示了点云在三维空间可视化以后的效果和数据格式.点云的数据获取方式有很多种,比较常见的是三维激光扫描仪进行数据采集,它有三大类: 星载(星载LiDAR采用卫星平台,运行轨道高.观测视野广,基本可以测量到地球的每一个角落,为三维控制点和数字高程模型的获取提供了新的途径,有些星载激光雷达…

转自:http://www.csdn.net/article/2015-11-25/2826323 原文链接:Understanding LSTM Networks(译者/刘翔宇 审校/赵屹华 责编/周建丁 原创.翻译投稿请联系:zhoujd@csdn.net,微信号:jianding_zhou) 译者介绍:刘翔宇,中通软开发工程师,关注机器学习.神经网络.模式识别. http://www.csdn.net/article/2015-11-25/2826323 循环神经网络 人类并不是每时每刻都…

在上一篇中,我们回顾了先知的方法,但是在这个案例中表现也不是特别突出,今天介绍的是著名的l s t m算法,在时间序列中解决了传统r n n算法梯度消失问题的的它这一次还会有令人杰出的表现吗? 长短期记忆(Long Short-Term Memory) 是具有长期记忆能力的一种时间递归神经网络(Recurrent Neural Network). 其网络结构含有一个或多个具有可遗忘和记忆功能的单元组成.它在1997年被提出用于解决传统RNN(Recurrent Neural Network) 的…

前言: 这是实例分割中的一篇经典论文,以往的实例分割模型都比较复杂,这篇论文提出了一个简单且直接的实例分割模型,如何设计这种简单直接的模型且要达到一定的精度往往会存在一些困难,论文中有很多思路或思想值得借鉴,因此十分值得一读. 在本文中,为让各个方向的读者都能看得懂并抓住重点,较为详细地介绍了本文的创新或改进思路,而对一些细节不予赘述. 论文:SOLO: Segmenting Objects by Locations* 代码:https://git.io/AdelaiDet Introducti…

​ 前言: 目标检测的预测框经过了滑动窗口.selective search.RPN.anchor based等一系列生成方法的发展,到18年开始,开始流行anchor free系列,CornerNet算不上第一篇anchor free的论文,但anchor freee的流行却是从CornerNet开始的,其中体现的一些思想仍值得学习. 看过公众号以往论文解读文章的读者应该能感觉到,以往论文解读中会有不少我自己的话来表述,文章写得也很简练.但这篇论文的写作实在很好,以至于这篇解读文章几乎就是对论…

RNN的长期依赖问题 什么是长期依赖? 长期依赖是指当前系统的状态,可能受很长时间之前系统状态的影响,是RNN中无法解决的一个问题. 如果从(1) “ 这块冰糖味道真?”来预测下一个词,是很容易得出“ 甜 ”结果的.但是如果有这么一句话,(2)“ 他吃了一口菜,被辣的流出了眼泪,满脸通红.旁边的人赶紧给他倒了一杯凉水,他咕咚咕咚喝了两口,才逐渐恢复正常.他气愤地说道:这个菜味道真? ”,让你从这句话来预测下一个词,确实很难预测的.因为出现了长期依赖,预测结果要依赖于很长时间之前的信息. RNN的…

云服务为了安全性总是有不同的安全规则,第一就是需要明白里面的网络类型   专有网络是您自己独有的云上私有网络.您可以完全掌控自己的专有网络,例如选择IP地址范围.配置路由表和网关等,您可以在自己定义的专有网络中使用阿里云资源如云服务器.云数据库RDS版和负载均衡等. 可以将专有网络连接到其他专有网络或本地网络,形成一个按需定制的网络环境,实现应用的平滑迁移上云和对数据中心的扩展.   经典网络 经典网络类型的云产品,统一部署在阿里云公共基础设施内,规划和管理由阿里云负责,更适合对网络易用性要求比…

自剪枝神经网络 Simple RNN从理论上来看,具有全局记忆能力,因为T时刻,递归隐层一定记录着时序为1的状态 但由于Gradient Vanish问题,T时刻向前反向传播的Gradient在T-10时刻可能就衰减为0. 从Long-Term退化至Short-Term. 尽管ReLU能够在前馈网络中有效缓解Gradient Vanish,但RNN的深度过深,替换激活函数治标不治本. $\left |  \prod_{j=p+1}^{t}\frac{\partial b_{h}^{j}}{\pa…

1. 摘要 对于RNN解决了之前信息保存的问题,例如,对于阅读一篇文章,RNN网络可以借助前面提到的信息对当前的词进行判断和理解,这是传统的网络是不能做到的.但是,对于RNN网络存在长期依赖问题,比如看电影的时候,某些细节需要依赖很久以前的一些信息,而RNN网络并不能很好的保存很久之前的信息,随着时间间隔不断增大,RNN网络会丧失学习到很远的信息能力,也就是说记忆容量是有限的.例如,对于阅读一本书,从头到尾一字不漏的阅读,肯定是越远的东西忘得越多.所以引入了LSTM网络,对于LSTM来解决梯度消…

摘要 卷积网络在特征分层领域是非常强大的视觉模型.我们证明了经过端到端.像素到像素训练的卷积网络超过语义分割中最先进的技术.我们的核心观点是建立"全卷积"网络,输入任意尺寸,经过有效的推理和学习产生相应尺寸的输出.我们定义并指定全卷积网络的空间,解释它们在空间范围内dense prediction任务(预测每个像素所属的类别)和获取与先验模型联系的应用.我们改编当前的分类网络(AlexNet [22] ,the VGG net [34] , and GoogLeNet [35] )到完…

[译者预读] GFS这三个字母无需过多修饰,<Google File System>的论文也早有译版.但是这不妨碍我们加点批注.重温经典,并结合上篇Haystack的文章,将GFS.TFS.Haystack进行一次全方位的对比,一窥各巨头的架构师们是如何权衡利弊.各取所需. 1. 介绍 我们设计和实现了GFS来满足Google与日俱增的数据处理需求.与传统的分布式文件系统一样,GFS着眼在几个重要的目标,比如性能.可伸缩性.可靠性和可用性.不过它也会优先考虑我们自身应用场景的特征和技术环境,所…

MapReduce: Simplified Data Processing on Large Clusters(MapReduce: 简化大型集群下的数据处理) 作者:Jeffrey Dean and Sanjay Ghemawat Abstract(摘要) MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users s…

Sutton 出版论文的主页: http://incompleteideas.net/publications.html Phd  论文:   temporal credit assignment in reinforcement learning http://incompleteideas.net/publications.html#PhDthesis 最近在做强化学习方面的课题, 发现在强化学习方面被称作强化学习之父的  Sutton  确实很厉害, TD算法和策略梯度策略算法都是他所提出…

https://github.com/chrislusf/seaweedfs [译者预读]面对海量小文件的存储和检索,Google发表了GFS,淘宝开源了TFS,而Facebook又是如何应对千亿级别的图片存储.每秒百万级别的图片查询?Facebook与同样提供了海量图片服务的淘宝,解决方案有何异同?本篇文章,为您揭晓. 本篇论文的原文可谓通俗易懂.行云流水.结构清晰.图文并茂……正如作者所说的——“替换Facebook的图片存储系统就像高速公路上给汽车换轮子,我们无法去追求完美的设计……我们花…

. 过去几年发表于各大 AI 顶会论文提出的 400 多种算法中,公开算法代码的仅占 6%,其中三分之一的论文作者分享了测试数据,约 54% 的分享包含“伪代码”.这是今年 AAAI 会议上一个严峻的报告. 人工智能这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现问题过去十年来一直困扰着心理学.医学以及其他领域一样.最根本的问题是研究人员通常不共享他们的源代码. 可验证的知识是科学的基础,它事关理解.随着人工智能领域的发展,打破不可复现性将是必要的. Learning Feature Py…

 本文主要包括: 一.什么是LSTM 二.LSTM的曲线拟合 三.LSTM的分类问题 四.为什么LSTM有助于消除梯度消失 一.什么是LSTM Long Short Term 网络即为LSTM,是一种循环神经网络(RNN),可以学习长期依赖问题.RNN 都具有一种重复神经网络模块的链式的形式.在标准的 RNN 中,这个重复的模块只有一个非常简单的结构,例如一个 tanh 层. 如上为标准的RNN神经网络结构,LSTM则与此不同,其网络结构如图: 其中,网络中各个元素图标为: LSTM 通过精心设…

Long Short Term Memory networks : http://colah.github.io/posts/2015-08-Understanding-LSTMs/…

Image Caption: Automatically describing the content of an image domain:CV+NLP Category:(by myself, you can read the survey for detail.) CNN+RNN, with attention mechanisms Reinforcement Learning GAN Compositional Architecture: Review Network, Guiding…

Direct and Indirect Effects Author: Judea Pearl UAI 2001 加州大学洛杉矶分校 论文链接:https://dl.acm.org/doi/pdf/10.5555/2074022.2074073 本文链接:https://www.cnblogs.com/zihaojun/p/15715903.html 目录 Direct and Indirect Effects 前言 1. Introduction 2. 概念性分析 2.1 直接效应 VS. 总…

1. P. H. Chen, C. J. Lin, and B. Schölkopf, A tutorial on ν-support vector machines, Appl. Stoch. Models. Bus. Ind. 2005,   21, 111-136. 2. A. J. Smola and B. Schölkopf, A tutorial on support vector regression, Stat. Comput. 2004, 14, 199-222. 3. V.…

1. Parameter pruning and sharing 1.1 Quantization and Binarization Compressing deep convolutional networks using vector quantization Quantized convolutional neural networks for mobile devices Improving the speed of neural networks on cpus Deep learni…