论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning  2017-06-06  21:43:53  这篇文章的 Motivation 来自于 MDNet: 本文所提出的 framework 为:…

Improving neural networks by preventing co-adaptation of feature detectors 是Hinton在2012年6月份发表的,从这篇文章开始提出dropout的相关理论.该文章中没有详细的理论说明,只是通过实验说明了dropout在大数据量的情况下是有效的.以下记录论文的重要部分 1.为了防止overfitting,使用dropout的方式,在数据量较大的情况下比较有效果. 2.hidden unit采用0.5的比例,随机被忽略.…

Diffusion-Convolutional Neural Networks (传播-卷积神经网络)2018-04-09 21:59:02 1. Abstract: 我们提出传播-卷积神经网络(DCNNs),一种处理 graph-structured data 的新模型.随着 DCNNs 的介绍,我们展示如何从 graph structured data 中学习基于传播的表示(diffusion-based representations),然后作为节点分类的有效基础.DCNNs 拥有多个有趣…

Progressive NN Progressive NN是第一篇我看到的deepmind做这个问题的.思路就是说我不能忘记第一个任务的网络,同时又能使用第一个任务的网络来做第二个任务. 为了不忘记之前的任务,他们的方法简单暴力:对所有的之前任务的网络,保留并且fix,每次有一个新任务就新建一个网络(一列). 而为了能使用过去的经验,他们同样也会将这个任务的输入输入进所有之前的网络,并且将之前网络的每一层的输出,与当前任务的网络每一层的输出一起输入下一层. 每次有一个新的任务,就重新添加一列,然…

1. 论文思想 将3D卷积分解为spatial convolution in each channel and linear projection across channels. (spatial convolution + linear projection.) 2. 两种卷积对比 3. 总结 简单概括就是spatial conv + linear projection,但是在spatial conv的时候用了一个residual connection,感觉很有道理,例如是一个vertica…

1. 论文思想 一维滤过器.将三维卷积分解成三个一维卷积.convolution across channels(lateral), vertical and horizontal direction. 2. 计算量对比 变换后计算量: 对比: 3. 总结 因为spatial convolution会带来大量的参数以及是非常耗时的,本文将三维卷积分解成了三个一维的卷积,极大的减少了计算量.其实,本文也引入了不对称卷积,再后来也证实了这种不对称卷积Nx1和1xN,对准确率是有提升的.…

Fully-Convolutional Siamese Networks for Object Tracking 本文作者提出一个全卷积Siamese跟踪网络,该网络有两个分支,一个是上一帧的目标,一个是本帧的候选框,最终得到一个响应图.响应图的最大值就是目标所在的位置. 本文算法的核心是相似性学习,通过交叉相关计算两张图片的相似性. 本文的跟踪框架如下图所示: z表示真实目标,x表示候选图片.候选图片的尺寸是真是目标的四倍. 本网络的结构如下图所示;…

这篇文章将深度学习算法应用于机械故障诊断,采用了“小波包分解+深度残差网络(ResNet)”的思路,将机械振动信号按照故障类型进行分类. 文章的核心创新点:复杂旋转机械系统的振动信号包含着很多不同频率的冲击和振荡成分,而且不同频带内的振动成分在故障诊断中的重要程度经常是不同的,因此可以按照如下步骤设计深度神经网络,实现对不同频带信息自适应加权的功能. 第一步:对振动信号进行离散小波包分解,构建小波包系数矩阵,作为深度学习算法的输入. 第二步:作者设计了一种动态加权层(dynamic weight…

一.Abstract 提出了一种end-to-end的做semantic segmentation的方法,也就是FCN,是我个人觉得非常厉害的一个方法. 二.亮点 1.提出了全卷积网络的概念,将Alexnet这种的最后的全连接层转换为卷积层,好处就是可以输入任意的scale. 只不过在输出的scale不同的时候,feature map的大小也不同,因为这里的目的是最piexl的语义分割,所以其实不重要. 在Alexnet基础上, 最后的channel=4096的feature map经过一个1x…

作者提出为了增强网络的表达能力,现有的工作显示了加强空间编码的作用.在这篇论文里面,作者重点关注channel上的信息,提出了"Squeeze-and-Excitation"(SE)block,实际上就是显式的让网络关注channel之间的信息 (adaptively recalibrates channel-wise feature responsesby explicitly modelling interdependencies between channels.).SEnets…