阅读笔记 The Impact of Imbalanced Training Data for Convolutional Neural Networks [DegreeProject2015] 数据分析型

The Impact of Imbalanced Training Data for Convolutional Neural Networks Paulina Hensman and David Masko 摘要本论文从实验的角度调研了训练数据的不均衡性对采用CNN解决图像分类问题的性能影响.CIFAR-10数据集包含10个不同类别的60000个图像,用来构建不同类间分布的数据集.例如,一些训练集中包含一个类别的图像数目与其他类别的图像数目比例失衡.用这些训练集分别来训练一个CNN,度量其得…

论文笔记(Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration)

这是CVPR 2019的一篇oral. 预备知识点:Geometric median 几何中位数 \begin{equation}\underset{y \in \mathbb{R}^{n}}{\arg \min } \sum_{i=1}^{m}\left\|x_{i}-y\right\|\end{equation} 可以理解为距离给定点集欧式距离之和最近的点.这篇博客中有关于几何中位数的介绍:https://www.cnblogs.com/ybiln/p/4175695.html. 文中指出之…

【论文阅读】Learning Dual Convolutional Neural Networks for Low-Level Vision

论文阅读([CVPR2018]Jinshan Pan - Learning Dual Convolutional Neural Networks for Low-Level Vision) 本文针对低层视觉问题,提出了一般性的用于解决低层视觉问题的对偶卷积神经网络.作者认为,低层视觉问题,如常见的有超分辨率重建.保边滤波.图像去雾和图像去雨等,这些问题经常涉及到估计目标信号的两个成分:结构和细节.因此,文章提出DualCNN,它包含两个平行的分支来分别恢复结构和细节信息. 具体内容参见https…

[CVPR2015] Is object localization for free? – Weakly-supervised learning with convolutional neural networks论文笔记

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #323333 } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #042eee } span.s1 { } span.s2 { text-decoration: underline } Is objec…

论文笔记之：Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking

Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking arXiv Paper Project Page:http://guanghan.info/projects/ROLO/ GitHub:https://github.com/wangxiao5791509/ROLO 摘要:本文提出了一种新的方法进行空间监督 RCNN 来进行目标跟踪.我们通过深度神经网络来学习到 loc…

论文笔记之：Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

Learning Multi-Domain Convolutional Neural Networks for Visual Tracking CVPR 2016 本文提出了一种新的CNN 框架来处理跟踪问题.众所周知,CNN在很多视觉领域都是如鱼得水,唯独目标跟踪显得有点“慢热”,这主要是因为CNN的训练需要海量数据,纵然是在ImageNet 数据集上微调后的model 仍然不足以很好的表达要跟踪地物体,因为Tracking问题的特殊性,至于怎么特殊的,且听细细道来. 目标跟踪之所以很少被 C…

[论文阅读] MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications (MobileNet)

论文地址:MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 本文提出的模型叫MobileNet,主要用于移动和嵌入式视觉应用.该模型具有小巧.低延迟的特点.MobileNet在广泛的应用场景中具有有效性,包括物体检测,细粒度分类,人脸属性和大规模地理定位. MobileNet架构深度可分解卷积(Depthwise Separable Convolution) MobileNet模…

深度学习笔记 (一) 卷积神经网络基础 (Foundation of Convolutional Neural Networks)

一.卷积卷积神经网络(Convolutional Neural Networks)是一种在空间上共享参数的神经网络.使用数层卷积,而不是数层的矩阵相乘.在图像的处理过程中,每一张图片都可以看成一张“薄饼”,其中包括了图片的高度.宽度和深度(即颜色,用RGB表示). 在不改变权重的情况下,把这个上方具有k个输出的小神经网络对应的小块滑遍整个图像,可以得到一个宽度.高度不同,而且深度也不同的新图像. 卷积时有很多种填充图像的方法,以下主要介绍两种,一种是相同填充,一种是有效填充. 如图中紫色方框所…

Bag of Tricks for Image Classification with Convolutional Neural Networks笔记

以下内容摘自<Bag of Tricks for Image Classification with Convolutional Neural Networks>. 1 高效训练 1.1 大batch训练当我们有一定资源后,当然希望能充分利用起来,所以通常会增加batch size来达到加速训练的效果.但是,有不少实验结果表明增大batch size可能降低收敛率,所以为了解决这一问题有人以下方法可供选择: 1.1.1 线性增加学习率一句话概括就是batch size增加多少倍,学习率也增…

论文笔记之《Event Extraction via Dynamic Multi-Pooling Convolutional Neural Network》

1. 文章内容概述本人精读了事件抽取领域的经典论文<Event Extraction via Dynamic Multi-Pooling Convolutional Neural Network>,并作出我的读书报告.这篇论文由中科院自动化所赵军.刘康等人发表于ACL2015会议,提出了用CNN模型解决事件抽取任务. 在深度学习没有盛行之前,解决事件抽取任务的传统方法,依赖于较为精细的特征设计已经一系列复杂的NLP工具,并且泛化能力较低.针对此类问题,这篇论文提出了一个新颖的事件抽取方法,能…

论文笔记：Mastering the game of Go with deep neural networks and tree search

Mastering the game of Go with deep neural networks and tree search Nature 2015 这是本人论文笔记系列第二篇 Nature 的文章了,第一篇是 DQN.好紧张!好兴奋! 本文可谓是在世界上赚够了吸引力! 围棋游戏被看做是 AI 领域最有挑战的经典游戏,由于其无穷的搜索空间和评价位置和移动的困难.本文提出了一种新的方法给计算机来玩围棋游戏,即:利用 "value network" 来评价广泛的位置和 “p…

论文阅读笔记二-ImageNet Classification with Deep Convolutional Neural Networks

分类的数据大小:1.2million 张,包括1000个类别. 网络结构:60million个参数,650,000个神经元.网络由5层卷积层,其中由最大值池化层和三个1000输出的(与图片的类别数相同)全链接层组成. 选用非饱和神经元和高性能的GPU来增强卷积操作.为防止在全链接层发生过拟合,我们进行规则化 'dropout'操作,效果明显. 1.说明: 通过改变卷积神经网络的深度和宽度可以控制网络自身的容量.卷积网络可以更准确的预测图片的本质(图像统计上的不变性和像素级的局部性). 相比具有相…

论文阅读笔记九：SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS (DeepLabv1)(CVPR2014)

论文链接:https://arxiv.org/abs/1412.7062 摘要该文将DCNN与概率模型结合进行语义分割,并指出DCNN的最后一层feature map不足以进行准确的语义分割,DCNN具有很强的空间不变性,因此比较擅长高层次的任务.该文通过在DCNN的最后一层添加一层CRF用来克服定位不准的问题.该文通过引入空洞算法来提高模型在GPU上的运行速度. 介绍该文的一个主题是采用进行end-to-end训练的DCNN,相比传统的依赖,SIFT或者HOG等人工设计的特征会产生喜人的分…

阅读笔记：ImageNet Classification with Deep Convolutional Neural Networks

概要: 本文中的Alexnet神经网络在LSVRC-2010图像分类比赛中得到了第一名和第五名,将120万高分辨率的图像分到1000不同的类别中,分类结果比以往的神经网络的分类都要好.为了训练更快,使用了非饱和神经元并对卷积操作进行双GPU实现.为了减少全连接层的过拟合,本文采用了dropout的正则化方法. 一.背景简单的识别任务在小数据集上可以被解决的很好,但是在数据集很大的情况下,我们需要一个很强的学习模型.CNN可以通过改变数据集的广度和深度来补偿大数据中没有的数据,同时比起层次大小相…

Learning local feature descriptors with triplets and shallow convolutional neural networks 论文阅读笔记

题目翻译:学习 local feature descriptors 使用 triplets 还有浅的卷积神经网络.读罢此文,只觉收获满满,同时另外印象最深的也是一个浅(文章中会提及)字. 1 Contribution 这篇论文主要做的贡献有: 提出了一种复杂度更小的triplets,更浅,计算度复杂小,表现也很好. 并且借助一种 in-triplet mining的训练方法,降低了挖掘hard negatives的复杂度提高了表现. 论文还介绍了两种不同的loss function在不同的任务下…

[论文阅读] ImageNet Classification with Deep Convolutional Neural Networks(传说中的AlexNet)

这篇文章使用的AlexNet网络,在2012年的ImageNet(ILSVRC-2012)竞赛中获得第一名,top-5的测试误差为15.3%,相比于第二名26.2%的误差降低了不少. 本文的创新点: 1) 训练了(当时)最大的一个卷积神经网络,在ImageNet数据集上取得(当时)最好的结果: 2) 写了一个高度优化的GPU实现的2维卷积: 3) 包含了一些新的特点,来提高网络的泛化能力和减少网络的训练时间 4) 使用了一些有效的方法来减轻过拟合: 5) 网络使用了5层卷积层和3层全连接层,如果…

Bag of Tricks for Image Classification with Convolutional Neural Networks论文笔记

一.高效的训练 1.Large-batch training 使用大的batch size可能会减小训练过程(收敛的慢?我之前训练的时候挺喜欢用较大的batch size),即在相同的迭代次数下, 相较于使用小的batch size,使用较大的batch size会导致在验证集上精度下降.文中介绍了四种方法. Linear scaling learning rate 梯度下降是一个随机过程,增大batch size不会改变随机梯度的期望,但是减小了方差(variance).换句话说,增大…

论文笔记《Hand Gesture Recognition with 3D Convolutional Neural Networks》

一.概述 Nvidia提出的一种基于3DCNN的动态手势识别的方法,主要亮点是提出了一个novel的data augmentation的方法,以及LRN和HRn两个CNN网络结合的方式. 3D的CNN主要是使用了三维的卷积核去处理视频序列,是视频分析中常用的方法之一. 这里是可以识别手语这种动态连续的手势的. 二.亮点首先..竟然没有state of art... 1.预处理:因为输入是连续的视频序列,所以需要对他们进行规范化,这里用nearest neighbor interpolation…

卷积神经网络用语句子分类---Convolutional Neural Networks for Sentence Classification 学习笔记

读了一篇文章,用到卷积神经网络的方法来进行文本分类,故写下一点自己的学习笔记: 本文在事先进行单词向量的学习的基础上,利用卷积神经网络(CNN)进行句子分类,然后通过微调学习任务特定的向量,提高性能. 在从无监督神经语言模型中获得单词向量(Tomas Mikolov等人做过相关工作,即谷歌的word2vector完成,将原始的1/V模型变化为分布式低维表示)后利用一层卷积层的CNN进行学习. 模型结构: 首先输入具有两个通道,分别对应static和non-static的方式,其中static方式…

论文阅读：MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

前言 CVPR2016 来自Korea的POSTECH这个团队大部分算法(例如HCF, DeepLMCF)只是用在大量数据上训练好的(pretrain)的一些网络如VGG作为特征提取器,这些做法证实利用CNN深度特征对跟踪结果有显著提升. 但是毕竟clssification 和 tracking是两个不同的课题 (predicting object class labels VS locating targets of arbitrary classes.) 所以作者设计了一个网络来做跟踪…

cs231n spring 2017 lecture5 Convolutional Neural Networks听课笔记

1. 之前课程里,一个32*32*3的图像被展成3072*1的向量,左乘大小为10*3072的权重矩阵W,可以得到一个10*1的得分,分别对应10类标签. 在Convolution Layer里,图像保持原样,依旧是32*32*3,把它和一个5*5*3的filter进行卷积运算(filter和原图像有相同的通道数,比如这里都是3).这里的"卷积"并不是严格按照信号处理里先把图像翻转,这里只是对应像素乘积累加,可以按照fully connected layer的写法,把5*5*3的fil…

cs231n spring 2017 lecture1 Introduction to Convolutional Neural Networks for Visual Recognition 听课笔记

1. 生物学家做实验发现脑皮层对简单的结构比如角.边有反应,而通过复杂的神经元传递,这些简单的结构最终帮助生物体有了更复杂的视觉系统.1970年David Marr提出的视觉处理流程遵循这样的原则,拿到图像后,先提取角.边.曲线等等简单的几何元素,然后再用深度信息.表面信息等更高层的复杂信息,最后是更高层的更抽象的表达. 深度学习也是遵循这样的基本思想,从最简单的特征出发,通过多层函数传递,实现复杂的功能. 2. Image-Net比赛,2012年突破性的变化,AlexNet用卷积神经网络大幅提…

论文笔记（7）：Constrained Convolutional Neural Networks for Weakly Supervised Segmentation

UC Berkeley的Deepak Pathak 使用了一个具有图像级别标记的训练数据来做弱监督学习.训练数据中只给出图像中包含某种物体,但是没有其位置信息和所包含的像素信息.该文章的方法将image tags转化为对CNN输出的label分布的限制条件,因此称为 Constrained convolutional neural network (CCNN). 该方法把训练过程看作是有线性限制条件的最优化过程: 其中是一个隐含的类别分布,是CNN预测的类别分布.目标函数是KL-divergen…

【论文阅读】Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks

Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks 参考 1. 人脸关键点: 2. Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks; 完…

论文笔记系列-Speeding Up Automatic Hyperparameter Optimization of Deep Neural Networks by Extrapolation of Learning Curves

I. 背景介绍 1. 学习曲线(Learning Curve) 我们都知道在手工调试模型的参数的时候,我们并不会每次都等到模型迭代完后再修改超参数,而是待模型训练了一定的epoch次数后,通过观察学习曲线(learning curve, lc) 来判断是否有必要继续训练下去.那什么是学习曲线呢?主要分为两类: 1.模型性能是训练时间或者迭代次数的函数:performance=f(time) 或 performance=f(epoch).这个也就是我们常用到的方法,即横轴记录训练时间(或迭代次数)…

Neural Networks and Deep Learning 课程笔记（第四周）深层神经网络（Deep Neural Networks）

1. 深层神经网络(Deep L-layer neural network ) 2. 前向传播和反向传播(Forward and backward propagation) 3. 总结 4. 深层网络中的前向传播(Forward propagation in a Deep Network) 向量化实现过程可以写成: 注:这里只能用一个显示for循环,l 从 1 到 L,然后一层接着一层去计算. 如何减少bug 4.1 核对矩阵的维数(Getting your matrix dimensions…

【论文笔记】Learning Convolutional Neural Networks for Graphs

Learning Convolutional Neural Networks for Graphs 2018-01-17 21:41:57 [Introduction] 这篇 paper 是发表在 ICML 2016 的:http://jmlr.org/proceedings/papers/v48/niepert16.pdf 上图展示了传统 CNN 在 image 上进行卷积操作的工作流程.(a)就是通过滑动窗口的形式,利用3*3 的卷积核在 image 上进行滑动,来感知以某一个像素点为中心…

论文笔记——Factorized Convolutional Neural Networks

1. 论文思想将3D卷积分解为spatial convolution in each channel and linear projection across channels. (spatial convolution + linear projection.) 2. 两种卷积对比 3. 总结简单概括就是spatial conv + linear projection,但是在spatial conv的时候用了一个residual connection,感觉很有道理,例如是一个vertica…

论文笔记——MobileNets(Efficient Convolutional Neural Networks for Mobile Vision Applications)

论文地址:MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications MobileNet由Google提出的一种新的卷积计算方法,旨在加速卷积计算过程. 为了减小网络模型大小,提出了两种比较暴力的裁剪方法. (1) 直接对channel进行裁剪,这种随机砍掉一些channel,也太暴力了吧,砍多了效果肯定不好,想想都知道. (2) 减少输入图像的分辨率,也就是减小输入的尺寸大小. 我们还是关…

论文笔记 — Learning to Compare Image Patches via Convolutional Neural Networks

论文: 引入论文中的一句话来说明对比图像patches的重要性,“Comparing patches across images is probably one of the most fundamental tasks in computer vision and image analysis”. 同一个patch在不同图像中,由于光照.视角.阴影.遮挡.相机设置等因素的影响,这个patch在不同图像中往往呈现出不同的appearance.如何在存在各种外界影响的情况下,还能够准备判断它们是一…

【阅读笔记 The Impact of Imbalanced Training Data for Convolutional Neural Networks [DegreeProject2015] 数据分析型】的更多相关文章