阅读笔记:ImageNet Classification with Deep Convolutional Neural Networks
概要:
本文中的Alexnet神经网络在LSVRC-2010图像分类比赛中得到了第一名和第五名,将120万高分辨率的图像分到1000不同的类别中,分类结果比以往的神经网络的分类都要好。为了训练更快,使用了非饱和神经元并对卷积操作进行双GPU实现。为了减少全连接层的过拟合,本文采用了dropout的正则化方法。
一、背景
简单的识别任务在小数据集上可以被解决的很好,但是在数据集很大的情况下,我们需要一个很强的学习模型。CNN可以通过改变数据集的广度和深度来补偿大数据中没有的数据,同时比起层次大小相似的前馈神经网络,CNN有更少的连接和参数,所以更加容易训练,现在由于GPU的出现,CNN可以被大量地训练。
二、模型
1.ReLU非线性
本文使用的是ReLU非线性函数,虽然tanh(x)和(1+e-x)-1函数是标准函数,但是它们梯度下降的时间需要训练很久,所以我们采用max(0,x)函数。
2.多GPU训练
在训练CNN的时候我们采用在GPU上运行,而且我们采用两个GPU同时运行的方式,这里运行有个技巧:只在某些特定的层进行GPU通信,例如第三层的神经网络会将第二层的所有神经网络作为输入,但是第四层的神经网路可能只会讲同GPU的神经网络映射作为输入,这样双GPU的运行效果要比单个GPU处理半个范围类似的神经网络速度快。
3.局部响应归一化
ReLU具有让人满意的特性,不需要通过输入归一化来防止饱和。但是我们发现局部响应归一化有助于泛化。
4.重叠池化
网络使用大小为33,步长为2的池化层,使得池化时有重叠部分,讲top-1和top-5错误率降低了0.4%和0.3%。
5.整体结构
三、减少过拟合
1.数据加强
一种方法是随机选取其中224224图像及其水平翻转后的图像作为训练数据,使得数据扩大2048倍,大大减少过拟合。预测的时候利用图像角落上的4个图像和中间的一个图像,计算结果的平均值。
第二种方法是转变图像RGB通道的强度。对RGB像素值作主成分分析,然后对每张训练图像的像素值,加上主成分乘上对应特征值,再加上均值为1,标准差为0.1的随机值的积。
2.Dropout
将许多模型预测结合起来是降低测试误差的方法,但是花费的时间比较多,用dropout方法以0.5的概率对每个隐层神经元的输出设为0,“失活的”神经元不再进行前向传播并且不参加反向传播,这个技术减少了复杂的神经元相互适应,因为一个神经元不能依赖特定的其他神经元存在。所以神经元被强迫学习更鲁邦的特征。
四、结果
在ILSVRC-2010数据集上网络取得了top-1和top-5错误率37.5%和17.0%。
实验进展:
学习了神经网络简单模型的搭建,做了批训练和优化的实验,正在搭建分析手写数字的卷积神经网络模型。
下周计划:
搭建完分析手写数字的卷积神经网络,看一篇比较经典的CNN论文,看一篇推荐系统相关的论文。
阅读笔记:ImageNet Classification with Deep Convolutional Neural Networks的更多相关文章
- 《ImageNet Classification with Deep Convolutional Neural Networks》 剖析
<ImageNet Classification with Deep Convolutional Neural Networks> 剖析 CNN 领域的经典之作, 作者训练了一个面向数量为 ...
- ImageNet Classification with Deep Convolutional Neural Networks(译文)转载
ImageNet Classification with Deep Convolutional Neural Networks Alex Krizhevsky, Ilya Sutskever, Geo ...
- AlexNet论文翻译-ImageNet Classification with Deep Convolutional Neural Networks
ImageNet Classification with Deep Convolutional Neural Networks 深度卷积神经网络的ImageNet分类 Alex Krizhevsky ...
- 中文版 ImageNet Classification with Deep Convolutional Neural Networks
ImageNet Classification with Deep Convolutional Neural Networks 摘要 我们训练了一个大型深度卷积神经网络来将ImageNet LSVRC ...
- 论文阅读笔记二-ImageNet Classification with Deep Convolutional Neural Networks
分类的数据大小:1.2million 张,包括1000个类别. 网络结构:60million个参数,650,000个神经元.网络由5层卷积层,其中由最大值池化层和三个1000输出的(与图片的类别数相同 ...
- [论文阅读] ImageNet Classification with Deep Convolutional Neural Networks(传说中的AlexNet)
这篇文章使用的AlexNet网络,在2012年的ImageNet(ILSVRC-2012)竞赛中获得第一名,top-5的测试误差为15.3%,相比于第二名26.2%的误差降低了不少. 本文的创新点: ...
- AlexNet——ImageNet Classification with Deep Convolutional Neural Networks
1. 摘要 本文的模型采用了 5 层的卷积,一些层后面还紧跟着最大池化层,和 3 层的全连接,最后是一个 1000 维的 softmax 来进行分类. 为了减少过拟合,在全连接层采取了 dropout ...
- ImageNet Classification with Deep Convolutional Neural Networks 论文解读
这个论文应该算是把深度学习应用到图片识别(ILSVRC,ImageNet large-scale Visual Recognition Challenge)上的具有重大意义的一篇文章.因为在之前,人们 ...
- 论文解读《ImageNet Classification with Deep Convolutional Neural Networks》
这篇论文提出了AlexNet,奠定了深度学习在CV领域中的地位. 1. ReLu激活函数 2. Dropout 3. 数据增强 网络的架构如图所示 包含八个学习层:五个卷积神经网络和三个全连接网络,并 ...
随机推荐
- MATLAB在读取excel文件是发生错误,怎么解决?
转载:https://blog.csdn.net/qq_38712026/article/details/78783422?utm_source=blogxgwz4
- Github 简单使用
第一步:打开官网:https://github.com 注册一个帐户. 第二步:创建仓库 填写仓库的名字和描述. 创建好了之后,点击"Branch master",创建分支--在文 ...
- MySQL学习Day01
1.MySQL的层级关系 2.xampp的安装使用 如果之前安装过mysql那么就需要将原来的mysql完全卸载干净 1.卸载之前安装的MySQL 安装xampp需要先卸载之前的mysql,以及更改m ...
- Java 反射修改类的常量值、静态变量值、属性值
前言 有的时候,我们需要修改一个变量的值,但变量也许存在于 Jar 包中或其他位置,导致我们不能从代码层面进行修改,于是我们就用到了下面的场景,通过反射来进行修改变量的值. 定义一个实体类 class ...
- ctfshow—web—web2
打开靶机,根据提示是SQL注入 打开后看到登录窗口 方法一.手工注入 抓取数据包 开始SQL注入测试 利用万能密码,登录成功 查看回显位置 查询数据库 查询数据库内数据表 如果想整齐一点显示可以添加g ...
- MySQL 5.6.35 索引优化导致的死锁案例解析
一.背景 随着公司业务的发展,商品库存从商品中心独立出来成为一个独立的系统,承接主站商品库存校验.订单库存扣减.售后库存释放等业务.在上线之前我们对于核心接口进行了压测,压测过程中出现了 MySQL ...
- ElasticSearch7.2简单命令实操(postman版)
使用postman访问操作ElasticSearch数据库,数据格式均为json 目录 使用postman访问操作ElasticSearch数据库,数据格式均为json 一.集群设置 1.查看集群设置 ...
- Py数据类型—列表,字典,元组
列表:数据类型list. 写法li=[1,12,9,"sdsad",["ad","dd"] ].用中括号括起来,用逗号分割每个元素列表中元素 ...
- centos7防火墙firewalld拒绝某ip或者某ip段访问服务器任何服务
安装firewall后(LINUX7系统一般情况下默认已安装),防火墙默认配置是只打开SSH端口的,也就是22端口,如果SSH的端口已更改成别的端口了,请切记一定在启动firewall前先修改对应服务 ...
- 电脑微信电脑PC 多开/防撤回 补丁
简介 经常使用微信电脑版的用户都会发现一个蛋疼的事情,那就是微信PC版不支持多开,也就是不能同时登陆多个账号,这对于需要在电脑上登陆多个微信账号的朋友来说肯定是极其的不方便.另外有的时候别人撤回了一些 ...