网络结构解读之inception系列四:Inception V3
网络结构解读之inception系列四:Inception V3
Inception V3根据前面两篇结构的经验和新设计的结构的实验,总结了一套可借鉴的网络结构设计的原则。理解这些原则的背后隐藏的动机比单纯知道这个操作更有意义。
Rethinking the Inception Architecture for Computer Vision
主题:如何高效的增大网络规模
通过分解卷积和正则实现高效计算
设计网络原则
1.避免表征瓶颈。大部分时候,特征大小应当缓慢变小,在变小的同时增加维度。(下采样是减小信息,而升维是增加信息)
2.高维特征更容易局部处理,收敛更快。(高维易分)
3.空间聚合能通过低维嵌入达到无损。(concat前可以降维,性能损失接近无)
4.平衡宽度和深度。(宽度和深度的比例要合适)
以上原则或许是有意义的,但不能直接参照,是在不明确的时候下使用的。(相对来说可靠,但不是绝对的原则)
分解卷积
2个3*3代替1个5*5 减少28%的计算量。
一个问题,第一个3*3后接线性激活会不会比ReLU更好?(因为5*5是线性操作,而2个3*3去代替的话全程应当是线性操作)实验结果,relu更优,作者猜测是因为网络能够学习这种空间变化的增强(实验证明这是数据增强)
非对称分解
3*3卷积分解2个2*2节省11%计算量,而分解成1*3和3*1节省33%
理论上,任何卷积都能分解成不对称卷积,但实验发现,在低层次效果不好,在12到20层加较好
辅助分类器
经过实验观察,辅助分类器在训练初期无明显作用,接近训练结束时性能开始超越,作者认为起到正则化作用。
高效降分辨率(下采样)
按照准则1,在使用pooling进行下采样前,激活值要升维。
参照下图,如果使用左边的方式,违背准则1。如果使用右边,计算量较大(V1是这种方式)
Inception Reduction Module
结构InceptionV2(V3去掉BN)
5*5分解卷积 非对称卷积
基于原则2高维易分
标签平滑正则LSR ( label smoothing regularization )
作者认为硬标签下softmaxloss会过拟合,改为soft label。
croos-entropy:
最终损失:
LSR:
最终损失:
低分辨率输入实验
Inception对比实验
网络结构解读之inception系列四:Inception V3的更多相关文章
- 网络结构解读之inception系列五:Inception V4
网络结构解读之inception系列五:Inception V4 在残差逐渐当道时,google开始研究inception和残差网络的性能差异以及结合的可能性,并且给出了实验结构. 本文思想阐述不多, ...
- 网络结构解读之inception系列三:BN-Inception(Inception V2)
网络结构解读之inception系列三:BN-Inception(Inception V2) BN的出现大大解决了训练收敛问题.作者主要围绕归一化的操作做了一系列优化思路的阐述,值得细看. Batch ...
- 网络结构解读之inception系列二:GoogLeNet(Inception V1)
网络结构解读之inception系列二:GoogLeNet(Inception V1) inception系列的开山之作,有网络结构设计的初期思考. Going deeper with convolu ...
- 网络结构解读之inception系列一:Network in Network
网络结构解读之inception系列一:Network in Network 网上有很多的网络结构解读,之前也是看他人博客的介绍,但当自己看论文的时候,发现存在很多的细节和动机解读,而这部分能加深 ...
- 经典分类CNN模型系列其五:Inception v2与Inception v3
经典分类CNN模型系列其五:Inception v2与Inception v3 介绍 Inception v2与Inception v3被作者放在了一篇paper里面,因此我们也作为一篇blog来对其 ...
- Inception系列
从GoogLeNet的Inceptionv1开始,发展了众多inception,如inception v2.v3.v4与Inception-ResNet-V2. 故事还是要从inception v1开 ...
- Inception系列理解
博客:博客园 | CSDN | blog 写在前面 Inception 家族成员:Inception-V1(GoogLeNet).BN-Inception.Inception-V2.Inception ...
- 『高性能模型』卷积复杂度以及Inception系列
转载自知乎:卷积神经网络的复杂度分析 之前的Inception学习博客: 『TensorFlow』读书笔记_Inception_V3_上 『TensorFlow』读书笔记_Inception_V3_下 ...
- 深度卷积网络-Inception系列
目录 1. Inception V1 1.1 Inception module 2. Inception V2 3. Inception V3 4. Inception V4, Inception-R ...
随机推荐
- layer.confirm等事件X关闭与取消监听
关于layer.confirm的所有操作 layer.confirm('content',{ btn:['确定','取消'], cancel:function(index, layero){ cons ...
- 【JZOJ3422】水叮当的舞步
description 水叮当得到了一块五颜六色的格子形地毯作为生日礼物,更加特别的是,地毯上格子的颜色还能随着踩踏而改变. 为了讨好她的偶像虹猫,水叮当决定在地毯上跳一支轻盈的舞来卖萌~~~ 地毯上 ...
- mysql 数据库 内容的增删改查
/*所有字段插入值*//*注意插入值数目要与字段值一致*/INSERT INTO student VALUES(1,'熊大','123','2019-10-18',1200);INSERT INTO ...
- 微信公众号开发API接口大全
在本文中,我们列出微信公众平台上可以使用的API接口以及举例如何在微信公众平台调用这些接口实现相应的功能. 接口调用说明: ① Appkey请使用的微信公众号,不要使用默认的trailuser ② 接 ...
- css3技巧——产品列表之鼠标滑过效果translateY(三)
<div class="main"> <div class="view view-tenth"> <figure> < ...
- js日常总结
1.html如何引入css和js文件 css:<link rel="stylesheet" href="css/index1.css(这是我的文件的地址)" ...
- Python入门教程 超详细1小时学会Python
Python入门教程 超详细1小时学会Python 本文适合有经验的程序员尽快进入Python世界.特别地,如果你掌握Java和Javascript,不用1小时你就可以用Python快速流畅地写有用的 ...
- sparkStreaming入门
1.环境 jdk : 1.8 scala : 2.11.7 hadoop:2.7 spark : 2.2.0 2. 开发工具 idea 2017.2 3.maven的pom文件 <depende ...
- readv 和 writev
Unix 系统已经长时间支持名为 readv 和 writev 的 2 个系统调用. 这些 read 和 write 的"矢量"版本使用一个结构数组, 每个包含一个缓存的指针和一个 ...
- Linux 下 Nand Flash 驱动主要数据结构说明
s3c2410 专有数据结构 s3c2410_nand_set struct s3c2410_nand_set { int nr_chips; /* 芯片 ...