网络结构解读之inception系列四:Inception V3
网络结构解读之inception系列四:Inception V3
Inception V3根据前面两篇结构的经验和新设计的结构的实验,总结了一套可借鉴的网络结构设计的原则。理解这些原则的背后隐藏的动机比单纯知道这个操作更有意义。
Rethinking the Inception Architecture for Computer Vision
主题:如何高效的增大网络规模
通过分解卷积和正则实现高效计算
设计网络原则
1.避免表征瓶颈。大部分时候,特征大小应当缓慢变小,在变小的同时增加维度。(下采样是减小信息,而升维是增加信息)
2.高维特征更容易局部处理,收敛更快。(高维易分)
3.空间聚合能通过低维嵌入达到无损。(concat前可以降维,性能损失接近无)
4.平衡宽度和深度。(宽度和深度的比例要合适)
以上原则或许是有意义的,但不能直接参照,是在不明确的时候下使用的。(相对来说可靠,但不是绝对的原则)
分解卷积
2个3*3代替1个5*5 减少28%的计算量。

一个问题,第一个3*3后接线性激活会不会比ReLU更好?(因为5*5是线性操作,而2个3*3去代替的话全程应当是线性操作)实验结果,relu更优,作者猜测是因为网络能够学习这种空间变化的增强(实验证明这是数据增强)

非对称分解
3*3卷积分解2个2*2节省11%计算量,而分解成1*3和3*1节省33%

理论上,任何卷积都能分解成不对称卷积,但实验发现,在低层次效果不好,在12到20层加较好

辅助分类器
经过实验观察,辅助分类器在训练初期无明显作用,接近训练结束时性能开始超越,作者认为起到正则化作用。

高效降分辨率(下采样)
按照准则1,在使用pooling进行下采样前,激活值要升维。
参照下图,如果使用左边的方式,违背准则1。如果使用右边,计算量较大(V1是这种方式)
Inception Reduction Module

结构InceptionV2(V3去掉BN)



5*5分解卷积 非对称卷积

基于原则2高维易分
标签平滑正则LSR ( label smoothing regularization )
作者认为硬标签下softmaxloss会过拟合,改为soft label。
croos-entropy:

最终损失:
LSR:
最终损失:
低分辨率输入实验

Inception对比实验


网络结构解读之inception系列四:Inception V3的更多相关文章
- 网络结构解读之inception系列五:Inception V4
网络结构解读之inception系列五:Inception V4 在残差逐渐当道时,google开始研究inception和残差网络的性能差异以及结合的可能性,并且给出了实验结构. 本文思想阐述不多, ...
- 网络结构解读之inception系列三:BN-Inception(Inception V2)
网络结构解读之inception系列三:BN-Inception(Inception V2) BN的出现大大解决了训练收敛问题.作者主要围绕归一化的操作做了一系列优化思路的阐述,值得细看. Batch ...
- 网络结构解读之inception系列二:GoogLeNet(Inception V1)
网络结构解读之inception系列二:GoogLeNet(Inception V1) inception系列的开山之作,有网络结构设计的初期思考. Going deeper with convolu ...
- 网络结构解读之inception系列一:Network in Network
网络结构解读之inception系列一:Network in Network 网上有很多的网络结构解读,之前也是看他人博客的介绍,但当自己看论文的时候,发现存在很多的细节和动机解读,而这部分能加深 ...
- 经典分类CNN模型系列其五:Inception v2与Inception v3
经典分类CNN模型系列其五:Inception v2与Inception v3 介绍 Inception v2与Inception v3被作者放在了一篇paper里面,因此我们也作为一篇blog来对其 ...
- Inception系列
从GoogLeNet的Inceptionv1开始,发展了众多inception,如inception v2.v3.v4与Inception-ResNet-V2. 故事还是要从inception v1开 ...
- Inception系列理解
博客:博客园 | CSDN | blog 写在前面 Inception 家族成员:Inception-V1(GoogLeNet).BN-Inception.Inception-V2.Inception ...
- 『高性能模型』卷积复杂度以及Inception系列
转载自知乎:卷积神经网络的复杂度分析 之前的Inception学习博客: 『TensorFlow』读书笔记_Inception_V3_上 『TensorFlow』读书笔记_Inception_V3_下 ...
- 深度卷积网络-Inception系列
目录 1. Inception V1 1.1 Inception module 2. Inception V2 3. Inception V3 4. Inception V4, Inception-R ...
随机推荐
- USACO18FEB Platinum
SlingShot 求数轴上从x到y的最短路( 边长为1),有若干个从xi到yi长度为ti的传送门,每次只能选择其中一个使用. 即求min(|x-y|,min{|a-x|+|b-y|+c}),拆开绝对 ...
- CF431E Chemistry Experiment
题意:有n个试管,有高度为hi的水银.操作1:将试管x中的水银高度改成y.操作2:将体积为v的水注入试管,求水位的高度?n,q<=1e5. 标程: #include<bits/stdc++ ...
- Java迷宫代码,广度优先遍历,最短路径
使用一个队列,采用层层扩张的方式,寻找迷宫最优的路径信息,再用一个迷宫节点数组记录行走信息方向常量定义: public interface Constant { // 右方向 int RIGHT = ...
- thinkphp 标签嵌套
模板引擎支持标签的多层嵌套功能,可以对标签库的标签指定可以嵌套. 直线电机价格 系统内置的标签中,volist.switch.if.elseif.else.foreach.compare(包括所有的比 ...
- web移动端rem的适配
** 需求: 随着移动端设备的变化,内容也跟着变化.**先来说说rem单位,以rem为单位,其大小是根据根元素(html标签)的字体大小来判断的, 如 html的font-size:100p ...
- idae for mac部分背景色修改收集
文章目录 所有字体默认颜色 终端背景色 行数line number背景色 line number颜色 编码区背景色 光标所在行背景色 未被使用的变量.方法或者类 控制台相关 选中文字的背景色 选中和未 ...
- 清晰化算法在DSP上的实现
清晰化算法在DSP TIDM642上的实现,之前的部分工作摘要于此. 1 DSP平台的选择 1.1 DM642 Evolution Module 选择现有的DM642 Evolution Module ...
- java-day05
数组概念 是一种容器,能够存放多个数据值 特点 多个数据值类型必须统一 是一种引用数据类型 程序运行时,数组长度不可改变 数组初始化 动态初始化格式 数据类型[] 数组名称 = new 数据类型[数组 ...
- 菲波那切数列(Fibonacci Number)
什么是菲波那切数列?自己google一下,面试题里面经常遇到,考试递归算法用的. 在菲波那切数列中用递归不太好.第三种算法最好. 第一 递归算法最差了,不想说.测试一下,当N=6000时,半天出不来数 ...
- opensuse 通过composer安装drush工具
由于笔者的opensuse已安装好composer,所以按照官方网站的文章 Installing/Upgrading Drush on Ubuntu,使用composer形式安装drush工具. co ...