跟我学算法-图像识别之图像分类(下)(GoogleNet网络, ResNet残差网络, ResNext网络, CNN设计准则)
1.GoogleNet 网络:
Inception V1 - Inception V2 - Inception V3 - Inception V4
1. Inception v1
split - merge - 1*1卷积,3*3卷积, 5*5卷积, 3*3池化
输入层:inception
1*1 卷积
1*1卷积 - 3*3卷积
1*1卷积 - 5*5卷积
3*3 maxpooling - 1*1 卷积
2个辅助分类器
深网络中,梯度回传到最初几层,存在严重消失问题
有效加速收敛
测试阶段不适用
2. inception v2
采用了Batch Normalization(批归一化),使得输出规划到(0, 1)
对每一个特征通道做归一化, 归一化是进行中心化和标准化
x1 = (x-u) / б
y(k) = y(k) * x1(k) + β(k)
training:
每个batch中k组均值-标准差会被存储
testing:
无batch, 将所有的Kzu均值-标准差分别求平均,使用这K组平均
3. Inception v3
核心组件
非对称卷积: N*N 分解成1*N 和 N * 1
4. Inception v4
添加了一个残差神经网络的直连思想
2.ResNet 残差网络
可以拟合任意目标映射F(x), H(x) = F(x) + x
F(x)是残差映射
当H(x) 最优映射接近Identity, 容易捕捉到很小的扰动
X - weight layer - relu - weight layer -relu -
Y - weight layer - relu - weight layer - relu - , 直接从Y到达后面实现直连
其他设计:
全是3*3卷积核
卷积步长2取代池化
使用batch Normalization
取消:
Max池化
全连接
dropout
3. ResNext网络
提出了第三个维度
策略:将卷积核按通道分组,形成32个并行分支
低维度卷积,进行特征变化
加法合并
4. CNN设计准则
避免信息瓶颈
卷积过程中
空间尺寸 H * W 变小
输出通道C变多
数据量H*W*C要缓慢变小
通道数量保持在可控范围内
感受野在前期要足够大
在后面几层使用多个尺寸的卷积核
CNN 设计准则
分组策略 采用通道分解(resnext)- 降低计算量
低秩分解 - 3*3*c*k - 1*3*c*k 和 3*1*c*k
跟我学算法-图像识别之图像分类(下)(GoogleNet网络, ResNet残差网络, ResNext网络, CNN设计准则)的更多相关文章
- 跟我学算法-图像识别之图像分类(上)(基础神经网络, 卷积神经网络(CNN), AlexNet,NIN, VGG)
1.基础神经网络: 输入向量x,权重向量w, 偏置标量b, 激活函数sigmoid(增加非线性度) 优化手段: 梯度下降优化, BP向后传播(链式规则) 梯度下降优化: 1. 使用得目标函数是交叉熵 ...
- 第四讲_图像识别之图像分类Image Classification
第四讲_图像识别之图像分类Image Classification 目录 图片分类 性能指标:top1,top5 ILSVRC:每种任务数据集不一样 imageNet:根据WorldNet组织的图片集 ...
- 1136: 零起点学算法43——多组测试数据输出I
1136: 零起点学算法43--多组测试数据输出I Time Limit: 1 Sec Memory Limit: 128 MB 64bit IO Format: %lldSubmitted: ...
- PHP-密码学算法及其应用-对称密码算法
转自:http://www.smatrix.org/bbs/simple/index.php?t5662.html ////////////////////////////////////////// ...
- 0算法基础学算法 搜索篇第二讲 BFS广度优先搜索的思想
dfs前置知识: 递归链接:0基础算法基础学算法 第六弹 递归 - 球君 - 博客园 (cnblogs.com) dfs深度优先搜索:0基础学算法 搜索篇第一讲 深度优先搜索 - 球君 - 博客园 ( ...
- 1164: 零起点学算法71——C语言合法标识符(存在问题)
1164: 零起点学算法71——C语言合法标识符 Time Limit: 1 Sec Memory Limit: 64 MB 64bit IO Format: %lldSubmitted: 10 ...
- 1163: 零起点学算法70——Yes,I can!
1163: 零起点学算法70--Yes,I can! Time Limit: 1 Sec Memory Limit: 64 MB 64bit IO Format: %lldSubmitted: ...
- 1147: 零起点学算法54——Fibonacc
1147: 零起点学算法54--Fibonacc Time Limit: 1 Sec Memory Limit: 64 MB 64bit IO Format: %lldSubmitted: 20 ...
- 1145: 零起点学算法52——数组中删数II
1145: 零起点学算法52--数组中删数II Time Limit: 1 Sec Memory Limit: 64 MB 64bit IO Format: %lldSubmitted: 293 ...
随机推荐
- linux下升级npm以及node
npm升级 废话不多说,直接讲步骤.先从容易的开始,升级npm. npm这款包管理工具虽然一直被人们诟病,很多人都推荐使用yarn,但其使用人数还是不见减少,况且npm都是随node同时安装好的,一时 ...
- UVA-11167 Monkeys in the Emei Mountain(区间模型最大流+输出方案)
题目大意:有n只猴子,每只猴子都有一组参数(v,a,b),表示这只猴子在时间段[a,b]之间必须要喝v个单位水,并且每个时间单位只能和一个单位水,每次至少喝一个单位.但是只有一个水池,并且这个水池最多 ...
- StringUtils工具类的isBlank()方法使用说明
- 免费一年MAP2014+6个月免费MIS2014
活动页面:http://promos.mcafee.com/en-us/Affiliates/400/Lp/np2815_mavp.aspx?rfhs=1&LPName=np2815_mavp ...
- I.MX6 U-boot lvds display hacking
/*********************************************************************************** * I.MX6 U-boot ...
- [LOJ2541]「PKUWC2018」猎人杀
loj description 有\(n\)个猎人,每个猎人有一个仇恨度\(w_i\),每个猎人死后会开一枪打死一个还活着的猎人,打中每个猎人的概率与他的仇恨度成正比. 现在你开了第一枪,打死每个猎人 ...
- python 中datetime 和 string 转换
dt = datetime.datetime.strptime(string_date, fmt) fmt 的格式说明如下: https://docs.python.org/2/library/dat ...
- vue使用百度编辑器ueditor踩坑记录
一.使用 下载放入项目 main.js引入 import '../static/UE/ueditor.config.js'; import '../static/UE/ueditor.all.js'; ...
- Spring Boot 报错:Error creating bean with name 'entityManagerFactory' defined in class path resource
spring boot 写一个web项目,在使用spring-data-jpa的时候,启动报如下错误: Error starting ApplicationContext. To display th ...
- linux用命令行看网线物理连接状态
inux下有两个命令可以看网线状态: ethtool 和 mii-tool 竟然还都要用,由于网卡所支持的协议不同,哪个网卡能用哪个命令是不一定的. [root@rhel demo]# ethtool ...