跟我学算法-图像识别之图像分类（下）(GoogleNet网络, ResNet残差网络, ResNext网络， CNN设计准则）

1.GoogleNet 网络：

Inception V1 - Inception V2 - Inception V3 - Inception V4

1. Inception v1

split - merge - 1*1卷积，3*3卷积， 5*5卷积， 3*3池化

输入层：inception

1*1 卷积

1*1卷积 - 3*3卷积

1*1卷积 - 5*5卷积

3*3 maxpooling - 1*1 卷积

2个辅助分类器

深网络中，梯度回传到最初几层，存在严重消失问题

有效加速收敛

测试阶段不适用

2. inception v2

采用了Batch Normalization(批归一化)，使得输出规划到(0, 1)

对每一个特征通道做归一化， 归一化是进行中心化和标准化
                        x1 = (x-u) / б

y(k) = y(k) * x1(k) + β(k)

training:

每个batch中k组均值-标准差会被存储

testing：

无batch， 将所有的Kzu均值-标准差分别求平均，使用这K组平均
               3. Inception v3

核心组件

非对称卷积： N*N 分解成1*N 和 N * 1

4. Inception v4

添加了一个残差神经网络的直连思想

2.ResNet 残差网络

可以拟合任意目标映射F(x), H(x) = F(x) + x

F（x）是残差映射

当H(x) 最优映射接近Identity， 容易捕捉到很小的扰动
         X - weight layer - relu - weight layer -relu  -

Y - weight layer - relu - weight layer - relu - , 直接从Y到达后面实现直连

其他设计：

全是3*3卷积核

卷积步长2取代池化

使用batch Normalization

取消：

Max池化

全连接

dropout

3. ResNext网络

提出了第三个维度

策略：将卷积核按通道分组，形成32个并行分支

低维度卷积，进行特征变化

加法合并

4. CNN设计准则

避免信息瓶颈

卷积过程中

空间尺寸 H * W 变小

输出通道C变多

数据量H*W*C要缓慢变小
                  通道数量保持在可控范围内

感受野在前期要足够大

在后面几层使用多个尺寸的卷积核

CNN 设计准则

分组策略 采用通道分解(resnext)- 降低计算量

低秩分解 - 3*3*c*k - 1*3*c*k 和 3*1*c*k