深度拾遗(06) - 1X1卷积/global average pooling

什么是1X1卷积

11的卷积就是对上一层的多个feature channels线性叠加，channel加权平均。

只不过这个组合系数恰好可以看成是一个11的卷积。这种表示的好处是，完全可以回到模型中其他常见NN的框架下，不用定义新的层。

比如上一层通过100个卷积核得到了 W H * 100的数据，进行10个1X1卷积后得到 W * H * 10 的数据，它是对每个features channel像素点进行累计放缩。

为什么要用这个？

通过这样的方式，通道之间的信息交互，卷积核通道也可以简单的升维降维。

当1*1卷积出现时，在大多数情况下它作用是升/降特征的维度，这里的维度指的是通道数（厚度），而不改变图片的宽和高。

平均池化是针对每个feature map的平均操作，没有通道间的交互，而1×1卷积是对通道的操作，在通道的维度上进行线性组合

feature map之间的线性组合,特征的高度抽象过程。这一过程视为由线性变换为非线性，提高抽象程度。

1.维度升降主要于conv层的channel设置有关，实际于kernel_size大小无关；即实际中我设置的卷积核为1x1，目的更可能是为了降低参数个数，减少训练成本；

2.加入非线性。在NIN中其加入了1x1的conv层，由传统的conv升级为mlpconv的转变，使之由单纯的线性变换，变为复杂的feature map之间的线性组合，从而实现特征的高度抽象过程。这一过程视为由线性变换为非线性，提高抽象程度。而非加入激活函数的作用。

global average pooling

用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这些特征点组成最后的特征向量进行softmax中进行计算。

例如：最后的一层的数据是10个66的特征图，global average pooling是将每一张特征图计算所有像素点的均值，输出一个数据值，这样10 个特征图就会输出10个数据点，将这些数据点组成一个110的向量的话，就成为一个特征向量，就可以送入到softmax的分类中计算了

参考

参考