《ImageNet Classification with Deep Convolutional Neural Networks》 剖析

《ImageNet Classification with Deep Convolutional Neural Networks》 剖析

CNN 领域的经典之作， 作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集ImageNet， 图像的种类为1000 种的深度卷积神经网络。并在图像识别的benchmark数据集上取得了卓越的成绩。

和之间的LeNet还是有着异曲同工之妙。这里涉及到 category 种类多的因素，该网络考虑了多通道卷积操作， 卷积操作也不是 LeNet 的单通道卷积了 （LeNet仅仅限于 gray image 的 digit recognition ， label种类就10个）。

该神经网络有6千万个参数，650，000个神经元。包含了五个卷积层（卷积操作层和下采样层统称之为卷积层）， 和三个全连接层。 为了使得训练更快，让网络实现在GPU上进行卷积操作运算，为了减小overfitting， 全连接层引入一个最近兴起的方法：dropout。下面是整个网络的大致介绍：

如图，其中第一层为输入层，就是一张224X224X3的image， 首先进行的是卷积层，kernel 是11X11X3的， 那么每11X11的图像大小范围被卷积操作成为一个新的像素点的一个信道。卷积的步长为4， 说明224 X 224 被卷积成为是 55X55 的大小， 因为卷积核有96个，上下平分（因为被分到不同的GPU进行运算），所以第二层是 55X55X48 的新的层。

(1), Relu非线性操作：

我们知道在浅层神经网络中， 引入非线性操作（也叫激活函数 active function），可以增强神经网络的泛化能力，使得神经网络更加robusting。但是在深层网络中，使用tanh函数，作为激活函数，增加了大量的计算，使得训练更加慢了，引入Hinton的Rectified Linear units (Relu) 来作为激活函数，

Relu(x) = max(0, x)

这样的好处： 第一是在论文中也说明了，简单的max计算，大大减少了计算量，可以提高训练速度， 第二是梯度在Relu中是直接传递的，鉴于深度网络的梯度衰减的现象，Relu可以保持梯度，减缓梯度衰减的趋势。 另外一个方面也是bp过程中没有了梯度换算的操作，加快了训练。

(2), 在多GPU上进行运算

因为整个神经网络的训练是卷积之间的操作基本是独立的，所以可以采用独立的两个GPU进行运算，增快训练的速度。

(3), Normalization

为了不让某一些kernel的weight变得很大，要对不同的kernel进行Normalization。

（为什么weight不能很大，如果某一个kernel 的weight变得很大的话，它的权值稍微变化则会引起很大的影响，那会重点改变它的weight而忽视其他太小weight的kernel）

其中， k, n, alpha, beta 这些常量都是“可调参数”， 由最好的validation set决定

(4), 对下采样层进行Overlapping Pooling

传统的下采样是不重叠的，但是为了精确性，使得识别度更高，对Pooling层进行Overlapping Pooling。

Pooling的好处，有点类似了 SIFT 的pyramid 结构去解读一张图片，此外还可以减少 pixels 的个数， 减少后面全连接层的神经元个数。

这么庞大的神经网络，这么多参数，很容易陷入overfitting的，减少overfitting的方式有两种Data Augmentation 和 Dropout

(5),  Data Augmentation

最常用的方法是：增大数据集的量，Label-preserving transformation. 本文中使用了两种Data Augmentation的方法，第一个是产生图片transformation和水平转换。因为有些图像进行水平转换是一致的，还有的操作是缩放操作（SIFT中算法的思想），旋转操作（可以增强物体识别的robustness）等。

第二种是改变训练图片的RGB的强度。 对图片中每一个RGB像素点进行一种变换，通过类似PCA的方法，求出特征向量和特征值，来提取主元

其中三个Alpha值对应image的三个channel，一张图片的每个像素都使用这个特定的随机值进行提取主元。

按照论文所说的，这种方法获取了image的天然特性，该特征对光照强度和光照颜色保持鲁棒性。

(6), Dropout

在全连接层，对有些隐层的神经元的输出置为0，对每个神经元输出置为0的概率是0.5，Dropout的神经元不会对前向传播操作造成影响，也退出了反向传导权值修正。这样即可以提高训练效率，也防止了overfitting。

本文的神经网络在前面的两个全连接层进行Dropout，有效防止了overfitting。

（7）， 训练的过程

每个batch使用128个样本进行训练，设置好动量参数，权值decay， 学习率， 等参数。

对于全连接层：

类似浅层神经网络的训练，反向传播，权值修正。BP算法对每一个weight进行反向修正，根据误差函数对权值的偏导，进行负梯度下降的训练。

对于卷积层：

矩阵权值修正， 这里涉及到BP算法的二维应用。 卷积层首先在训练之前是随机化处理（随机化应该也是有技巧的随机化）。

评论：

CNN真的是一个充满前景的深度网络， 从不同的角度和不同的方式去提取特征，尽可能地去提取图片中的信息，同时，还需要很多的训练技巧，防止overfitting。

网络结构是越大越好，网络结构越复杂，神经元的个数越多，这个网络的capacity 越强。  同时在训练的过程中，训练技巧则是在防止overfitting 和 underfitting 之间找到那个平衡点。

最近的参与到openface的训练，体会到了这两个至关重要的point。

reference:

(1), http://www.cnblogs.com/tornadomeet/archive/2013/05/05/3061457.html

(2), 在路上 http://zhangliliang.com/2014/07/01/paper-note-alexnet-nips2012/