AlexNet模型的解析及tensorflow实现

AlexNet是ImageNet LSVRC 2012比赛中分类效果第一的深度神经网络模型，点击链接下载论文http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

1.模型的表现及结果

AlexNet模型主要在ILSVRC2010数据集与ILSVRC2012数据集上进行了训练与测试。在2012年的测试集上，模型取得top-5 error 15.3%，比第2名26.2%高了不少。由于ILSVRC2010的测试集的标签可用，AlexNet在2010测试集上[top-1error 37.5%，top-5 error 17.0%]，比当时的第一名[top-1 error 45.7%，top-5 error 25.7%]效果好了不少。

2.数据集

ILSVRC2012的数据集约120万张图像，共包含1000个类。对图像数据集进行的预处理包括：

　　(a) 统一所有的图像大小为256x256。将图像的短边缩放为256，然后截取缩放后的图像中心256x256的图像；

　　(b) 对缩放后的 256*256 训练图像统计均值，并对所有图像减去均值。具体实现时并不像论文所写的计算每个像素的均值，而是统计所有图像的RGB均值[r,g,b]，并在训练以及测试时减去这个均值[r,g,b]。网络上有预训练好的AlexNet模型代码，其中训练集的RGB均值为[124., 117., 104.]。

　　训练集与测试集的图像不参与均值的计算，但是会进行缩放，并且减去均值。

数据扩增部分采取的操作：

　　详见第4部分。

3.网络结构

3.1 AlexNet由8层神经网络层组成，分别是 input -> { 卷积层1 -> 卷积层2 -> 卷积层3 -> 卷积层4 -> 卷积层5 -> FC6 -> FC7 -> FC8 } -> softmax。网络的输入是[N, 227, 227, 3]，图像的大小是[227, 227, 3]。

输入层：

输入: [227x227x3]

第1层：conv1 -> relu -> norm1 -> max pool1

conv1：96个11x11 filter, stride=4, pad=0. output=[55x55x96]

max pool1：3x3 filter, stride=2. output=[27x27x96]

第2层：conv2 -> relu -> norm2 -> max pool2

conv2: 256个5x5 filter, stride=1, pad=2. output=[27x24x256]

max pool2: 3x3 filter, stride=2. output=[13x13x256]

第3层：conv3 -> relu

conv3: 384个3x3 filter, stride=1, pad=1. output=[13x13x384]

第4层：conv4 -> relu

conv4: 384个3x3 filter, stride=1, pad=1. output=[13x13x384]

第5层：conv5 -> relu -> max pool5

conv5: 256个3x3 filter, stride=1, pad=1. output=[13x13x256]

max pool5: 3x3 filter, stride=2. output=[6x6x256]

第6层：

FC6 -> relu -> dropout 6, 4096个神经元

第7层：

FC7 -> relu -> dropout 7, 4096个神经元

第8层：

FC8, 1000个神经元

3.2 神经网络层的说明，按照它们的重要程度的顺序进行

(a) Relu非线性

神经元的输出函数一般是tanh(x)或者sigmoid(x)，本文使用Relu非线性函数 f(x) = max(0, x). 在利用梯度下降进行训练时，饱和非线性函数（tanh，sigmoid）比非饱和非线性函数（relu）速度更慢。使用relu的深层卷积网络比使用tanh的网络训练要快上几倍。

(b) Training on GPUs

GTX580 GPU内存3GB，在两块这样的GPU上进行训练，利用并行的方式。

Relu已经不需要normalization就可以防止饱和现象，但是本文发现LRN依然可以帮助提升模型的泛化性能。本文的LRN如下，

其中 aⁱ_x,y含义是第 i 个卷积核在（x，y）处的输出经过 relu 的结果，bⁱ_x,y 指的是aⁱ_x,y经过LRN后的结果。

n是邻近的n个卷积核输出，卷积核的书序是训练之前就人为确定的，N是本层的所有卷积核数目。k,n,α,β是超参数，由验证集决定，训练中使用 k = 2, n = 5, α = 10^-4, β = 0.75

LRN分别减少模型的top-1 error 1.4%和top-5 error 1.2%。

(d) Overlapping Pooling

常规的pooling都是 z=2, s=2, 本文使用z=3, s=2，所以pooling时会有重叠现象，这减少模型的top-1 error 0.4% 和 top-5 error 0.3%，而且观察到重叠池化不易过拟合。

3.3 损失函数（优化目标）

AlexNet模型的优化目标是最大化多类逻辑回归，等价于最大化交叉熵（maxmizing the average cross training case of the log-probability of the correct label under the prediction distribution）。

4. 减少过拟合

整个模型大概有6000万的参数，主要采用2种方法减少过拟合。

4.1 数据扩增（Data Augmentation）

减少模型的过拟合最简单与常用的方法就是人工的扩增数据集。本文使用的扩增图像数据的方法计算简单，所以新增的图像无须提前存储在硬盘上（即可以随时生成）。

　　第一种是图像平移与水平翻转，训练时，在256x256图像上取 224x224 大小的图像以及它们的水平翻转图像，因此一张图像可以扩展到（256-224）*（256-224）* 2 = 2048张，数据集可以扩展到2048倍。实际都是取227x227的图像作为模型的输入，因此2048倍变为（256-227+1）*（256-227+1）* 2 =1800，这样就扩增了数据集1800倍。

　　测试时，取 256x256 图像的4个角与中心的224x224图像以及它们的水平翻转图像共10张，输入模型后，将softmax层在这10个图像上的预测平均值作为原图像的预测。

　　第二种是改变训练集的图像在RGB通道的值。本文对训练集图像的RGB通道像素执行PCA，将PCA的特征值乘上随机量，随机量是从均值为0，标准差0.1的高斯分布中取的。

原图像 = [p1, p2, p3] [α₁, α₂, α₃]^T，加入随机量之后图像 = [p1, p2, p3] [α₁λ₁, α₂λ₂, α₃λ₃]^T，λ就是随机量。

4.2 Dropout

训练过程中，以概率p使隐层中的神经元的输出为0，则神经元就被 dropout了，它们的输出不会影响到前向传播，也不会参与BP。每次迭代都有不同的神经元被dropout，可以看作是模型得到不同结构的网络，这些网络共享权重。Dropout使得一个神经元的输出不能依赖于特定的神经元，减少了神经元之间复杂的互适应关系，使得模型学到的特征更加健壮。

测试时，不使用dropout，全部神经元参与预测，但是所有神经元的输出 x 0.5。

本文在全连接层的前2层使用dropout技术，可以缓解过拟合问题。但是dropout使得迭代次数加倍才能收敛。

5. 模型实现的一些细节

5.1 使用SGD优化模型，batch_size=128， momentum=0.9，weight_decay=0.0005，

i 是迭代次数，ν是momentum，ε是学习率，<φL/φω|_ωi>是第i个batch Di的关于ωi偏导的平均

5.2 初始化参数

　　每层的权重w初始化：均值=0，标准差=0.01的高斯分布

　　第2,4,5层，全连接层的偏差biases初始化：全1

　　其余层的偏差biases：全0

5.3 学习率

初始学习率0.01。当验证集精度不再增加时，就手动的将学习率减小10倍，在训练停止前学习率减小了3次（学习率1e-5）。总共进行了90个epoch的训练，在两块NVIDIA GTX580 3GB GPU上面运行了5~6天。

6. 结果

6.1 模型在ImageNet数据集上的效果

6.2 模型评估

第一个图可视化显示了与图像紧邻的卷积核学到的特征。

第2个图显示了图像经过模型后产生的（FC-7）4096维特征，如果两个图像的4096维特征的欧氏距离比较近，那么模型就认为这两个图像在全局水平上比较相似（内容相似，类别相同等...）。

第1层的96个卷积核直接从图像上学到的特征。由于两个GPU分开连接，GPU1上的卷积核主要学到颜色无关的特征，而GPU2主要学到颜色相关的特征。每次训练都是这种特征差异，而且与随机初始化无关。

左边是ILSVRC-2010的8张图像，每张图像下面的黑色字体是图像的正确标签，紧接着的下面是模型预测的图像的前5个最有可能的标签。红色标签标示模型的预测正确（top-5）。

右边的第一列是ILSVRC-2010测试集的图像，剩下的6列是训练集中的图像，经过模型产生的特征4096维特征（FC-7），与测试集图像的4096维特征的欧氏距离最近的6个图像。

计算两个4096维特征的欧氏距离，计算效率比较低，但是可以训练自动编码机（AE）将长向量压缩为短二维码，这可以作为一个比较好的图像检索方法。

7. 讨论

在视频处理方面使用更深更大的卷积网络，因为视频中包含了静态图像所不具备的丰富的时空信息。