Deep Residual Learning

　　最近在做一个分类的任务，输入为3通道车型图片，输出要求将这些图片对车型进行分类，最后分类类别总共是30个。

　　开始是试用了实验室师姐的方法采用了VGGNet的模型对车型进行分类，据之前得实验结果是训练后最高能达到92%的正确率，在采用了ImageNet训练过的DataLayer之后，可以达到97%的正确率，由于我没有进行长时间的运行测试，运行了十几个小时最高达到了92%的样子。

　　后来是尝试使用Deep Residual Learning的ImageNet（以后简称ResNet）的实现方法，十几个小时的训练可以达到94%的正确率，由于ResNet-50的模型太大，没有进行长时间的测试，不知道能否达到跟ImageNet最好结果差不多的效果。

　　下面对ResNet的模型进行简单的介绍。

　　ResNet的原理如下：

　　首先假设我们简单的一层：输入——>中间层——>输出。那么假设中间层的函数为F(x)，我们得到的结果就是F(x)。那么对于ResNet，我们假设我们要拟合的函数为H(x)，我改变了一种方式，我将输入跳过中间层，直接与输出相连。如图：（论文原图）。

　　即我们的F(x)是由这个公式得到的：F(x):=H(x)-x。也就是说，我们要拟合的函数是H(x)=F(x)+x。上述是一个简单的例子，在实际过程中，这H(x)等式右边的这两个分量是可以加上参数的。最终的公式为：Ws还有一个目的就是调整x的纬数，也就是当输入与输出纬数不相同时，Ws要负责将二者的纬数变为相同。

　　那么这样做有什么好处？在之前的实验中，研究者们发现，理论上来说，一个层数越多的神经网络，那么它所能拟合的函数就越复杂，得出的错误率就应该越小，但是研究者们得出的结论却并不是这样。如图：                                                                                  

　　在20-Layer和56-Layer的比较中发现，56 -Layer无论是Training error还是Test error都明显高于20-Layer，这与理论上的关系并不符合。这个问题叫做degradation problem。这个问题表示了不是所有的函数都是很容易去优化的。

　　所以这个方法直接将x加到输出端，在理论上来说，如果这个Identity项是最优的，那么旁边的非线性层的参数应该全部为0，然后一层Identity Mapping就代表了最优函数，但是通常情况下，这个x不是最优的，但是通常情况下，如果Identity Mapping接近于最优函数，那么这一项可以很好的帮助优化。他对于更深层的网络传递到后来的误差就会越小。

　　在我这次的实验中，采用了ResNet-50的模型。整个模型可参考：http://ethereon.github.io/netscope/#/gist/db945b393d40bfa26006

　　这里我拿出一个部分进行介绍：

　　在这是第一个Res层，最上面是一个输入层，紧接着一个MaxPooling。res2a_branch代表的是卷积层，BN代表的是BatchNormalization。在这里作者对Identity项也进行了一次卷积操作。这个卷积操作是1*1的卷积。在原文中，作者介绍了当输入输出纬数不同时，有两种选择：选择A，如果纬数不同，那么多余的纬数采用zero-padding，这样不会增加参数。选择B，如果纬数不同，那么采用1*1卷积来将纬数保持平衡。

在这个模型中采用的是选择B。

　　当纬数相同的时候，输入是直接接到输出的，是没有左边这个模块的。

　　经过测试，在训练相同时间（十余个小时）的情况下，VGG最高到92%，ResNet-50的TOP1为6%。

　　全文参考Deep Residual Learning for Image Recognition，作者：Kaiming He Xiangyu Zhang Shaoqing Ren Jian Sun。

　　附torch实现代码https://github.com/KaimingHe/deep-residual-networks