CV之各种不熟悉但比较重要的笔记

解析：

skip connection 就是一种跳跃式传递。在ResNet中引入了一种叫residual network残差网络结构，其和普通的CNN的区别在于从输入源直接向输出源多连接了一条传递线，这是一种identity mapping，也就是所谓的恒等映射，用来进行残差计算。这叫是shortcut connection,也叫skip connection。其效果是为了防止网络层数增加而导致的梯度弥散问题与退化问题。

https://cloud.tencent.com/developer/news/221146

　　观察精准度的走势，随着网络层加深，精准度先是达到一个峰值，然后持续走低。误差是普遍存在的，无论是训练集还是验证集，随着误差的传播，越往后误差越大，所以越深的网络效果可能并不会很好。按照信息熵的传播原理，信息在传播的过程中是有损失的，所以越深的网络能够学到的信息就越少，所以就更难训练。另一个比较严谨的解释，因为神经网络在求梯度的时候有个链式法则，求解梯度时会有累乘造成了梯度弥散或者爆炸。

这里写图片描述

　　所以越深的网络越难训练，且效果可能会变差。有什么办法可以寻找到一个最佳深度网络模型呢？如果我持续加深那么误差会变大，影响模型效果，并且也不清楚到底加多少层才是最佳。有没有一种方式，我可以持续加深网络？即使模型精确度已经饱和，我持续加深也不会对模型精准度有影响？答案是有的，这

　　个时候引出ResNet网络，它是这样的，假设现有一个比较浅的网络（Shallow Net）已达到了饱和的准确率，这时在它后面再加上几个恒等映射层（Identity mapping，也即y=x，输出等于输入），这样就增加了网络的深度，并且起码误差不会增加，也即更深的网络不应该带来训练集上误差的上升。通过“shortcut connections（捷径连接）”的方式，直接把输入x传到输出作为初始结果，输出结果为H(x)=F(x)+x，当F(x)=0时，那么H(x)=x，也就是上面所提到的恒等映射。于是，ResNet相当于将学习目标改变了，不再是学习一个完整的输出，而是目标值H(X)和x的差值，也就是所谓的残差F(x) = H(x)-x，因此，后面的训练目标就是要将残差结果逼近于0，使到随着网络加深，准确率不下降。

　　也就是说，即使我并不知道多少层是最佳，我通过残差模块，即使已经错过最佳深度我至少模型的精度不会有影响。起初看到这种网络模型很是奇怪，如果是一个浅层网络就能达到饱和，那么后面的残差结构目标是学习一个恒等映，那么学习目标为F(x)接近为0。既然这样，为什么要去学习这个映射？直接写个恒等函数，或者直接设置F(x)=0 输出为x不就行了？残差网络的目的是学到y=x恒等映射函数，那么不就相当于加上的残差网络在最后没起到作用吗？那么为什么会有效呢？首先这个饱和的浅层网络本身就不好寻找，有可能在达到饱和浅层网络深度之前，由于误差的原因模型精度已经下降。那么为什么持续增加层，让模型学习一个恒等映射就会使得模型表达变好呢？

　　假设：如果不使用残差网络结构，这一层的输出F'(5)=5.1 期望输出 H(5)=5 ,如果想要学习H函数，使得F'(5)=H(5)=5,这个变化率较低，学习起来是比较困难的。但是如果设计为H(5)=F(5)+5=5.1，进行一种拆分，使得F(5)=0.1，那么学习目标是不是变为F(5)=0，一个映射函数学习使得它输出由0.1变为0，这个是比较简单的。也就是说引入残差后的映射对输出变化更敏感了。进一步理解：如果F'(5)=5.1 ,现在继续训练模型，使得映射函数F'(5)=5。(5.1-5)/5.1=2%，也许你脑中已经闪现把学习率从0.01设置为0.0000001。浅层还好用，深层的话可能就不太好使了。如果设计为残差结构呢？5.1变化为5，也就是F(5)=0.1变化为F(5)=0.这个变化率增加了100%。引入残差后映射对输出变化变的更加敏感了，这也就是为什么ResNet虽然层数很多但是收敛速度也不会低的原因。明显后者输出变化对权重的调整作用更大，所以效果更好。残差的思想都是去掉相同的主体部分，从而突出微小的变化，看到残差网络我第一反应就是差分放大器。这也就是当网络模型我们已经设计到一定的深度，出现了精准度下降，如果使用残差结构就会很容易的调节到一个更好的效果，即使你不知道此刻的深度是不是最佳，但是起码准确度不会下降。代码实现也比较简单，原本的输出结果由F(x)替换为输出F(x)+X，如果维度相同则直接相加，如果维度不同则利用1*1的卷积核变换。

　　当然残差网络还有很多细节， 比如使用预batch normalize ,ResNet-v1 由relu非线性变换，替换为ResNet-v2恒等变换。感兴趣的童鞋，赶紧添加我的微信公共号一起讨论学习吧！

参考文章地址： 如何理解微软的深度残差学习？https://www.zhihu.com/question/38499534

残差resnet网络原理详解 https://blog.csdn.net/mao_feng/article/details/52734438

残差网络的理解 https://blog.csdn.net/m0_37407756/article/details/78852742