CNN归纳偏好

出处：Transformer为何能闯入CV界秒杀CNN？

CNN 中的卷积运算由于使用了两个重要的空间约束，从而有助于视觉特征的学习和提取：

• 由于 CNN 权重共享机制，卷积层所提取的特征便具有平移不变性，它们对特征的全局位置不感冒，而只在乎这些决定性的特征是否存在。
• 由于卷积算子的性质，所以卷积的特征图具有局部敏感性,也就是每次卷积操作只会考虑原始数据的一小部分的局部信息。

正是由于此，CNN 的归纳偏差缺乏对输入数据本身的整体把握。它很擅长提取局部的有效信息，但是没能提取全局数据之间的长距离特征。比如，当我们使用 CNN 去训练一个人脸识别模型时，卷积层可以有效的提取出眼睛大小、鼻子翘不翘、嘴巴颜色等小器官的特征，但是无法将他们联系起来，无法形成"眼镜在鼻子上"、"嘴巴在眼睛下面"的这种长距离的特征。因为每个卷积核都很局部，没办法同时处理这么多个特征。为了提取和跟踪这些原始数据中的长相关特征，模型需要扩大自己的感受野，这就需要使用一些更大的卷积核，以及更深的卷积。但是由此会带来计算效率的大幅下降，会让模型的复杂度剧烈上升，甚至会让模型产生维度灾难从而无法收敛训练。