CNN学习笔记：卷积神经网络

CNN学习笔记：卷积神经网络

卷积神经网络

基本结构

　　卷积神经网络是一种层次模型，其输入是原始数据，如RGB图像、音频等。卷积神经网络通过卷积（convolution）操作、汇合（pooling）操作和非线性激活函数的映射等一系列操作的层层堆叠，将高层语义信息逐层由原始信息中抽取出来，逐层抽象。

　　将信息逐渐抽象出来的过程称为前馈运算（Feed-Forward）。通过计算预测值与真实值之间的误差和损失，凭借反向传播算法（Back-Propagation algorithm）将误差或损失由最后一层逐层向前反馈，更新每层参数，并在更新参数后再次前馈，如此反复，知道网络模型手链，从而达到模型训练的目的。

减少参数

　　在图像处理中，往往把图像表示为像素的向量，比如一个1000*1000大小的图像，可以表示为一个1000000的向量。如果隐藏层数目和输入层一样的话，那么输入层到隐藏层的参数数据为10的12次方，数据量太大，几乎无法训练。所以图像处理第一步首先必须减少参数。

感受野

　　降低参数数目的第一种方法叫做局部感知野。一般认为人对外界的认识是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因为，每个神经元其实并没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息总和起来就得到了全局信息。

　　如下图的3*3步长为1卷积操作为例，相邻两层中后层神经元在前层的感受野仅为3×3，但随着卷积操作的叠加，第L+3层的神经元在第L层的感受野可扩增至7×7。

　　

　　也就是说，小卷积核通过多层叠加可取得与大卷积核同等规模的感受野，此外还有两个优势：

　　1、由于小卷积核需要多层叠加，加深了网络深度进而增强了网络容量。

　　2、增加了网络容量的同时减少了参数的个数。

前馈运算

反馈运算

　　卷积神经网络依赖最小化损失函数来学习模型参数，神经网络模型不仅是非凸函数而且异常复杂，该情形下，一般采用随机梯度下降法和误差反向传播进行模型参数更新。

　　具体来讲，在卷积神经网络求解时，常采用批处理的随机梯度下降法，批处理的随机梯度下降法在训练模型阶段随机选取n个样本作为一批样本（batch），先通过前馈运算得到预测并计算器其误差，后通过梯度下降法更新参数