Alexnet网络结构

最近试一下kaggle的文字检测的题目，目前方向有两个ssd和cptn。直接看看不太懂，看到Alexnet是基础，今天手写一下网络，记录一下啊。

先理解下Alexnet中使用的原件和作用：

激活函数使用了relu并用了多个cpu：提高了训练速度。

重叠pool池化（不再是简单除以2的池化了，类似于卷积的计算过程，不过同样还是减少了参数）：提高了精度，不容易产生过拟合。

局部响应归一化（Lenet网络的归一化实在最后一层，Alexnet网络前面几层都是在激活池化后用了softmax归一化）：提高精度

　　　局部响应归一化动机：神经学中有一个概念叫做侧抑制，即被激活的神经元抑制相邻神经元。归一化的目的是“抑制”，局部响应归一化就是借鉴侧抑制的思想来实现局部抑 　　　　　　　　制，尤其是使用RELU这种“侧抑制”很管用。好处：增强了泛化额能力，做了平滑处理，对局部神经元的活动创建了竞争机制，使得相应比较大的值相对更大，提高了模型泛化能力。（但是在后面的论文中提出lrn没什么卵用）

数据增益、dropout：减少了过拟合。

与以往网络相比创新点在于：

1.大数据训练，Alexnet在网络训练前，对图片进行了变换：平移变换、反射变换、光照和色彩变换。增加数据

2.多CPU训练，使用了两个CPU，因为单CPU存储空间小，所以使用两个。

3.LRN局部相应归一化。局部相应归一化有助于模型的泛化。不太懂这里，留个坑，请指教

4.重叠池化。

5使用dropout来避免过拟合。dropout的神经元既不参与前向传播也不参与反向传播

6非线性激活函数，relu