『cs231n』卷积神经网络工程实践技巧_下

概述

计算加速

方法一：

由于计算机计算矩阵乘法速度非常快，所以这是一个虽然提高内存消耗但是计算速度显著上升的方法，把feature map中的感受野（包含重叠的部分，所以会加大内存消耗）和卷积核全部拉伸成为向量，组成两个矩阵相乘，再想办法恢复为输出的feature map。

方法二：

利用傅里叶变换的特性加速计算，思路来源于信号处理，只对大卷积核有效。

方法三：

思路来源于经典算法，用的人很少，老师也没怎么介绍，个人亦是不太感兴趣，需要的时候自己查资料吧。

总结：

比较简要的总结就是，如果真的需要自己实现卷积层的时候，那就使用im2col提高效率吧。

GPU/CPU

这一部分老师天南海北的扯了不少，中心思想就是：深度学习使用GPU分布式计算效果更好，英伟达伟光正（历史局限性问题，现在的谷歌的TPU貌似也有崛起的可能）。

不过下图还是展示了，即使GPU在并行计算领域效能非凡（相对应的CPU很擅长顺序处理），面对深度学习的海量数据计算还是力不从心，而且，好的GPU价格往往不菲（不是我吐槽，这是老师说的），

性能瓶颈

虽然GPU计算速度极其高效，但GPU和CPU数据相互拷贝过程还是会消耗大量时间

文件读取，比如打开批量jpg时，由于不同图片存放于硬盘不同位置，随机索引会消耗大量时间，而解压缩也会消耗大量时间，所以一般的做法是进行预处理，解压为顺序存储的像素文件，一般各个框架都有自己的标准文件格式

网瘾少年都知道，GPU么，内存越大（价格越贵）越好，(逃...

浮点类型

深度学习常使用单精度（32位）浮点数，

1.节省内存，可以存储更多的数据

2.更少的位数，更少的计算量，更快的运算速度

在课程中的程序中，由于numpy默认精度是64位，一般都给出了显示的类型转换。

实际上有很多16位的尝试，也有一些取得了不错的结果，但是16位的表示范围和精度是个问题，有人做过尝试：正常的16位运算由于误差积累较难收敛，如果运算结果使用高精度暂存，然后随机四舍五入（具体怎么随机不太明晰）的话，结果不错，还有人使用10位激活函数+12位参数更新的精度组合进行计算，结果也不错，还有极端人士使用1位（1或-1）进行计算，老师说很酷，我觉得这只是他的中性的口头禅吧... ...

总之，现在老老实实的使用32位即可，以后说不定会使用16位计算。

总结