深度学习中的batch的大小对学习效果的影响

Batch_size参数的作用：决定了下降的方向

极端一：

batch_size为全数据集(Full Batch Learning)：

好处：

1.由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。

2.由于不同权重的梯度值差别巨大，因此选择一个全局的学习率很困难。Full Batch Learning可以使用Rprop只基于梯度符号并且针对性单独更新各权值。

坏处：

1.随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。

2.以Rprop的方式迭代，会由于各个Batch之间的采样差异性，各次梯度修正值相互抵消，无法修正。

极端二：

Batch_size=1:

Batch_size=1，也就是每次只训练一个样本。这就是在线学习(Online Learning)。线性神经元在均方误差代价函数的错误面是一个抛物面，横截面是椭圆。对于多层神经元，非线性网络，在局部依然近似是抛物面。使用在线学习，每次修正方向以各自样本的梯度方向修正，难以达到收敛。

选择适中的Batch_size值：

也就是批梯度下降法。因为如果数据集足够充分，那么用一半，甚至少得多的数据训练算出来的梯度与用全部数据训练出来的梯度几乎是一样的。

在合理范围内，增大Batch_size的好处：

1.提高了内存利用率以及大矩阵乘法的并行化效率。

2.减少了跑完一次epoch(全数据集）所需要的迭代次数，加快了对于相同数据量的处理速度。

盲目增大Batch_size的坏处：

1.提高了内存利用率，但是内存容量可能不足。

2.跑完一次epoch(全数据集)所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加，从而对参数的修正也就显得更加缓慢。

3.Batch_size增大到一定程度，其确定的下降方向已经基本不再变化。

调节Batch_size会如何影响训练效果？

实验：使用不同的batch_size，在LeNet上训练Ｍnist数据集的效果。使用的框架为Theano。

运行结果表明：

1.Batch_Size太小，算法在200 epochs内不收敛。

2.随着Batch_Size增大，处理相同数据量的速度加快。

3.随着Batch_Size增大，达到相同精度所需要的epoch的数量增多。

4.由于上述两种因素的矛盾，Batch_Size增大到某个时候，达到时间上的最优。

5.由于最终收敛精度会陷入不同的局部极值，因此Batch_Size增大到某些时候，达到最终收敛精度上的最优。

在实际过程中，该如何选择呢？

一般而言，根据GPU显存，设置为最大，而且一般要求是８的倍数（比如32，128），这样，GPU内部的并行计算效率最高。

或者，选择一部分数据，设置几个８的倍数的Batch_Size，看看loss的下降情况即可。

其他经验之谈

知乎用户：理论上说batch_size=1是最好的，不过实际上调的时候，会出现batch_size太小导致网络收敛不稳定，最后结果比较差。而batch_size太大会影响随机性的引入。

江河：

1.batch_size设的大一些，收敛得块，也就是需要训练的次数少，准确率上升的也很稳定，但是实际使用起来精度不高。

2.batch_size设的小一些，收敛得慢，可能准确率来回震荡，因此需要把基础学习速率降低一些，但是实际使用起来精度较高。

一般尝试batch_size=64或者batch_size=1两种情况。

总结：对于新手而言，在GPU内存足够的情况下，结合样本大小，可以尝试batch_size为8，16，32，64等.