深度学习中的Dropout

dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。

dropout是CNN中防止过拟合提高效果的一个大杀器，但对于其为何有效，却众说纷纭。
---------------------
作者：张雨石
来源：CSDN
原文：https://blog.csdn.net/stdcoutzyx/article/details/49022443
版权声明：本文为博主原创文章，转载请附上博文链接！

如果要训练一个大型的网络，训练数据很少的话，那么很容易引起过拟合(也就是在测试集上的精度很低)，可能我们会想到用L2正则化、或者减小网络规模。然而深度学习领域大神Hinton，在2012年文献：《Improving neural networks by preventing co-adaptation of feature detectors》提出了，在每次训练的时候，让一半的特征检测器停过工作，这样可以提高网络的泛化能力，Hinton又把它称之为dropout。
---------------------
作者：hjimce
来源：CSDN
原文：https://blog.csdn.net/hjimce/article/details/50413257
版权声明：本文为博主原创文章，转载请附上博文链接！