Dropout----Dropout来源

目录

• 一、简单介绍及公式
• 二、为什么dropout有效-原因定性分析
  • 2.1 ensemble论
    • 2.1.1 ensemble
    • 2.1.2 动机：联合适应（co-adapting）
    • 思考：
    • 2.1.3 推论和小技巧
  • 2.2 噪音派
• 四、缺点

---

一、简单介绍及公式

Dropout是深度学习中强大的正则化方法。过程很简单：在训练时候，随机的挑选一些节点参与预测和反向传播，当test时候，全部节点参与，但是权重要乘以留存概率p。数学实现是：

\[z_i^{l+1} = f(W_i^{l}*B(p)*z^{l}+b_i^{l})
\]

其中，\(z_i^{l+1}\)表示l+1层的某个节点，\(z^{l}\)表示l层的一个整层。\(B(p)\)表示概率为p的二项式概率分布函数。\(W_i^{l}\)表示\(z_i^{l+1}\)的权重矩阵。\(b_i^{l}\)表示\(z_i^{l+1}\)的偏置向量。

与标准网络相比，只是多了一个二项式函数。

在traing阶段，与标准网络对比如下图，

二、为什么dropout有效-原因定性分析

关于Dropout有效的原因，大多数都是在定性分析，并没有太多的定量分析，以下是一些观点。

首先是Nitish Srivastava的观点《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》。

2.1 ensemble论

2.1.1 ensemble

这个是Nitish Srivastava的《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》原文的观点。通常比较好的缓解过拟合的方法是ensemble（类似随机森林的方法），但是训练神经网络很费时间和金钱（这篇文章是14年前出来的，算力确实不怎么够），所以ensemble好像是不成。但是假如，退一步，如果我们在训练时候随机去掉部分节点，那么就好像我们每次都在训练一个个独立的新网络，网络训练好之后，就可以看做共享部分节点的N多个神经网络ensemble在一起了。这个观点有点牵强。

2.1.2 动机：联合适应（co-adapting）

试想，50个恐怖分子搞破坏，如果是50人一起去搞破坏，搞了一两次破坏后，容易被团灭。如果是5人一组，分成10组，搞得破坏次数就能增加很多。前者就是co-adapting，后者是相对来说集中性小，联合性弱，适应能力更加强。

自然界中，细菌病毒这类的，它们是无性繁殖，DNA或者RNA是自我复制的。另外一种是有性繁殖，每次都需要交叉母本和父本的DNA，生成子代的DNA。前者面对的环境简单，不求生存率，所以每次基本很少变异，遗传物质是大段大段的拷贝的，可以认为很多碱基对联合一起工作的。后者，面对的环境复杂，遗传物质多，所以将功能拆分到许许多多的小基因片段中，是相对小联合一起工作。

现在回到神经网络中，那么多的神经节点一起工作，那么不是就很容易就又大规模co-adapting的吗？而dropout后，肯定缩小co-adapting的规模。所以dropout减少了其co-adaping。

思考：

如果我们造一些很窄的网络，然后ensemble在一起如何，会不会以后dropout那么好？

猜想：应该不是的，1)神经网络更深更宽，能力更加强悍，窄网络可能会有泛化能力不足的问题。2)多个窄网络训练起来比较费时间。

2.1.3 推论和小技巧

dropout是正则的一种，用于治疗过拟合的。经过上面的介绍，应该有些简单的推论：

• 因为是ensemble，所以dropout=0.5的时候效果最好，因为这样随机性最大。调训的N个网络，最不一样。
• 可以用于治疗数据量不足引起的过拟合，但是对于其他类型的过拟合不适用。
• 治疗过拟合，数据集越大，dropout效果越好。（其他的正则化方法也存在这类）
• 与其他方法搭配更好：soft-weight sharing, max-norm regularization等

2.2 噪音派

dropout可以拿来做数据增强（Data Augmentation），而其之所以有效是因为在训练数据中加了噪音。

• 不明白点1：dropout后，样本空间变小了，样本数量不应该变少了吗？为什么还能达到数据增多的效果？

当样本集是非线性空间的时候，使用一系列的局部特征，会使预测更加稳定。dropout能够造成稀疏性。确实，因为他们在学习过程中，去掉了某些节点，也就是置0，那么结果是很多时候生产的向量具有一定的稀疏性。dropout能够帮助学习到更多的局部特征。

• 不明白点：当样本集是非线性空间的时候，使用一系列的局部特征，会使预测更加稳定。

• 不明白点：dropout由固定值变为一个区间，可以提高效果

• dropout学习出来的特征向量具有稀疏性

• 待做实验：试验中，纯二值化的特征的效果也非常好，说明了稀疏表示在进行空间分区的假设是成立的，一个特征是否被激活表示该样本是否在一个子空间中。

四、缺点

• dropout后训练时间更长，2-3倍