先上菜单:

摘要:

Deep neural nets with a large number of parameters are very powerful machine learning systems. However, overfitting is a serious problem in such networks. Large networks are also slow to use, making it difficult to deal with overfitting by combining the predictions of many different large neural nets at test time. (具有大量参数的深度神经网络是非常强大的机器学习系统。然而,在这样的网络中,过度拟合是一个严重的问题。大型网络的使用速度也较慢,因此在测试时结合许多不同大型神经网络的预测,很难处理过度拟合问题。)Dropout is a technique for addressing this problem.The key idea is to randomly drop units (along with their connections) from the neural network during training. (dropout是解决这个问题的一种方法。关键思想是在训练过程中从神经网络中随机删除单元(以及它们的连接)。This prevents units from co-adapting too much. During training,dropout samples from an exponential number of different “thinned” networks. At test time,it is easy to approximate the effect of averaging the predictions of all these thinned networks by simply using a single unthinned network that has smaller weights. (这就防止了单位过度的相互适应。在训练过程中,舍弃来自不同的指数级别的“稀疏”网络的样本。在测试时,只需使用一个权重较小的未减薄网络,就可以很容易地估计出所有这些变薄网络的平均预测效果。)This significantly reduces overfitting and gives major improvements over other regularization methods. We show that dropout improves the performance of neural networks on supervised learning tasks in vision, speech recognition, document classification and computational biology,obtaining state-of-the-art results on many benchmark data sets.(这大大减少了过度拟合,并对其他正则化方法进行了重大改进。实验结果表明,在视觉、语音识别、文档分类和计算生物学等方面,dropout都能提高神经网络在有监督学习任务中的性能,在许多基准数据集上都获得了最新的结果。)

Keywords: neural networks, regularization(正则化), model combination(模型组合), deep learning

先介绍一下本文结构:

本文的结构如下:第2节描述了这个想法的动机。第3节描述了以前的相关工作。第4节正式描述了dropout模型。第5节给出了训练dropout网络的算法。在第6节中,我们展示了我们的实验结果,我们将dropout应用于不同领域的问题,并与其他形式的正则化和模型组合进行了比较。第7节分析了dropout对神经网络不同性质的影响,并描述了dropout如何与网络的超参数相互作用。第8节描述了drop - RBM模型。在第9节中,我们探讨了边缘化dropout的概念。在附录A中,我们提供了一个训练dropout网的实用指南。这包括在训练drop - out网络时,选择超参数所涉及的实际考虑的详细分析。(背景部分:1-3节 ;方法部分:4-5节;实验及分析:6-7节;其他:8-10节;总结:11;附录:A-B)

(几个参考网站:

https://www.baidu.com/link?url=F-vklwp34FZsuOsiAw36yS2upENUfms5jn-R3VGUY3Pmhq210Q2c9K5N8YNN63BzYlCS9OPNUhl-eSms3QpNh9urQwhWo0HDis6G2MnoGm3&wd=&eqid=f9e01460000131a8000000055bceab97

https://blog.csdn.net/qq_25011449/article/details/81168369

https://blog.csdn.net/huplion/article/details/79208736

https://blog.csdn.net/u014422406/article/details/70257324?locationNum=2&fps=1

https://blog.csdn.net/lhc19940815/article/details/50907545

Dropout 下(关于《Dropout: A Simple way to prevent neural networks from overfitting》)的更多相关文章

  1. Dropout: A Simple Way to Prevent Neural Networks fromOverfitting

    https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf Deep neural nets with a large number of par ...

  2. Deep Learning 23:dropout理解_之读论文“Improving neural networks by preventing co-adaptation of feature detectors”

    理论知识:Deep learning:四十一(Dropout简单理解).深度学习(二十二)Dropout浅层理解与实现.“Improving neural networks by preventing ...

  3. 论文笔记系列-Simple And Efficient Architecture Search For Neural Networks

    摘要 本文提出了一种新方法,可以基于简单的爬山过程自动搜索性能良好的CNN架构,该算法运算符应用网络态射,然后通过余弦退火进行短期优化运行. 令人惊讶的是,这种简单的方法产生了有竞争力的结果,尽管只需 ...

  4. PyNest——Part1:neurons and simple neural networks

    neurons and simple neural networks pynest – nest模拟器的界面 神经模拟工具(NEST:www.nest-initiative.org)专为仿真点神经元的 ...

  5. DeepFool: a simple and accurate method to fool deep neural networks

    目录 概 主要内容 二分类模型 为线性 为一般二分类 多分类问题 仿射 为一般多分类 Moosavidezfooli S, Fawzi A, Frossard P, et al. DeepFool: ...

  6. [CS231n-CNN] Training Neural Networks Part 1 : parameter updates, ensembles, dropout

    课程主页:http://cs231n.stanford.edu/ ___________________________________________________________________ ...

  7. [Neural Networks] Dropout阅读笔记

    多伦多大学Hinton组 http://www.cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf 一.目的 降低overfitting的风险 二.原理 ...

  8. 机器学习之神经网络模型-下(Neural Networks: Representation)

    3. Model Representation I 1 神经网络是在模仿大脑中的神经元或者神经网络时发明的.因此,要解释如何表示模型假设,我们不妨先来看单个神经元在大脑中是什么样的. 我们的大脑中充满 ...

  9. 第六节,Neural Networks and Deep Learning 一书小节(下)

    4.神经网络可以计算任何函数的可视化证明 神经网络拥有一定的普遍性,即包含一个隐藏层的神经网络可以被用来按照任意给定的精度来近似任何连续函数. 这一章使用一个实例来阐述神经网络是如何来近似一个一元函数 ...

随机推荐

  1. Post请求JSON格式数据,cookies获得

    x.Ext.init(getApplication()); editText1= (EditText) findViewById(R.id.username); editText2= (EditTex ...

  2. Linux中设置vim自动在运算符号两边加上空格

    vim中设置自动在=+-之类的运算符号左右两边加上空格.原版的vim不带这个功能,写出的代码例如z=x+y,不美观,很多编译器(如VS)能够自动在符号两边加上空格,如z = x + y,看起来比较美观 ...

  3. ZBrush破解版下载,ZBrush中文版下载

    11月11日这个令人兴奋的日子又来了.没错,“双十一”所有网购达人狂欢的日子.但是ZBrush却让心心念念的小伙伴们失望了一把,本以为双十一期间会有相关活动的,结果,官方并未提及,事实上,ZBrush ...

  4. div基本组成要素

    title下面先清除固有格式 style{ *{ margin:0 auto padding:0 foant family } } div{ width height border backgroun ...

  5. 转载:常用 Git 命令清单

    转载:常用 Git 命令清单 原文地址:http://www.ruanyifeng.com/blog/2015/12/git-cheat-sheet.html  作者: 阮一峰 我每天使用 Git , ...

  6. 多进程Socket_Client

    from socket import * #导入套接字模块的所有命令import struct #导入struck模块,用于封装数据流长度# from functools import partial ...

  7. WoSign全球可信网站安全认证签章安装指南

    您购买了WoSign SSL证书后,将免费获得一个能直观地显示贵网站的认证信息的可信网站安全认证标识,能大大增强用户的在线信任,促成更多在线交易.所以,建议您在安装成功SSL证书后马上在网站的首页和其 ...

  8. Job for mysqld.service failed because the control process exited with error code

    启动MySQL时抛出: Job for mysqld.service failed because the control process exited with error code. See &q ...

  9. Laravel 多条件搜索查询

    做查询功能时,输入的关键词有的为空,有的有值,如何实现多功能查询呢?这里介绍一种方法.(基于laravel) 原理很简单,第一步:判断接收的值,第二步:写查询语句.具体实现如下: //首先,创建句柄: ...

  10. pytorch 6 build_nn_quickly 快速搭建神经网络

    import torch import torch.nn.functional as F # replace following class code with an easy sequential ...