Deep Learning综述[下]
Image understanding with deep convolutional networks
直到2012年ImageNet大赛之前,卷积神经网络一直被主流机器视觉和机器学习社区所遗弃。2012年ImageNet大赛上卷积神经网络用来识别1000种分类的近100万张图片,错误率比之前大赛的最好成绩降低了近一半。
基于卷积神经网络视觉系统的表现引起了大多数技术公司的注意,包括Google、Facebook、Microsoft、IBM、Yahoo!、Twitter 和Adobe等。
许多公司包括NVIDIA、Mobileye、Intel、Qualcomm 和Samsung正在开发卷积神经网络芯片,支持在智能手机、数码相机、机器人和自动驾驶上的实时视觉应用。
Distributed representations and language processing
与不使用分布式特征表示的传统学习算法相比,深度学习理论表明深度网络有两个巨大的优势。这两个优势来源于它的组成、依赖于具有合理结构的底层数据的分布特征。
- 学习分布式特征表示能通过训练过程中学到特征重新组合形成新的特征;
- 深度网络中特征表示组成的网络层是另一个指数级的优势;
Recurrent neural networks
RNN(递归神经网络)适用于序列化输入,如语音和语言。
RNNs一次处理一个输入序列元素,同时维护网络中隐单元中的“状态向量”,这个向量隐式地包含过去时刻序列元素的历史信息 。
由于递归神经网络的架构和训练方法的特点,RNNs在预测文本中的下一个字符或序列中的下一个单词这两个方面具有很好的表现,当然RNNs也可以应用于更加复杂的任务中。
RNNs一旦展开,可以把它当做一个所有层共享权值的前馈神经网络。虽然它们的目的是学习长期的依赖性,但理论上和经验上的证据都证明很难学习并长期保存信息。
为了解决这个难题,自然而然地想到要增大网络的存储量。于是提出采用了特殊隐单元的LSTM,能长期保存输入。
The future of deep learning
无监督学习对于重新点燃深度学习的热潮起到了促进的作用。
有监督学习比无监督学习更加成功。
但是在人类和动物的学习中无监督学习占据主导地位:我们通过观察能够发现世界的内在结构,而不是被告知每一个客观事物的名称。
计算机视觉结合ConvNets和RNNs,采用增强学习来决定走向。
将来,深度学习将会对自然语言理解产生重大影响。我们预测那些利用了RNNs的系统将会更好地理解句子或者整个文档,当它们选择性地学习了某时刻部分加入的策略。
最终,在人工智能方面取得的重大进步将来自那些结合了复杂推理表示学习的系统。
无监督学习;计算机视觉;自然语言处理;
Deep Learning综述[下]的更多相关文章
- 机器学习(Machine Learning)&深度学习(Deep Learning)资料(下)
转载:http://www.jianshu.com/p/b73b6953e849 该资源的github地址:Qix <Statistical foundations of machine lea ...
- Deep Learning综述[上]
Deep-Learning-Papers-Reading-Roadmap: [1] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Dee ...
- 【深度学习Deep Learning】资料大全
最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books by Yoshua Bengio, Ian Goodfellow and Aaron C ...
- 机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)---#####注:机器学习资料[篇目一](https://github.co ...
- Paper List ABOUT Deep Learning
Deep Learning 方向的部分 Paper ,自用.一 RNN 1 Recurrent neural network based language model RNN用在语言模型上的开山之作 ...
- Deep Learning方向的paper
转载 http://hi.baidu.com/chb_seaok/item/6307c0d0363170e73cc2cb65 个人阅读的Deep Learning方向的paper整理,分了几部分吧,但 ...
- #Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet
CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服.当时有流传的段 ...
- (转)深度学习(Deep Learning, DL)的相关资料总结
from:http://blog.sciencenet.cn/blog-830496-679604.html 深度学习(Deep Learning,DL)的相关资料总结 有人认为DL是人工智能的一场革 ...
- deep learning 经典网络模型之Alexnet、VGG、Googlenet、Resnet
CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服.当时有流传的段 ...
随机推荐
- iOS设计模式 - 模板
iOS设计模式 - 模板 原理图 说明 定义一个操作中的算法的骨架,而将步骤延迟到子类中.模板方法使得子类可以不改变一个算法的结构即可重定义算法的某些特定步骤. 源码 https://github.c ...
- [翻译] WPAttributedMarkup
WPAttributedMarkup https://github.com/nigelgrange/WPAttributedMarkup WPAttributedMarkup is a simple ...
- [翻译] DBCamera 轻量级定制摄像头
DBCamera 轻量级定制摄像头 https://github.com/danielebogo/DBCamera DBCamera is a simple custom camera with AV ...
- Git提交代码自动触发JenKins构建项目
1.需求场景 用户提交代码后自动触发jenkins构建项目 流程图如下: 2.JenKins安装Gitlab Hook Plugin插件 3.JenKins配置 4.Gitlab Hook Plugi ...
- 使用Vundle管理Vim插件
附:仓库地址 附:我自用的vim配置文件,里面注释很多,仅供参考. Vundle是一款Vim的插件管理软件(Linux),用起来很方便的原因有几点: 支持插件超多,可以来源于github.Vundle ...
- 第二次作业 APP分析
第一部分 调研, 评测 1.下载软件并使用. 今天我要分析的软件app是UC浏览器这个软件,UC浏览器的用户群体还是挺多的,作为一款主流之一的浏览器APP,整体的用户体验还是很好的.简洁的界面还有中间 ...
- 第二次作业--APP案例分析
网易云音乐APP分析 第一部分 调研, 评测 1.APP打开界面简洁,一进入APP便能看到APP推荐的歌单,再使用的时候可以更多的了解新的歌曲 2.APP顶部分为三个板块为音乐管理.音乐推荐(音乐推荐 ...
- JS传递函数并且调用
封装的函数: function getDataByJsonP(methName, inData, fn) { // 这里fn可以直接传入函数名字 $.ajax({ url: '', //请求的url地 ...
- 【错误记录】uwsgi 启动 flask 出错
在测试环境使用uwsgi启动flask未成功 正常报错信息: *** Starting uWSGI 2.0.13.1 (64bit) on [Fri Sep 23 09:27:47 2016] *** ...
- 《Python核心编程》笔记
1 python是大小写敏感的 2 遍历一个字典的键值: for a in dict_obj.keys(): print a 3 列表解析功能可以让代码很简洁,比如:squared = [x ** 2 ...