Deep Learning综述[下]

Image understanding with deep convolutional networks

直到2012年ImageNet大赛之前，卷积神经网络一直被主流机器视觉和机器学习社区所遗弃。2012年ImageNet大赛上卷积神经网络用来识别1000种分类的近100万张图片，错误率比之前大赛的最好成绩降低了近一半。

基于卷积神经网络视觉系统的表现引起了大多数技术公司的注意，包括Google、Facebook、Microsoft、IBM、Yahoo！、Twitter 和Adobe等。

许多公司包括NVIDIA、Mobileye、Intel、Qualcomm 和Samsung正在开发卷积神经网络芯片，支持在智能手机、数码相机、机器人和自动驾驶上的实时视觉应用。

Distributed representations and language processing

与不使用分布式特征表示的传统学习算法相比，深度学习理论表明深度网络有两个巨大的优势。这两个优势来源于它的组成、依赖于具有合理结构的底层数据的分布特征。

1. 学习分布式特征表示能通过训练过程中学到特征重新组合形成新的特征；
2. 深度网络中特征表示组成的网络层是另一个指数级的优势；

Recurrent neural networks

RNN(递归神经网络)适用于序列化输入，如语音和语言。

RNNs一次处理一个输入序列元素，同时维护网络中隐单元中的“状态向量”，这个向量隐式地包含过去时刻序列元素的历史信息 。

由于递归神经网络的架构和训练方法的特点，RNNs在预测文本中的下一个字符或序列中的下一个单词这两个方面具有很好的表现，当然RNNs也可以应用于更加复杂的任务中。

RNNs一旦展开，可以把它当做一个所有层共享权值的前馈神经网络。虽然它们的目的是学习长期的依赖性，但理论上和经验上的证据都证明很难学习并长期保存信息。

为了解决这个难题，自然而然地想到要增大网络的存储量。于是提出采用了特殊隐单元的LSTM，能长期保存输入。

The future of deep learning

无监督学习对于重新点燃深度学习的热潮起到了促进的作用。

有监督学习比无监督学习更加成功。

但是在人类和动物的学习中无监督学习占据主导地位：我们通过观察能够发现世界的内在结构，而不是被告知每一个客观事物的名称。

计算机视觉结合ConvNets和RNNs，采用增强学习来决定走向。

将来，深度学习将会对自然语言理解产生重大影响。我们预测那些利用了RNNs的系统将会更好地理解句子或者整个文档，当它们选择性地学习了某时刻部分加入的策略。

最终，在人工智能方面取得的重大进步将来自那些结合了复杂推理表示学习的系统。

无监督学习；计算机视觉；自然语言处理；