0.读书笔记之The major advancements in Deep Learning in 2016

　　

The major advancements in Deep Learning in 2016

　　地址：https://tryolabs.com/blog/2016/12/06/major-advancements-deep-learning-2016/

　　主要挑战是unsupervised learning 无监督学习，2016年大量的研究专注于generative models 生成模型。几大巨头谷歌和脸书分别创新于自然语言处理NLP。

无监督学习

　　无监督学习指的是在没有额外信息的新数据中，提取数据模式和结构。以往的经典解决办法是自动编码(autoencoders)，主要包含多层感知机(multilayer perceptron MLP)：输入和输出具有相同的大小，隐层训练用来覆盖输入。从隐层得到的输出能够用来聚类，降维，提高监督分类甚至是数据压缩。

对抗式网络generative adversarial Networks GANs

　　基于生成模型下的新方法：对抗式网络。它能够使模型处理成无监督学习。Yann LeCun认为对抗式网络将会是机器学习未来20年最重要的ideal

　　lan Goodfellow在2014年就已经提出了GANs这个概念，然而直到2016年才开始展现它真正的潜力。Deep Convolutional GAN结构能够提高训练技术和更好的结构水平。它能够调和原来神经网络的一些限制，稍后介绍的新应用也会有大幅度的灵活性提高。

The intuitive idea

　　GANs有两个网络模型，生成模型generator model G，判别模型discriminatory model D，G生成的结果意图混淆D，使其分不清楚是真实样本还是虚假样本。在GANs中，G 会生成输出，D来判断是否来自于同一个训练集。

　　G会产生一定的noise Z，D将会从数据集中获得输入D(x)，从G中获得输入D(G(Z))，将其进行分类。D和G同时进行学习，一旦G训练成功，那么G就能产生和训练集有相似特性的新样本。新样本从细节中来看虽然不像原始训练集一样，但是仍然可以捕获到一些具体地方面能够使其看起来似乎来自图片集。

infoGAN

　　最近有关于GANs的一些设想已经不仅仅是近似数据分布问题，还有学习可翻译的有用处的数据代表向量。这就是信息对抗式网络。这些向量代表需要有丰富的信息，同时需要可理解。意味着我们可以区别从G模型产生的输出形状转换类型的部分向量。infoGANs模型是由八月的时候openAI研究者所提出来的，果壳中，infoGAN能够从无监督方式中产生数据集的具体信息。例如，应用在MNIST 数据集中的时候，在没有手动标记的数据中，能够推断出旋转数字的类型和产生样本的宽度。

conditional GANs

　　GANs的另一个扩展就是转换对抗式网络cGAN，这个模型所产生样本能够有额外信息（分类标签，内容，另一个图片），在使用这个模型能够强化G所产生的输出类型。这个模型已经应用在某些应用中了：

在图片添加文本内容：所产生的图片基于图片中的描述(用CNN或者LSTM来产生解码向量)所作为的额外信息。论文：Generative Adversarial Text to Image Synthesis (Jun 2016).

图片与图片之间的转换：将输入图片和输出图片进行相关映射。论文：Image-to-Image Translation with Conditional Adversarial Nets (Nov 2016).

超分辨率：从网上下载的不太清晰的图片，经过生成器的处理后尽量使得图片能够有比较自然的细节版本，论文：Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (Nov 2016).

You can check more about generative models in this blog post or in this talk by Ian Goodfellow.

Natural Language Processing  NLP

　　为了能够与机器进行流利地交流，首先需要解决以下问题：文本理解，问答，机器转换。

文本理解：JMT建立了一个单一模型，能够学习5大NLP任务。语音部分标记，分词，从属语法解析，语义相关性，文本蕴含。这个模型最大的魅力在于端到端可训练模式。意味着不同层之间可以进行合作，从而在底层任务中提高结果。这是一个突破点:利用高层能力提高底层结果。

问答:新应用模型：Dynamic Coattention Network(DCN)动态共注意网络。是选择在阅读text后再回答问题，还是先看问题再阅读text，如果选择A，则会详细注意text的每一个细节以防后面的问题、DCN做同样的事情，根据文档产生一系列代表问题并且试图做出解答，之后再可能的答案里进行收敛到最终答案。

机器翻译：九月份谷歌提出了一个新模型：Google neural machine translation GNMT，这个模型主要是训练语言翻译对象，比如说中文翻译至英文。能够启动zero-shot translation，零翻译即可以翻译一对并没有训练过的语言。

Community

　　机器学习技术能够有利于社区。openAI是一个创建于2015年，将学术与工厂结合的无利润组织。创办动机来源于希望将AI技术能够让更多人的受益，同时避免有AI超级力量的产生。另一个方面，Amazon,deepmind,google,facebook ,IBM，微软。在这个先进公共领域的理解中，需要有支持开放性平台进行讨论。

十大开源工具：

• TensorFlow by Google.
• Keras by François Chollet.
• CNTK by Microsoft.
• MXNET by Distributed (Deep) Machine Learning Community. Adapted by Amazon.
• Theano by Université de Montréal.
• Torch by Ronan Collobert, Koray Kavukcuoglu, Clement Farabet. Widely used by Facebook.