深度学习与NLP简单应用

在深度学习中，文本分类的主要原型：Text  label，坐边是输入端“X”，右边是输出端“Y”。行业baseline：用BoW（bag of words）表示sentences（如何将文本表达成一个数字的形式），然后用LR或者SVM做回归。
中英文做自然语言处理主要区别，中文需要分词（启发式Heuristic, 机器学习、统计方法HMM、CRF））
深度学习：从端到端的方式，以不掺和人为的计算，从X到Y暴力粗暴的学习。通过很隐层（包含大量线性和非线性的计算）试图模拟数据的内在结构。
新手推荐用kreas，它下面有两个底层，一个是theano，一个是tensorflow，可以自由转换backend也就是说可以让它跑在theano底下，也可以跑在tensorflow底下，它把其他几个深度学习框架综合起来成一种。
关于自然语言相关的库，gensim https://radimrehurek.com/gensim/
一、 Auto-Encoder自编码器
应用场景：无标签的时候需要使用；就算有标签的情况下一本书的内涵太多太大，你希望降维，使得其在后面模型处理中能够接受；
自编码是自己学习自己，通过encoder压缩成一个中继量，目的是希望这个中继量可以通过下一把完全反向的encoder，返回成原本的Input。这里面没有用到任何的label，而是照片2本身和照片2本身，中间加了两个对立漏斗形的神经网络。最后我们可以取中间那个更小的中继量代替原来的图片（因为它可以decoder回原来的图片）。
实现了不用人为提取特征向量。
只能达到局部最优点，无法达到全局最优点。
距离的计算，文本上常用列文斯坦距离，从A变B需要多少步。或者把整个文本表达为矩阵向量，词向量的距离可以用cosine距离等。

二、 CNN4Text（卷积+text）
卷积神经网络，用简单的例子解释，就是手机上的修图软件，拍的照片给个滤镜，照片是不是就长得不一样了，cnn就是用很多滤镜给我原始的图片，进行照耀，照完之后会得到在不同滤镜下的显示形式，这些显示形式也许就暗含这些图片的一些特征。 通过滤镜扫过之后得到新的featureMap我们称为convolved feature。滤镜是怎么得到的呢，是人为初始化一个滤镜，通过之后无数次的学习来更新这个滤镜值，使得这个滤镜值是最好的能提取出fetureMap的滤镜。（加号老师讲）右下图，左边是模糊，右边是边缘化。
 

如何迁移到文字处理？
1.把每个单词处理成一个横向的向量，就把句子拓展成了类似图片的表达式，

2.把sentence变成1维的，

案例

三、 RNN（带记忆）
Rnn的目的是让有sequential关系的信息得到考虑，St是基于这一个时间点的input和上一个时间点的记忆，然后St再乘以output weight V得到最终输出。
如果Rnn的长度不能记忆几天前的S的话，它的上下文处理能力还是为0，因为它还是不知道你的上下文前提是什么，因此需要LSTM。
四、 LSTM（带记忆）

通过各种运算符号和规则使得整个神经网络里面每个神经网络都能记得一点东西，又会及时的忘记一些东西，使得我记忆的距离能够变得够长。（RNN是一个叠加的过程，下一个永远基于上一个，就会变得非常大和慢）
长效记忆网络，把记忆长效的保留下来。

LSTM中最重要的就是Cell State(记忆纽带) S，它一路向下，贯穿整个时间线，代表了记忆的纽带。它会被XOR（遗忘层处理）和AND（记忆处理）运算符搞一搞来更新记忆，通过这两个运算来知道要记得什么和忘掉什么。

而控制信息的增加和减少的，就是靠这些阀门：Gate，阀门就是输出一个1和0之间的值，1代表把这一趟的信息记着，0代表这一趟的信息可以忘记了。有些记忆比较久的还需不需要留着。

最后得到记忆纽带Ct

五、 案例
可以用在不同的维度上：
维度1：下一个字母是什么？
维度2：下一个单词是什么？
维度3：下一个句子是什么？
维度4：下一个图片、音符是什么？
LSTM案例