【论文笔记】CNN for NLP

什么是Convolutional Neural Network（卷积神经网络）？

　　最早应该是LeCun(1998)年论文提出，其结果如下：运用于手写数字识别。详细就不介绍，可参考zouxy09的专栏，主要关注convolution、pooling，个人理解是这样的，convolution是做特征检测，得到多个feature maps，而pooling是对特征进行筛选，提取关键信息，过滤掉一些噪音，另一方面是减少训练参数。

Single Layer CNN

　　与图像处理不同，对于自然语言处理任务来说，输入一般是用矩阵表示的句子或文档。对于句子矩阵，每一行表示一个单词，每个词可以用向量表示（word2vec or GloVe, but they could also be one-hot vectors）。下面介绍一种简单的cnn结构，一层convolution+一层pooling。来自Yoon Kim(2014)的论文。

　　该CNN很简单，共分四层，

　　第一层是词向量层，doc中的每个词，都将其映射到词向量空间，假设词向量为k维，则n个词映射后，相当于生成一张n*k维的图像；

　　第二层是卷积层，多个滤波器作用于词向量层，不同滤波器生成不同的feature map；

　　第三层是pooling层，取每个feature map的最大值，这样操作可以处理变长文档，因为第三层输出只依赖于滤波器的个数；

　　第四层是一个全连接的softmax层，输出是每个类目的概率。除此之外，输入层可以有两个channel，其中一个channel采用预先利用word2vec训练好的词向量，另一个channel的词向量可以通过backpropagation在训练过程中调整。

　　这样做的结果是：在目前通用的7个分类评测任务中，有4个取得了state-of-the-art的结果，另外3个表现接近最好水平。

　　首先做一些符号说明：输入是词向量Xi（长度是k），句子向量Xi:n是词向量的级联（拼接成长向量），filter是w,可看成一个滑动窗口，这里的w是向量，长度是hk（滑动窗口包含h个词）。

　　Convolution：卷积操作，f是激活函数，ci表示卷积得到的特征。通过滑动filter w，与句子所有词进行卷积，可得到feature map 

　　

　　Pooling：使用max-pooling获得feature map中最大的值，然后使用多个filter获得不同n-grams的特征。

　　Multi-Channel：这里很有意思，输入句子时，使用两个通道（channel，可以认为是输入copy一份），都用word2vec初始化，其中一个词的向量保持不变（static），另一个是non-static，在BP过程不断修改，最后再pooling前对两个通道得到的卷积特征进行累加。

　　Classification：通过pooling，得到句子最后的特征向量，然后直接用softmax进行分类。