4. 文本相似度计算-CNN-DSSM算法

1. 文本相似度计算-文本向量化

2. 文本相似度计算-距离的度量

3. 文本相似度计算-DSSM算法

4. 文本相似度计算-CNN-DSSM算法

1. 前言

之前介绍了DSSM算法，它主要是用了DNN的结构来对数据进行降维度，本文用CNN的结构对数据进行降维。

2. CNN-DSSM

CNN-DSSM在DSSM的基础上改进了数据的预处理和深度

2.1 CNN-DSSM架构

CNN-DSSM的架构图如下：

输入：\(Query\)是代表用户输入，\(document\)是数据库中的文档。

• word-n-gram层：是对输入做了一个获取上下文信息的窗口，图中是word-trigram，取连续的3个单词。
• Letter-trigram：是把上层的三个单词通过3个字母的形式映射到3w维，然后把3个单词连接起来成9w维的空间。
• Convolutional layer：是通过Letter-trigram层乘上卷积矩阵获得，是普通的卷积操作。
• Max-pooling：是把卷积结果经过池化操作。
• Semantic layer：是语义层，是池化层经过全连接得到的。

获得128维的语义后就可以计算文本之间的相似度了，计算相似度的过程和DNN-DSSM的过程是一样的。可以发现CNN-DSSM和DNN-DSSM基本流程是差不多的，就是用卷积和池化的操作代替了DNN的操作。

2.2 优缺点

• 优点：CNN-DSSM 通过卷积层提取了滑动窗口下的上下文信息，又通过池化层提取了全局的上下文信息，上下文信息得到较为有效的保留。

• 缺点：CNN-DSSM 滑动窗口（卷积核）大小的限制，导致无法捕获该上下文信息，对于间隔较远的上下文信息，难以有效保留。

3. 总结

CNN-DSSM的结构可分为数据预处理（把文本向量化），在经过深度神经网络，压缩矩阵，最后拿压缩后的矩阵进行相似度计算。和DNN-DSSM相比主要的变化在深度神经网络这一层的处理方式，举一反三那肯定也还有通过RNN来处理数据的过程，RNN-DSSM后面会载讲解。