embedding与word2vec

embedding是指将目标向量化，常用于自然语言处理（如：Word2Vec）。这种思想的意义在于，可以将语义问题转换为数值计算问题，从而使计算机能够便捷处理自然语言问题。如果采用传统的One-hot编码，每个单词之间相互独立，此时词向量之间相互正交，编码无法反映单词之间的关联关系。而embedding可以理解为是将One-hot编码的高维向量，降维到一个较低维度的空间，在这个空间中不同单词之间能够通过向量计算确定关系。比如：北京为[0,1,1]，巴黎为[0,0.5,0.5]，二者的距离可以简单的用点乘表示为0*0+1*0.5+1*0.5=1。

那么，我们如何得到每个单词的embedding呢？概括来说，就是基于语料库训练一个双层神经网络，得到的权重矩阵即为embedding。注意，这里训练神经网络的目标并不是得到一个可用于预测的模型，而是要得到神经网络中的权重矩阵参数。

在该神经网络中，输入（特征）和输出（标签）都来自于同一语料库。有两种主要的提取输入、输出的方法：CBOW（连续词袋）和Skip-Gram。其中CBOW将与目标词相邻的词作为输入，将目标词作为输出，而Skip-Gram将目标词作为输入，将与目标词相邻的词作为输出。

例如当语料库为一句话：the quick brown fox jumped over the lazy dog.假定我们要预测的目标词为fox，相邻窗口长度定义为左右1个单词时。使用CBOW提取的输入将是[brown, jumped]，输出将是[fox]。Skip-Gram则正好相反，输入为[fox]，输出为[brown, jumped]。实际应用中，CBOW在小语料库中较为有效，Skip-Gram更适用于大型语料库。

CBOW和Skip-Gram的训练过程并无太大区别，下面以CBOW为例来说明训练得到embedding的过程。下图展示了训练模型的各个要素以及它们之间的逻辑关系，其中最左边的x1k、x2k……xck是模型的输入，对应到上面实例就是[brown, jumped]；最右边yj是模型的输出，对应上面实例中的[fox]。关键点在于x1k、x2k……xck以及yj全都是One-hot编码后的向量。对应到实例，可按单词在句子中的位置进行编码，这样brown将编码为[0,0,1,0,0,0,0,0,0]，jumped编码为[0,0,0,0,1,0,0,0,0]，fox编码为[0,0,0,1,0,0,0,0,0]。

明确了输入和输出数据，那embedding如何获取呢？答案就是图中与隐藏层相连的权重矩阵W(V*N)和W'(N*V)，其中V是词库中单词的数量，对于上例而言V=9，N是我们最终希望得到的embedding的维度，这里假设N=5。W(V*N)的每一行或者W'(N*V)的每一列其实就是最终的单词embedding。

假设已经给W(V*N)和W'(N*V)赋好初值，那如何训练得到最终的W(V*N)和W'(N*V)呢？在回答这个问题之前，先简单描述下由输入预测输出的过程：图中xik（i=1,2...,C）均为1*V的one-hot编码向量，C为输入侧单词的数量；W(V*N)是V行N列的矩阵，则xik与W(V*N)相乘将得到一个1*N的向量vi,k（其中i=1,2...,C）。对这C个向量vi,k求算术平均，得到隐藏层输出hi=Σv(i,k)/C，容易知道hi亦为1*N维向量。W'(N*V)是N行V列的矩阵，隐藏层输出hi与W'(N*V)相乘得到预测输出yj'，yj'正好也是1*V向量。至此，我们就可以给出训练的目标了，即预测值yj'与实际值yj的误差最小，这个误差可以使用交叉熵。

明确了训练目标，最后就是训练的方法：通常使用yj'与yj间的误差反向传播，即使用梯度下降法迭代法训练得到最终的W(V*N)和W'(N*V)。这两个矩阵就是我们最终要求得的embedding（使用任意一个都行），W(V*N)的每一行就代表对应单词的embedding，W'(N*V)的每一列也代表对应单词的embedding。

更加详细的说明，可参考以下相关文献：

TensorFlow官方文档：https://www.tensorflow.org/tutorials/word2vec

斯坦福大学Deep Learning for NLP课堂笔记：https://cs224d.stanford.edu/lecture_notes/notes1.pdf