word embedding 精要整理

word embedding

具体含义：词的实数向量化表示，可以通过向量相似性度量语义相似性，相似性原理是上下文的一致性

Embedding在数学上表示一个maping, f: X -> Y， 也就是一个function,通俗的翻译是单词嵌入，把X所属空间的单词映射为到Y空间的多维向量，word embedding，就是找到一个映射或者函数，生成在一个新的空间上的表达。

分布式表示 distributed representation

分布式表示的理论基础：上下文相似的词，语义也相似  Harris 在 1954 年提出的分布假说（ distributional hypothesis）为这一设想提供了理论基础：上下文相似的词，其语义也相似。

基于矩阵：矩阵的每一行表示词的上下文分布，上下文相似，语义相似。矩阵向量的空间距离即代表了相似性

基于神经网络：通过神经网络对上下文，以及上下文与目标词之间的关系进行建模

词向量如何生成：

用一个神经网络来训练。一个训练的样本输入是一个词和另外一个词的one-hot形式，而样本的标签是这两个词的关系，如果他们两经常出现在一起（根据skip-gram方法），则标签为1，反之为0。训练得到的网络中的权重就是词向量。网络倒数第二层的权重。

 

词向量表示

离散表示：one_hot 方法、TF-IDF方法，N-gram方法，从维度，权重，语序上构建词向量，但随着预料增多，都会出现维度膨胀，数据稀疏，计算量大的问题。

分布式表示：word2vec ，wordvec是词向量的一种，wordvec包含cbow和skip_gram