word2vec剖析,资料整理备存

声明：word2vec剖析,资料整理备存，以下资料均为转载，膜拜大神，仅作学术交流之用。

word2vec是google最新发布的深度学习工具，它利用神经网络将单词映射到低维连续实数空间，又称为单词嵌入。词与词之间的语义相似度可以通过两个单词的嵌入向量之间的余弦夹角直接衡量。同时作者Tomas Mikolov发现了比较有趣的现象，就是单词经过分布式表示后，向量之间依旧保持一定的语法规则，比如简单的加减法规则。

1.将文本语料进行分词，以空格,tab隔开都可以，中文分词工具可以使用张华平博士的NLPIR2013http://ictclas.nlpir.org/  喜欢用Python 的童鞋也可以使用结巴分词https://github.com/fxsjy/jieba。

2.将分好词的训练语料进行训练，假定我语料名称为test.txt且在word2vec目录中。输入命令：

./word2vec -train test.txt -output vectors.bin -cbow  -size  -window  -negative  -hs  -sample 1e- -threads  -binary 

以上命令表示的是输入文件是test.txt，输出文件是vectors.bin，不使用cbow模型，默认为Skip-Gram模型。 每个单词的向量维度是200，训练的窗口大小为5就是考虑一个词前五个和后五个词语（实际代码中还有一个随机选窗口的过程，窗口大小<=5）。不使用NEG方法，使用HS方法。-sampe指的是采样的阈值，如果一个词语在训练样本中出现的频率越大，那么就越会被采样。-binary为1指的是结果二进制存储，为0是普通存储（普通存储的时候是可以打开看到词语和对应的向量的）除了以上命令中的参数，word2vec还有几个参数对我们比较有用比如-alpha设置学习速率，默认的为0.025. –min-count设置最低频率，默认是5，如果一个词语在文档中出现的次数小于5，那么就会丢弃。-classes设置聚类个数，看了一下源码用的是k-means聚类的方法。

·         架构：skip-gram（慢、对罕见字有利）vs CBOW（快）

·         训练算法：分层softmax（对罕见字有利）vs 负采样（对常见词和低纬向量有利）

欠采样频繁词：可以提高结果的准确性和速度（适用范围1e-3到1e-5）

·         文本（window）大小：skip-gram通常在10附近，CBOW通常在5附近

3.训练好模型之后，得到vectors.bin这个模型文件。vectors.bin这个文件就是文档中词语和其对应的向量，这个向量的维度是你训练时设置的参数大小。下面我们可以利用这个model做很多自然语言处理的任务了。

目前网络上有大量的实践文章和理论分析文章。主要列举如下：

理论分析文章：
Deep Learning实战之word2vec

Deep Learning in NLP （一）词向量和语言模型

word2vec傻瓜剖析

word2vec学习+使用介绍

实践部分：

利用中文数据跑Google开源项目word2vec

分词工具ANSJ(实例)

Word2vec在事件挖掘中的调研