word2vec 注意事项

Hierarchical Softmax是一种对输出层进行优化的策略，输出层从原始模型的利用softmax计算概率值改为了利用Huffman树计算概率值。一开始我们可以用以词表中的全部词作为叶子节点，词频作为节点的权，构建Huffman树，作为输出。从根节点出发，到达指定叶子节点的路径是的。Hierarchical Softmax正是利用这条路径来计算指定词的概率，而非用softmax来计算。 

即Hierarchical Softmax：把 N 分类问题变成 log(N)次二分类

 

 

降采样

对于语料中的高频词，Mikolov选择对它们进行降采样（sub-samplig），我认为高频词在语料中的出现次数比较多，而且高频词一般而言都不是决定附近词语的词，比如“的”这种停用词。所以对高频词进行降采样既不影响模型效果，又能提升收敛速度，何乐而不为呢？