word2vec中的subsampling

http://d0evi1.com/word2vec-subsampling/

为了度量这种罕见词与高频词间存在不平衡现象，我们使用一个简单的subsampling方法：训练集中的每个词wiwi，以下面公式计算得到的概率进行抛弃：

f(wi)是wi的词频，t为选中的一个阀值，通常为(1e-5=0.00001)周围。我们之所以选择该subsampling公式，是因为：它可以很大胆的对那些词频大于t的词进行subsampling，并保留词频的排序(ranking of the frequencies)。尽管subsampling公式的选择是拍脑袋出来的（启发式的heuristically），我们发现它在实践中很有效。它加速了学习，并极大改善了罕见词的学习向量的准确率（accuracy）。