概率分布的 perplexity

1. 一种 measurement

信息论中，perplexity is a measurement of how well a probability distribution or probability model predicts a sample. 其越低，越能代表概率分布能更好地预测样本。

离散型概率分布 p 的 perplexity 被定义为：

2H(p)=2−∑xp(x)log2p(x)

显然 H(p) 表示的是 entropy。

有时也被写作自然对数的形式：

exp(∑xp(x)ln1p(x))

也即是逆概率的加权几何平均。

2. 概率模型的 perplexity

考虑未知概率分布（记为p）的概率模型（model），便可根据提取自 p 的一个训练样本进行提出。如果此时提出一个概率模型 q，我们便可通过 perplexity 来评估所提出模型 q 的好坏：

b−1N∑Ni=1logbq(xi)

当然 b 可以取 2，也可以为自然常数。