语言模型（Language Modeling）与统计语言模型

1. n-grams

统计语言模型研究的是一个单词序列出现的概率分布（probability distribution）。例如对于英语，全体英文单词构成整个状态空间（state space）。

• 边缘概率分布 p(Xt=k) 称为 unigram；
• 使用一阶马尔科夫模型（Markov model），则 p(Xt=k|Xt−1=j) 又称为 bigram；
• 类似地，基于二阶马尔科夫模型，p(Xt=k|Xt−1=j),Xt−2=i 称为 trigram；

下图为达尔文著名的《物种起源》英文版字母 {a,…,z,−}（−：表示空格）的 1-gram 和 2-gram（表格）