说到自然语言,我就会想到朴素贝叶斯,贝叶斯核心就是条件概率,而且大多数自然语言处理的思想也就是条件概率. 所以我用预测一个句子出现的概率为例,阐述一下自然语言处理的思想. 处理思想-概率 句子,就是单词的序列,句子出现的概率就是这个序列出现的概率 可以想象上面这个式子计算量有多大. 为了减少计算量,常常用一个估计值来代替上面的概率.估计该值常用的方法有 n-gram.决策树.最大熵模型.条件随机出.神经网络等. 以最简单的n-gram为例 n-gram模型有个假设:当前单词出现的概率仅与前面n-…