class-朴素贝叶斯NaiveBayes

1 朴素贝叶斯法的学习与分类
1.1 基本原理
2 参数估计
2.1 极大似然估计
2.2 算法
2.3 贝叶斯估计

1 朴素贝叶斯法的学习与分类

Naive Bayes是基于贝叶斯定理和特征条件独立的假设的分类方法。对于给定的训练数据，首先基于特征条件独立学习输入和输出的联合概率分布，然后基于此模型，对给定的输入x利用贝叶斯定理求出后验概率最大的y。

1.1 基本原理

这里一张手写推导：



而这个P(ck|X=x)甚至可以是频率来估计。看下节部分。

2 参数估计

2.1 极大似然估计

先验概率P(Y=ck)的极大似然估计:



条件概率极大似然估计：

2.2 算法

2.3 贝叶斯估计

贝叶斯估计解决的问题：极大似然估计可能会出现所要估计的概率值为0的情况，使得后验概率出现偏差。

条件概率的贝叶斯估计是：



lambda>=0,相当于极大似然估计的每一个变量加上一个lambda，为0就是极大似然估计，常用值为1，这时称为拉普拉斯平滑（Laplace smoothing）。

证明其仍然为概率：



先验概率的贝叶斯估计为：



其中K是集合y中元素的个数，lambda是在Sigma之外的，不在连加符号内。

注意：Naive Bayes method是从训练数据学得P(X,Y)【P由P(X|Y)*P(Y)而得】生成的方法，是生成模型，有一个强假设：条件独立性。

注意：朴素贝叶斯法和贝叶斯估计不同的。