Naive Bayes Classifier 朴素贝叶斯分类器

贝叶斯分类器的分类

根据实际处理的数据类型, 可以分为离散型贝叶斯分类器和连续型贝叶斯分类器, 这两种类型的分类器, 使用的计算方式是不一样的.

贝叶斯公式

首先看一下贝叶斯公式

$ P\left ( y|x \right ) = \frac{P\left ( x|y \right ) * P\left ( y \right )}{\sum_{i=1}^{n}P\left ( x|y_{i} \right )*P\left ( y_{i} \right )} $

其推导很简单, 因为 P(yx) = P(xy), 可得 P(y|x) * P(x) = P(x|y) * P(y), 可得 P(y|x) = P(x|y) * P(y) / P(x), 将P(x)分解就得到了上面的公式.

在实际应用中, 可以用于计算一些检测项目的可靠性. 例如某机构对雇员是否吸毒的检测. 假定吸毒人员比例很低, 为0.5%, 而检测存在误差, 吸毒者检出阳性率为99%, 非吸毒者检出阳性率1%, 那么仅作一轮检测, 检出阳性的结果中实际是吸毒者的比例有多高呢? 用式子描述就是

对检测为阳性的雇员, 再做第二轮检测, 检出阳性的结果中实际是吸毒者的比例还可以按上式计算, 但是P(吸毒)从0.005变成了0.3322, 于是

P(吸毒|阳性) = 0.99 * 0.3322 / (0.99 * 0.3322 + 0.01 * 0.6678) = 0.98

这样经过二次检测后呈阳性的结果误判率就仅有2%了.

另外, 对于检测结果为阴性的雇员, 其吸毒的概率计算如下, 误判的概率很低

高斯分布公式

高斯分布(Gaussian distribution) 又名正态分布(Normal distribution)/常态分布. 是一个在数学物理及工程等领域都非常重要的概率分布, 在统计学的许多方面有着重大的影响力, 正态曲线呈钟型, 若随机变量X服从一个数学期望为μ, 方差为σ^2的正态分布, 记为N(μ，σ^2). 其概率密度函数为正态分布的期望值μ决定了其位置, 其标准差σ决定了分布的幅度. 当μ = 0, σ = 1时正态分布就是标准正态分布.

高斯函数标准型:

$ f(x)=\frac{1}{\sqrt{2\pi }}e^{-\frac{x^{2}}{2}}, -\infty < x < +\infty $

这个函数描述了变量 x 的一种分布特性，变量x的分布有如下特点：

均值 = 0
方差为1
概率密度和为1

一元高斯函数一般形式

$ f(x)=\frac{1}{\sqrt{2\pi \sigma }}e^{-\frac{(x - \mu )^{2}}{2\sigma ^{2}}}, -\infty < x < +\infty $

其中μ, σ(σ > 0)为常数, 一般使用均值作为μ, 标准差(Standard Deviation [ˌdi:viˈeɪʃn] )作为σ

高斯分布重要量的性质

密度函数关于平均值对称
平均值是它的众数（statistical mode）以及中位数（median）
68.268949%的面积在平均值左右一个标准差σ范围内
95.449974%的面积在平均值左右两个标准差2σ范围内
99.730020%的面积在平均值左右三个标准差3σ范围

离散型的贝叶斯分类器

离散型的贝叶斯分类器, 训练数据为X_in和 Y_in,
X_in是离散的特征值, 例如英文句子 I like sun shine, I am so happy, It is a good day, 和 I hate rainy, I don't like cloudy day,
Y_in是对应的分类, 例如前面的句子, 对应的Y_in分别是positive, positive, positive, negative, negative

训练时, 将句子拆成单词, 以单词作为特征值, 累计到以下key的count
y_total, y_positive, y_negative,
x_sun&y_positive, x_shine&y_positive, x_happy&y_positive, ... , x_I&y_positive, x_am&y_positive, x_I&y_negative, ... x_day&y_negative,

计算以下数值:

P(y_positive) = y_positive / y_total
P(y_negative) = y_negative / y_total

对于测试的句子, 将句子拆分为单词数组, 分别计算各个单词对于y_i的条件概率:
P(y_i|x_{_word}) = P(x_word|y_i) * P(y_i) / Σ (P(x_word|y_j) * P(y_j))
对每个单词得到的值累加, 将累加的结果进行排序, 最高的y_i就是分类的结果.

对于Σ P(x_word|y_j) * P(y_j) 的值为0的情况, 可以给每一个count(x_wordi&y_j)预设一个初始值, 例如count(x_wordi&y_j) = 1, 避免除数为0

连续型贝叶斯分类器(高斯贝叶斯分类器)

连续型的贝叶斯分类器, 训练数据为X_in和 Y_in,

X_in是带多维向量的特征值, 例如一个人的身高体重(H, W): (175, 68.5), (181.5, 75.3), (132, 31.5), (170, 71.5), (60, 15.0)
Y_in是对应的分类, 例如前面的X_in值, 对应的Y_in分别是A, A, K, A, K (A:adult, K:kid)

训练时, 需要计算以下值:

P(A) = Y_A / Y_total
P(K) = Y_K / Y_totalA的身高均值和标准差: μ_AH, σ_AH, A的体重均值和标准差: μ_AW, σ_AW,
K的身高均值和标准差: μ_KH, σ_KH, B的体重均值和标准差: μ_KW, σ_KW,
假定身高和体重这两个是相互独立的维度. 这样就确定了这两个分类, 在各维度上的高斯分布函数

...

public static HashMap<Integer, HashMap<Integer, Double>> meanMatrix = new HashMap<>(); //Matrix to hold the mean values

public static HashMap<Integer, HashMap<Integer, Double>> derivationMatrix = new HashMap<>(); //Matrix to hold standard devirations

...

/**

 * Get gaussian parameters by lable & feature, then calculate with input x

 */

public static double gaussian(double x, int label, int feature) {

    double conditionalMean = meanMatrix.get(label).get(feature);

    double conditionalDerivation = derivationMatrix.get(label).get(feature);

    return (Math.exp(-1 * (Math.pow(x - conditionalMean, 2) / (2 * conditionalDerivation)))) / (Math.sqrt(2 * Math.PI * conditionalDerivation));

}