概率与统计推断第二讲homework

作业目的: 体会条件独立

1、现需要设计一个根据一个人是否是学生$S$（布尔变量）和其体重$W$（连续变量）判断该人的性别$G$（布尔变量）。假设在给定$G$的情况下$S$和$W$独立，且假设概率分布 $p(W|G=female)$和$p(W|G=male)$为高斯分布且二者的方差相等。
（a）可以用朴素贝叶斯分类器实现吗？
（b）如果可以用朴素贝叶斯分类器的话，需要估计从训练数据中估计哪些分布的哪些参数。

（a）、

由条件独立性假设可是，可以用朴素贝叶斯分类，并且有：

$ p(G | S, W) \propto p(S, W | G)\cdot p(G)$

给定$G$的情况下$S$和$W$独立可得，

$p(G | S, W) \propto p(S | G)\cdot p(W | G)\cdot p(G)$

（b）、

$p(G = female | S, W) \propto p(S | G = female)\cdot p(W | G = female)\cdot p(G = female)$

$p(G = male | S, W) \propto p(S | G = male)\cdot p(W | G = male)\cdot p(G = male)$

其中，

$p(G) = Ber(\theta _{1})$ （伯努利分布）

$p(S | G = female) = Ber(\theta _{2}), p(S | G = male) = Ber(\theta _{3})$

$p(W | G = female) = N(\theta _{4}, \theta _{5}), p(W | G = female) = N(\theta _{6}, \theta _{5})$ (均满足正态分布，且具有相同的方差)

$\theta _{1}$到$\theta _{6}$就是需要估计的参数。

2、体会条件独立带来模型参数的减少考虑一个$C$个类别的产生式分类器，其中类条件概率密度为$p(x|y) $，假设类先验$p(y)$为均匀分布。假设$D$维特征均为二值变量，即$x_{j} \epsilon \left \{ 0, 1 \right \}$。假设在给定类别的条件下，各个特征独立（朴素贝叶斯假设），我们可以记$p(X|y=c,\theta ) = \prod_{j=1}^{D}Ber(x_{j}|\theta_{jc})$，模型共需要$DC$个参数。

(a) 考虑一个不同的“全”模型，即所有变量都相关。则条件概率$p(X|y = c)$应该是什么样子？表示$p(X|y = c)$需要多少个参数？
(b) 当样本数目N较小时，条件独立模型和全模型哪个模型的性能会更好？
(c) 当样本数目N较大时，上述两个模型哪个模型的性能更好？

　　　　　　（a）、

　　　　　　将$D$维随机变量$X$表示为$(X_{1}, X_{2}, \cdots , X_{D})$

　　　　　　$p(X|y=c) = p(X_{1}|y=c)\cdot p(X_{2}|X_{1},y=c)\cdot p(X_{3}|X_{1},X_{2},y=c)\cdots p(X_{D}|X_{1},X_{2},\cdots ,X_{D-1},y=c)$

　　　　　　其中，$p(X_{1}|y=c)$服从伯努利分布，需要1个参数。$p(X_{2}|X_{1},y=c)$需要估计$p(X_{2}|X_{1}=0,y=c)$，$p(X_{2}|X_{1}=1,y=c)$两个伯努利分布，因此需要2个参数。

　　　　　　同理有$p(X_{3}|X_{1},X_{2},y=c)$需要4个参数，$p(X_{D}|X_{1},X_{2},\cdots ,X_{D-1},y=c)$需要$2^{D-1}$的参数

　　　　　　为表示$p(X|y=c)$，所需参数个数：$1+2+4+\cdots +2^{D-1} = 2^{D}-1$

　　　　　　（b）、（c）、

　　　　　　当样本数目很小时，由于全模型考虑到了更多的样本信息，应该会好一些吧。如果样本数不小时，全概率模型由于需要估计太多参数，难以计算。