ML—高斯判别分析

华电北风吹

天津大学认知计算与应用重点实验室

日期：2015/12/11

高斯判别分析属于生成模型，模型终于学习一个特征-类别的联合概率。

0 多维正态分布

确定一个多维正态分布仅仅须要知道分布的均值向量μ∈Rn×1\mu\in R^{n\times 1}和一个协方差矩阵Σ∈Rn×n\Sigma\in R^{n\times n}.

其概率密度函数例如以下：

p(x;μ,Σ)=1(2π)n/2|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))(0)p(x;\mu,\Sigma)=\frac{1}{(2\pi)^{n/2}| \Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)) \tag{0}

一、高斯判别分析

适用范围：输入特征是连续

模型表述：

y∼Bernoulli(ϕ)(1-1)y\sim Bernoulli(\phi) \tag{1-1}

x|y=0∼N(μ0,Σ)()x|y=0\sim N (\mu_0,\Sigma) \tag{}

x|y=1∼N(μ1,Σ)()x|y=1\sim N(\mu_1,\Sigma) \tag{}

结合公式0能够将公式1-1写为：

p(y)=ϕy(1−ϕ)1−y(1-2)p(y)=\phi^y(1-\phi)^{1-y} \tag{1-2}

p(x|y=0)=1(2π)n/2|Σ|1/2exp(−12(x−μ0)TΣ−1(x−μ0))()p(x|y=0)=\frac{1}{(2\pi)^{n/2}| \Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu_0)^T\Sigma^{-1}(x-\mu_0)) \tag{}

p(x|y=1)=1(2π)n/2|Σ|1/2exp(−12(x−μ1)TΣ−1(x−μ1))()p(x|y=1)=\frac{1}{(2\pi)^{n/2}| \Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)) \tag{}

能够看到对于二分类高斯判别分析。模型的參数是ϕ,μ0,μ1,Σ\phi,\mu_0,\mu_1,\Sigma。注意到这里的两个n维正态分布公用了一个协方差矩阵。

对于m个输入样本，有

p(x(i),y(i);ϕ,μ0,μ1,Σ)=p(y(i);ϕ)p(x(i)|y(i);μ,Σ)(1-3)p(x^{(i)},y^{(i)};\phi,\mu_0,\mu_1,\Sigma)=p(y^{(i)};\phi)p(x^{(i)}|y^{(i)};\mu,\Sigma)\tag{1-3}

easy得到对数似然函数例如以下

l(ϕ,μ0,μ1,Σ)=log∏mi=1p(x(i),y(i);ϕ,μ0,μ1,Σ)(1-4)l(\phi,\mu_0,\mu_1,\Sigma)=\log\prod_{i=1}^{m}{p(x^{(i)},y^{(i)};\phi,\mu_0,\mu_1,\Sigma)} \tag{1-4}

求解似然函数最大化得到高斯判别分析的模型參数解形式例如以下：

ϕ=1m∑mi=11{y(i)=1}(1-5)\phi=\frac{1}{m}\sum_{i=1}^{m}{1\{{y^{(i)}}=1\}} \tag{1-5}

μ0=∑mi=11{y(i)=0}x(i)∑mi=11{y(i)=0}()\mu_0=\frac{\sum_{i=1}^{m}{1\{{y^{(i)}}=0\}x^{(i)}}}{\sum_{i=1}^{m}{1\{{y^{(i)}}=0\}}} \tag{}

μ1=∑mi=11{y(i)=1}x(i)∑mi=11{y(i)=1}()\mu_1=\frac{\sum_{i=1}^{m}{1\{{y^{(i)}}=1\}x^{(i)}}}{\sum_{i=1}^{m}{1\{{y^{(i)}}=1\}}} \tag{}

Σ=1m∑mi=1(x(i)−μy(i))(x(i)−μy(i))T()\Sigma=\frac{1}{m}\sum_{i=1}^{m}{(x^{(i)}-\mu_{y^{(i)}})(x^{(i)}-\mu_{y^{(i)}})^T} \tag{}

二、高斯判别分析与逻辑回归

能够easy写出高斯判别分析的预測函数。因为是生成模型。模型存在两种输出p(y=1|x。ϕ,μ0,μ1,Σ)p(y=1|x。\phi,\mu_0,\mu_1,\Sigma)和p(y=0|x；ϕ,μ0,μ1,Σ)p(y=0|x；\phi,\mu_0,\mu_1,\Sigma)。在这里重点关注第一个。

p(y=1|x。ϕ,μ0,μ1,Σ)=p(y=1|x)p(y=1|x)+p(y=0|x)(2-1)p(y=1|x。\phi,\mu_0,\mu_1,\Sigma)=\frac{p(y=1|x)}{p(y=1|x)+p(y=0|x)} \tag{2-1}

经过变换，分解组合等变换操作能够得到例如以下形式：

p(y=1|x。ϕ,μ0,μ1,Σ)=11+e−θTx(2-2)p(y=1|x。\phi,\mu_0,\mu_1,\Sigma)=\frac{1}{1+e^{-\theta^Tx}} \tag{2-2}

注：分子分母同除以分子，消除同类项。系数转化为指数上的指数，矩阵展开相减消除等简单操作就可以得到。

尽管能够得到相似的格式。可是高斯判别分析与逻辑回归仍然存在非常大差别：

1、模型性质：高斯判别分析属于生成模型。逻辑回归属于判别模型

2、p(y=1|x)和p(y=0|x)在逻辑回归中和为1。在高斯判别分析中不存在这个性质。

3、模型如果：高斯判别分析如果样本特征在每一个类别下分别服从于各异的高维正态分布。逻辑回归是类别标签满足伯努利分布如果下的广义线性模型。

$(function () {
$('pre.prettyprint code').each(function () {
var lines = $(this).text().split('\n').length;
var $numbering = $('

').addClass('pre-numbering').hide();
$(this).addClass('has-numbering').parent().append($numbering);
for (i = 1; i ').text(i));
};
$numbering.fadeIn(1700);
});
});