华电北风吹

天津大学认知计算与应用重点实验室

日期:2015/12/11

高斯判别分析属于生成模型,模型终于学习一个特征-类别的联合概率。

0 多维正态分布

确定一个多维正态分布仅仅须要知道分布的均值向量μ∈Rn×1\mu\in R^{n\times 1}和一个协方差矩阵Σ∈Rn×n\Sigma\in R^{n\times n}.

其概率密度函数例如以下:

p(x;μ,Σ)=1(2π)n/2|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))(0)p(x;\mu,\Sigma)=\frac{1}{(2\pi)^{n/2}| \Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)) \tag{0}

一、高斯判别分析

适用范围:输入特征是连续

模型表述:

y∼Bernoulli(ϕ)(1-1)y\sim Bernoulli(\phi) \tag{1-1}

x|y=0∼N(μ0,Σ)()x|y=0\sim N (\mu_0,\Sigma) \tag{}

x|y=1∼N(μ1,Σ)()x|y=1\sim N(\mu_1,\Sigma) \tag{}

结合公式0能够将公式1-1写为:

p(y)=ϕy(1−ϕ)1−y(1-2)p(y)=\phi^y(1-\phi)^{1-y} \tag{1-2}

p(x|y=0)=1(2π)n/2|Σ|1/2exp(−12(x−μ0)TΣ−1(x−μ0))()p(x|y=0)=\frac{1}{(2\pi)^{n/2}| \Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu_0)^T\Sigma^{-1}(x-\mu_0)) \tag{}

p(x|y=1)=1(2π)n/2|Σ|1/2exp(−12(x−μ1)TΣ−1(x−μ1))()p(x|y=1)=\frac{1}{(2\pi)^{n/2}| \Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)) \tag{}

能够看到对于二分类高斯判别分析。模型的參数是ϕ,μ0,μ1,Σ\phi,\mu_0,\mu_1,\Sigma。注意到这里的两个n维正态分布公用了一个协方差矩阵。

对于m个输入样本,有

p(x(i),y(i);ϕ,μ0,μ1,Σ)=p(y(i);ϕ)p(x(i)|y(i);μ,Σ)(1-3)p(x^{(i)},y^{(i)};\phi,\mu_0,\mu_1,\Sigma)=p(y^{(i)};\phi)p(x^{(i)}|y^{(i)};\mu,\Sigma)\tag{1-3}

easy得到对数似然函数例如以下

l(ϕ,μ0,μ1,Σ)=log∏mi=1p(x(i),y(i);ϕ,μ0,μ1,Σ)(1-4)l(\phi,\mu_0,\mu_1,\Sigma)=\log\prod_{i=1}^{m}{p(x^{(i)},y^{(i)};\phi,\mu_0,\mu_1,\Sigma)} \tag{1-4}

求解似然函数最大化得到高斯判别分析的模型參数解形式例如以下:

ϕ=1m∑mi=11{y(i)=1}(1-5)\phi=\frac{1}{m}\sum_{i=1}^{m}{1\{{y^{(i)}}=1\}} \tag{1-5}

μ0=∑mi=11{y(i)=0}x(i)∑mi=11{y(i)=0}()\mu_0=\frac{\sum_{i=1}^{m}{1\{{y^{(i)}}=0\}x^{(i)}}}{\sum_{i=1}^{m}{1\{{y^{(i)}}=0\}}} \tag{}

μ1=∑mi=11{y(i)=1}x(i)∑mi=11{y(i)=1}()\mu_1=\frac{\sum_{i=1}^{m}{1\{{y^{(i)}}=1\}x^{(i)}}}{\sum_{i=1}^{m}{1\{{y^{(i)}}=1\}}} \tag{}

Σ=1m∑mi=1(x(i)−μy(i))(x(i)−μy(i))T()\Sigma=\frac{1}{m}\sum_{i=1}^{m}{(x^{(i)}-\mu_{y^{(i)}})(x^{(i)}-\mu_{y^{(i)}})^T} \tag{}

二、高斯判别分析与逻辑回归

能够easy写出高斯判别分析的预測函数。因为是生成模型。模型存在两种输出p(y=1|x。ϕ,μ0,μ1,Σ)p(y=1|x。\phi,\mu_0,\mu_1,\Sigma)和p(y=0|x;ϕ,μ0,μ1,Σ)p(y=0|x;\phi,\mu_0,\mu_1,\Sigma)。在这里重点关注第一个。

p(y=1|x。ϕ,μ0,μ1,Σ)=p(y=1|x)p(y=1|x)+p(y=0|x)(2-1)p(y=1|x。\phi,\mu_0,\mu_1,\Sigma)=\frac{p(y=1|x)}{p(y=1|x)+p(y=0|x)} \tag{2-1}

经过变换,分解组合等变换操作能够得到例如以下形式:

p(y=1|x。ϕ,μ0,μ1,Σ)=11+e−θTx(2-2)p(y=1|x。\phi,\mu_0,\mu_1,\Sigma)=\frac{1}{1+e^{-\theta^Tx}} \tag{2-2}

注:分子分母同除以分子,消除同类项。系数转化为指数上的指数,矩阵展开相减消除等简单操作就可以得到。

尽管能够得到相似的格式。可是高斯判别分析与逻辑回归仍然存在非常大差别:

1、模型性质:高斯判别分析属于生成模型。逻辑回归属于判别模型

2、p(y=1|x)和p(y=0|x)在逻辑回归中和为1。在高斯判别分析中不存在这个性质。

3、模型如果:高斯判别分析如果样本特征在每一个类别下分别服从于各异的高维正态分布。逻辑回归是类别标签满足伯努利分布如果下的广义线性模型。

$(function () {
$('pre.prettyprint code').each(function () {
var lines = $(this).text().split('\n').length;
var $numbering = $('

    ').addClass('pre-numbering').hide();
    $(this).addClass('has-numbering').parent().append($numbering);
    for (i = 1; i ').text(i));
    };
    $numbering.fadeIn(1700);
    });
    });

ML—高斯判别分析的更多相关文章

  1. [置顶] 生成学习算法、高斯判别分析、朴素贝叶斯、Laplace平滑——斯坦福ML公开课笔记5

    转载请注明:http://blog.csdn.net/xinzhangyanxiang/article/details/9285001 该系列笔记1-5pdf下载请猛击这里. 本篇博客为斯坦福ML公开 ...

  2. 高斯判别分析 Gaussian Discriminant Analysis

    如果在我们的分类问题中,输入特征xx是连续型随机变量,高斯判别模型(Gaussian Discriminant Analysis,GDA)就可以派上用场了. 以二分类问题为例进行说明,模型建立如下: ...

  3. Gaussian discriminant analysis 高斯判别分析

    高斯判别分析(附Matlab实现) 生成学习算法 高斯判别分析(Gaussian Discriminant analysis,GDA),与之前的线性回归和Logistic回归从方法上讲有很大的不同,G ...

  4. 【cs229-Lecture5】生成学习算法:1)高斯判别分析(GDA);2)朴素贝叶斯(NB)

    参考: cs229讲义 机器学习(一):生成学习算法Generative Learning algorithms:http://www.cnblogs.com/zjgtan/archive/2013/ ...

  5. Stanford大学机器学习公开课(五):生成学习算法、高斯判别、朴素贝叶斯

    (一)生成学习算法 在线性回归和Logistic回归这种类型的学习算法中我们探讨的模型都是p(y|x;θ),即给定x的情况探讨y的条件概率分布.如二分类问题,不管是感知器算法还是逻辑回归算法,都是在解 ...

  6. StanFord ML 笔记 第四部分

    第四部分: 1.生成学习法 generate learning algorithm 2.高斯判别分析 Gaussian Discriminant Analysis 3.朴素贝叶斯 Navie Baye ...

  7. 【Coursera】高斯混合模型

    一.高斯混合模型 软分类算法,即对每一个样本,计算其属于各个分布的概率,概率值最大的就是这个样本所属的分类. 对于训练样本的分布,看成为多个高斯分布加权得到的.其中每个高斯分布即为某一特定的类. 高斯 ...

  8. ML—朴素贝叶斯

    华电北风吹 日期:2015/12/12 朴素贝叶斯算法和高斯判别分析一样同属于生成模型.但朴素贝叶斯算法须要特征条件独立性如果,即样本各个特征之间相互独立. 一.朴素贝叶斯模型 朴素贝叶斯算法通过训练 ...

  9. 生成式学习算法(三)之----高斯判别分析模型(Gaussian Discriminant Analysis ,GDA)

    高斯判别分析模型(Gaussian Discriminant Analysis ,GDA) 当我们分类问题的输入特征$x $为连续值随机变量时,可以用高斯判别分析模型(Gaussian Discrim ...

随机推荐

  1. (11.06)Java小知识

    最近由于课程变化,学习计划也跟着改动,留给我写博客的时间也越来越少.今天晚上没有课,抽空过来图书馆写一写,许久不写感觉都有点陌生了! 今天要和大季家分享的衔接了上一篇博客,是关于方法的嵌套调用与递归调 ...

  2. 图片验证码的JAVA工具类

    我们平时开发时经常会遇到需要图片验证码,基础的验证码包括了数字.字母.甚至可能有汉字.下面我给出一个简单的工具类. package com..ankang.tony.util; import java ...

  3. Maven的pom.xml文件详解------Build Settings

    根据POM 4.0.0 XSD,build元素概念性的划分为两个部分:BaseBuild(包含poject build和profile build的公共部分,见下)和poject buil   < ...

  4. Centos下配置tomcat7的https证书

    近期搞定了HTTPS配置,特此记录. 1.把下载的文件拷贝到cert文件夹,然后放在tomcat根目录下(与conf同一级目录).2.配置conf下的server.xml,修改下面3个节点,如下: & ...

  5. java 之 简单工厂模式(大话设计模式)

    以前只是看设计模式,每次看完都去理解一次,并没有手动去写代码,所以理解的还不是很深刻,最近查看框架源码,发现很多地方用到的都是设计模式,因为对设计模式理解的不够深刻,所以源码查看进度很慢!现在决定来温 ...

  6. red5 自定义文件存放目录

    Red5 流媒体服务器 自定义文件存放目录 Red5在正常情况下,安装之后文件必须存放在Red5安装目录下的oflaDemo\streams中,不能自定义存放目录,例如Red5 安装在C盘,但是我的文 ...

  7. Python网络编程篇之select和epoll

    1. select 原理 在多路复⽤的模型中, ⽐较常⽤的有select模型和epoll模型. 这两个都是系统接⼝, 由操作系统提供. 当然, Python的select模块进⾏了更⾼级的封装. ⽹络 ...

  8. P2757 导弹的召唤(数据加强)

    传送门 LIS的O(nlgn)模板题.加强"导弹拦截" #include <cstdio> #include <cstring> #include < ...

  9. 《java.util.concurrent 包源码阅读》05 BlockingQueue

    想必大家都很熟悉生产者-消费者队列,生产者负责添加元素到队列,如果队列已满则会进入阻塞状态直到有消费者拿走元素.相反,消费者负责从队列中拿走元素,如果队列为空则会进入阻塞状态直到有生产者添加元素到队列 ...

  10. 十一、Hadoop学习笔记————数据库与数据仓库

    数据仓库是集成的面向主题的数据库的集合 面向主题主要是宏观上解决某一类问题,集合性指数据集 数据库主要处理用于事务处理,数据仓库用于分析处理,数据库适用于操作型数据,便于增删改查, 数据仓库则用于挖掘 ...