判别式模型 vs. 生成式模型

AI 判别式模型和生成式模型

判别式模型(discriminative model) 生成式模型(generative model) 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行.…

1. 简介生成式模型(generative model)会对$x$和$y$的联合分布$p(x,y)$进行建模,然后通过贝叶斯公式来求得$p(y|x)$, 最后选取使得$p(y|x)$最大的$y_i$. 具体地, $y_{*}=arg \max_{y_i}p(y_i|x)=arg \max_{y_i}\frac{p(x|y_i)p(y_i)}{p(x)}=arg \max_{y_i}p(x|y_i)p(y_i)=arg \max_{y_i}p(x,y_i)$. 判别式…

产生式模型（生成式模型）与判别式模型<转载>

转自http://dongzipnf.blog.sohu.com/189983746.html 产生式模型与判别式模型产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x) 产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行. Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的…

Machine Learning系列--判别式模型与生成式模型

监督学习的任务就是学习一个模型,应用这一模型,对给定的输入预测相应的输出.这个模型的一般形式为决策函数:$$ Y=f(X) $$或者条件概率分布:$$ P(Y|X) $$监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative approach).所学到的模型分别称为生成模型(generative model)和判别模型(discriminative model). 生成方法由数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X…

生成式模型 VS 判别式模型

1 定义 1.1 生成式模型生成式模型(Generative Model)会对x和y的联合分布p(x,y)建模,然后通过贝叶斯公式来求得 p(yi|x),然后选取使得p(yi|x) 最大的 yi,即: 简单说生成式模型就是生成数据分布的模型.将求联合分布的问题转为了求类别先验概率和类别条件概率的问题. 1.2 判别式模型对条件概率 p(y|x;) 直接建模. 简单说就是判别数据输出量的模型,解决问题的思路为: 条件分布>模型参数后延概率最大>似然函数*参数先验最大>最大似然生成式模…

生成式模型（generative） vs 判别式模型（discriminative）

Andrew Ng, On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes 无论是生成式模型还是判别式模型,都可作为分类器使用,分类器的数学表达即为:给定输入 X 以及分类变量 Y,求 P(Y|X). 判别式模型直接估算 P(Y|X),或者也可像 SVM 那样,估算出输入和输出之间的映射,与概率无关: 判别式模型的典型代表是:logistic 回归: 产生…

机器学习 —— 基础整理（三）生成式模型的非参数方法： Parzen窗估计、k近邻估计；k近邻分类器

本文简述了以下内容: (一)生成式模型的非参数方法 (二)Parzen窗估计 (三)k近邻估计 (四)k近邻分类器(k-nearest neighbor,kNN) (一)非参数方法(Non-parametric method) 对于生成式模型(Generative model)来说,重要的地方在于类条件概率密度 $p(\textbf x|\omega_i)$ 的估计.上一篇介绍的参数方法,假定其是一个固定的分布密度形式,然后估计这个显式表达的函数中未知的参数.但这里存在两个问题:首先,假定的形式…