1 定义

1.1 生成式模型

生成式模型(Generative Model)会对x和y的联合分布p(x,y)建模,然后通过贝叶斯公式来求得 p(yi|x),然后选取使得p(yi|x) 最大的 yi,即:

简单说生成式模型就是生成数据分布的模型。将求联合分布的问题转为了求类别先验概率和类别条件概率的问题。

1.2 判别式模型

对条件概率 p(y|x;) 直接建模。

简单说就是判别数据输出量的模型,解决问题的思路为:

条件分布>模型参数后延概率最大>似然函数*参数先验最大>最大似然

生成式模型可以转为判别式模型,反之不行。

AndrewNg在NIPS2001年有一篇专门比较判别模型和产生式模型的文章:

On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes

2 模型优劣比较

2.1 生成式模型

常见的生成式模型有:

  • 线性判别式分析 (Linear Discriminant Analysis)
  • 朴素贝叶斯 (Native Bayesian)
  • K近邻 (KNN)
  • 混合高斯模型 (GaussianMixture Model)
  • 隐马尔科夫模型 (HiddenMarkov Model)
  • 贝叶斯网络 (Bayesian Networks)
  • 马尔科夫随机场 (Markov Random Fields)
  • 深度信念网络 (Deep Belief Networks)

其特点在于(相比于判别式模型):

  • 通常收敛速度较快,少量样本就可以收敛
  • 能应付隐变量
  • 需要对数据分布做出假设(比方朴素贝叶斯假设特征分布符合条件独立的假设)
  • 计算量大
  • 实践效果(比如分类)稍差
  • 容易过拟合
  • 更好利用无标签数据(DBN)
  • 添加新的类别时,计算新的联合分布即可,不需要全部数据重新训练
  • 能检测异常值

2.2 判别式模型

常见的判别式模型有:

  • 线性回归 (LinearRegression)
  • 逻辑斯蒂回归 (LogisticRegression)
  • 神经网络 (NN)
  • 支持向量机 (SVM)
  • 高斯过程 (GaussianProcess)
  • 条件随机场 (CRF)
  • CART(Classificationand Regression Tree)

其特点在于(相比于生成式模型):

  • 节省计算资源
  • 节省样本
  • 效果好一些
  • 输入数据可以预处理(降维、构造等),简化学习的问题
  • 解决凸优化问题
  • 添加新的数据时,所有数据要重新训练
  • 不能检测异常值

参考:

知乎:机器学习“判定模型”和“生成模型”有什么区别?

https://www.cnblogs.com/kemaswill/p/3427422.html

《统计学习方法》

生成式模型 VS 判别式模型的更多相关文章

  1. 判别式模型 vs. 生成式模型

    1. 简介 生成式模型(generative model)会对\(x\)和\(y\)的联合分布\(p(x,y)\)进行建模,然后通过贝叶斯公式来求得\(p(y|x)\), 最后选取使得\(p(y|x) ...

  2. 产生式模型(生成式模型)与判别式模型<转载>

    转自http://dongzipnf.blog.sohu.com/189983746.html 产生式模型与判别式模型 产生式模型(Generative Model)与判别式模型(Discrimiti ...

  3. 生成式模型(generative) vs 判别式模型(discriminative)

    Andrew Ng, On Discriminative vs. Generative classifiers: A comparison of logistic regression and nai ...

  4. AI 判别式模型和生成式模型

    判别式模型(discriminative model) 生成式模型(generative model) 对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P ...

  5. Machine Learning系列--判别式模型与生成式模型

    监督学习的任务就是学习一个模型,应用这一模型,对给定的输入预测相应的输出.这个模型的一般形式为决策函数:$$ Y=f(X) $$或者条件概率分布:$$ P(Y|X) $$监督学习方法又可以分为生成方法 ...

  6. Asp.net管道模型(管线模型)

    Asp.net管道模型(管线模型)   前言 为什么我会起这样的一个标题,其实我原本只想了解asp.net的管道模型而已,但在查看资料的时候遇到不明白的地方又横向地查阅了其他相关的资料,而收获比当初预 ...

  7. linux下多路复用模型之Select模型

    Linux关于并发网络分为Apache模型(Process per Connection (进程连接) ) 和TPC , 还有select模型,以及poll模型(一般是Epoll模型) Select模 ...

  8. Paip.Php Java 异步编程。推模型与拉模型。响应式(Reactive)”编程FutureData总结... 1

    Paip.Php  Java 异步编程.推模型与拉模型.响应式(Reactive)"编程FutureData总结... 1.1.1       异步调用的实现以及角色(:调用者 提货单) F ...

  9. DDD:谈谈数据模型、领域模型、视图模型和命令模型

    背景 一个类型可以充当多个角色,这个角色可以是显式的(实现了某个接口或基类),也可以是隐式的(承担的具体职责和上下文决定),本文就讨论四个角色:数据模型.领域模型.视图模型和命令模型. 四个角色 数据 ...

随机推荐

  1. 【转】Vue-详解设置路由导航的两种方法: <router-link :to="..."> 和router.push(...)

    一.<router-link :to="..."> to里的值可以是一个字符串路径,或者一个描述地址的对象.例如: // 字符串 <router-link to= ...

  2. Python3+selenium+BaiduAI识别并下载花瓣网高颜值妹子图片

    一.说明 1.1 背景说明 上周在“Python3使用百度人脸识别接口识别高颜值妹子图片”中自己说到在成功判断颜值后,下截图片并不是什么难点. 直观感觉上确实如此,你判断的这个url适不适合下载,适合 ...

  3. QPainter、QPainterPath、QBrush

    参考资料: https://blog.csdn.net/qq_35488967/article/details/70802973https://blog.csdn.net/wanghualin033/ ...

  4. C#代码中如何比较两个日期的大小?

    C#中比较两个日期大小的方法 /// <summary> /// 比较两个日期大小 /// </summary> /// <param name="dateSt ...

  5. webpack+typescript

    1. npm install --save typescript 2. npm install --save ts-loader webpack.config.js module.exports = ...

  6. UVa LA 2965 - Jurassic Remains 中间相遇,状态简化 难度: 2

    题目 https://icpcarchive.ecs.baylor.edu/index.php?option=com_onlinejudge&Itemid=8&page=show_pr ...

  7. Java反射《三》获取属性

    package com.study.reflect; import java.lang.reflect.Field; /** * 反射,获取属性 * @ClassName: FieldDemo * @ ...

  8. java⑩

    1.for循环: for循环语法 for(表达式1;表达式2;表达式3){ 循环体4} 表达式1:初始化变量 只执行一次!表达式2:循环条件 满足条件进入循环体4表达式3:迭代变量 如果循环体 中只有 ...

  9. CSS多div放一行

    HTML代码 <body> <div class="right"></div> <div class="left"&g ...

  10. Web API之路由浅谈

    Web API的路由,是指明接口地址的方向,是照亮获取数据路上的灯塔,其重要性不言而喻. 本篇文章以vs2015为例,一步步说明路由的创建及使用,其中包括默认路由.自定义路由和特性路由. 一.默认路由 ...