目的：让机器学习效果更好，单个不行，群殴啊！

　　Bagging：训练多个分类器取平均

　　　　　　

　　Boosting：从弱学习器开始加强，通过加权来进行训练

　　　　　　

　　　　　　（加入一棵树，比原来要强）

　　Stacking：聚合多个分类或回归模型（可以分阶段来做）

bagging模型

　　全称：bootstrap aggregation（说白了就是并行训练一堆分类器）

　　最典型代表：随机森林

　　随机：数据采样随机，特征选择随机

　　森林：很多个决策树并行放在一起

　　　　　　

　　构造树模型

　　　　

　　由于二重随机性，使得每个树基本上都不会一样，最终的结果也会不一样。

　　树模型：

　　　　

　　之所以要进行随机，是要保证泛化能力，如果树都一样，就没有意义了。

　随机森林优势

　　能够处理很高维度（feature很多）的数据，并且不用做特征选择

　　在训练完后，它能够给出哪些feature比较重要

　　容易做成并行化方法，速度比较快

　　可以进行可视化展示，便于分析

　　

KNN模型

　　　　　　

　　KNN就不太适合，因为很难去随机让泛化能力变强！

树模型

　　理论上越多的树效果会越好，但实际上基本超过一定数量就差不多上下浮动了。

Boosting模型

　　典型代表：AdaBoost，Xgboost

　　Adaboost会根据前一次的分类效果调整数据权重

　　如果某一个数据在这次分错了，那么在下一次就会给它更大的权重

　　最终结果：每个分类器根据自身的准确性来确定各自的权重，再合体

Adaboost工作流程

　　每一次切一刀

　　最终合在一起

　　弱分类器就升级了

　　　

Stacking模型

　　堆叠：很暴力，拿来一堆直接上（各种分类器都来了）

　　可以堆叠各种各样的分类器（KNN，SVM，RF等等）

　　分阶段：第一阶段得出各自结果，第二阶段再用前一阶段结果训练

　　为了刷结果，不择手段！

　　堆叠在一起确实能使得准确率提升，但是速度是个问题

　　集成算法是竞赛与论文神器，当我们更关注与结果时不妨试试！

集成算法——Ensemble learning的更多相关文章

  1. 【Supervised Learning】 集成学习Ensemble Learning & Boosting 算法（python实现）

    零. Introduction 1.learn over a subset of data choose the subset uniformally randomly (均匀随机地选择子集) app ...

  2. 笔记︱集成学习Ensemble Learning与树模型、Bagging 和 Boosting

    本杂记摘录自文章<开发 | 为什么说集成学习模型是金融风控新的杀手锏?> 基本内容与分类见上述思维导图. . . 一.机器学习元算法 随机森林:决策树+bagging=随机森林 梯度提升树 ...

  3. 【软件分析与挖掘】Multiple kernel ensemble learning for software defect prediction

    摘要: 利用软件中的历史缺陷数据来建立分类器,进行软件缺陷的检测. 多核学习(Multiple kernel learning):把历史缺陷数据映射到高维特征空间,使得数据能够更好地表达: 集成学习( ...

  4. 6. 集成学习（Ensemble Learning）算法比较

    1. 集成学习(Ensemble Learning)原理 2. 集成学习(Ensemble Learning)Bagging 3. 集成学习(Ensemble Learning)随机森林(Random ...

  5. 第七章——集成学习和随机森林（Ensemble Learning and Random Forests）

    俗话说,三个臭皮匠顶个诸葛亮.类似的,如果集成一系列分类器的预测结果,也将会得到由于单个预测期的预测结果.一组预测期称为一个集合(ensemble),因此这一技术被称为集成学习(Ensemble Le ...

  6. 7. 集成学习（Ensemble Learning）Stacking

    1. 集成学习(Ensemble Learning)原理 2. 集成学习(Ensemble Learning)Bagging 3. 集成学习(Ensemble Learning)随机森林(Random ...

  7. 5. 集成学习（Ensemble Learning）GBDT

    1. 集成学习(Ensemble Learning)原理 2. 集成学习(Ensemble Learning)Bagging 3. 集成学习(Ensemble Learning)随机森林(Random ...

  8. 3. 集成学习（Ensemble Learning）随机森林（Random Forest）

    1. 集成学习(Ensemble Learning)原理 2. 集成学习(Ensemble Learning)Bagging 3. 集成学习(Ensemble Learning)随机森林(Random ...

  9. 4. 集成学习（Ensemble Learning）Adaboost

    1. 集成学习(Ensemble Learning)原理 2. 集成学习(Ensemble Learning)Bagging 3. 集成学习(Ensemble Learning)随机森林(Random ...

随机推荐

  1. 【转】求职面试-HR会问你什么问题？

    前言 面试是程序员们经常探讨的话题,只要你通过前面的技术面,最后一面必然是HR面试,基本上到了这关你离Offer的距离应该不会太远了,但有的公司的HR是有刷入的权利,如果你并不能很好的应对HR的问题, ...

  2. Linux基础命令---切换用户su

    su 临时切换身份到另外一个用户,使用su切换用户之后,不会改变当前的工作目录,但是会改变一些环境变量. 此命令的适用范围:RedHat.RHEL.Ubuntu.CentOS.SUSE.openSUS ...

  3. 加密对象到locastorage / 从 locastorage解密对象

    var obj={name:"致远",age:21,address:"江西上饶XXXX",hobby:"看书,编程"};//用中文 记得加e ...

  4. SQL知识点、SQL语句学习

    一. 数据库简介和创建1. 系统数据库在安装好SQL SERVER后,系统会自动安装5个用于维护系统正常运行的系统数据库: (1)master:记录了SQL SERVER实例的所有系统级消息,包括实例 ...

  5. Spring5源码解析-Spring框架中的单例和原型bean

    Spring5源码解析-Spring框架中的单例和原型bean 最近一直有问我单例和原型bean的一些原理性问题,这里就开一篇来说说的 通过Spring中的依赖注入极大方便了我们的开发.在xml通过& ...

  6. django模型中的关系对应

    显然,关系数据库的力量在于将表相互关联.Django提供了定义三种最常见的数据库关系类型的方法:多对一,多对多和一对一. 在说明之前,首先来理解一下这三个概念: 多对一: 两个集合a,b;集合a中的多 ...

  7. php简单使用shmop函数创建共享内存减少服务器负载

    在之前的一篇博客[了解一下共享内存的概念及优缺点]已经对共享内存的概念做了说明.下面就来简单使用共享内存(其实也可以用其他工具,比如redis) PHP做内存共享有两套接口.一个是shm,它实际上是变 ...

  8. day5-json和pickle序列化

    一.json模块 序列化:把一个对象的形态改变一下,使他能够存放在文件中,或者在网络上传输,序列化也叫持久化,是把对象存储到永久介质中,这样就不会因为掉电而丢失. JSON (JavaScript O ...

  9. PHP 重置数组为连续数字索引的几种方式

    原文链接:https://blog.csdn.net/zhang197093/article/details/78606916 推荐的方式  array_values 方法 这样方式无论对普通数组还是 ...

  10. C语言动态链表数据结构实现的学生信息项目

    注:此项目来源于吕鑫老师的教程 #define _CRT_SECURE_NO_WARNINGS #include <iostream> #include <conio.h> u ...