决策树-ID3
id3:无法直接处理数值型数据,可以通过量化方法将数值型数据处理成标称型数据,但涉及太多特征划分,不建议
决策树:的最大优点在于可以给出数据的内在含义,数据形式非常容易理解;
决策树介绍:决策树分类器是带有种植的流程图,终止块表示分类结果
优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不明感,可以处理不相关的数据;可以将此分类器存储于硬盘上,是个持久化的分类器
缺点:可能会发生过度匹配问题
使用数据类型:数值型和标称型
knn:不便于展现数据的内在含义;每用一次都要学习,不是持久化分类器
概念介绍:
信息增益、熵:
信息的定义:
熵的定义:熵是信息增益的期望值之和=获得的最大信息增益,熵是数据的不一致性的表现
*(扩展阅读)基尼不纯度:从数据集中随机选取项,度量其被错误分配到其他组的概率
决策树流程
1、收集数据:可使用任何方法
2、准备数据:构造算法只适用于标称型数据,因此数值型数据需要离散
3、分析数据:可以使用任何方法,构造书完成后,我们应该检查图形是否符合预期
··数据集划分:
度量数据集的无需程度,度量划分数据集的熵,判断当前数据集划分是否正确,想象成二位的空间散点图,应用直线进行划分
划分操作:创建新的list对象,将符合要求的数据,抽取出来
··选择最好的数据集:
*创建唯一的分类标签列表
*计算每种划分方式的信息熵
*计算最好的信息增益
··递归决策树:
*循环调用划分函数
*制定终止点:制定可划分的最大分组数目;自动循环到组数不变状态;如果还出现不停,就采用多数表决的方法确定叶子节点的分类
类别完全相同;变脸完所有特征时返回次数最多的;得到列表包含所有属性
*调用matplob构造图(箭头翻转,数据点数字显示,着色)
定义文本框和箭头格式
回执带箭头的注释
*构造注解树
*测试节点的数据类型字典
*在父子节点间填充文本你信息
*计算宽和高
*标记子节点属性值
*减少y偏移
4、测试算法:使用经验数计算准确率
测试和存储分类器
*测试算法:使用决策树执行分类:将标签字符串转换为索引
*便利地柜整棵树,比较变量中的值与树节点的值,如果达到叶节点,则返回当前分类标签
5、使用算法:决策树存储(此步骤可以适用于任何监督学习算法,而是使用决策树可以更好地理解数据的内在含义)
决策树伪代码:
创建分支的伪代码函数creatbranch()
检测数据集中的每个子项是否属于同一分类
if so return 类标签;
else
寻找划分数据集的最好特征
划分数据集
创建分支节点
for 每个划分的子集
调用函数creatbranch并增加返回结果到分支节点中
return 分支节点
示例:使用决策树预测隐形眼镜类型
1、收集数据:提供的文本文件
2、准备数据:解析tab键分割的数据行
3、分析数据:快速检查数据,确保正确的解析数据内容,使用createplot()函数回执最终的树形图
4 、训练算法:使用createtree函数
5、测试算法:编写测试函数验证决策树可以正确的分类给定的数据实例
6、使用算法:存储数据结构,以便下次无需重构决策树
决策树-ID3的更多相关文章
- 数据挖掘之决策树ID3算法(C#实现)
决策树是一种非常经典的分类器,它的作用原理有点类似于我们玩的猜谜游戏.比如猜一个动物: 问:这个动物是陆生动物吗? 答:是的. 问:这个动物有鳃吗? 答:没有. 这样的两个问题顺序就有些颠倒,因为一般 ...
- 决策树ID3算法[分类算法]
ID3分类算法的编码实现 <?php /* *决策树ID3算法(分类算法的实现) */ /* *求信息增益Grain(S1,S2) */ //-------------------------- ...
- javascript实现朴素贝叶斯分类与决策树ID3分类
今年毕业时的毕设是有关大数据及机器学习的题目.因为那个时间已经步入前端的行业自然选择使用JavaScript来实现其中具体的算法.虽然JavaScript不是做大数据处理的最佳语言,相比还没有优势,但 ...
- 决策树--ID3 算法(一)
Contents 1. 决策树的基本认识 2. ID3算法介绍 3. 信息熵与信息增益 4. ID3算法的C++实现 1. 决策树的基本认识 决策树是一种 ...
- 决策树(ID3、C4.5、CART)
ID3决策树 ID3决策树分类的根据是样本集分类前后的信息增益. 假设我们有一个样本集,里面每个样本都有自己的分类结果. 而信息熵可以理解为:“样本集中分类结果的平均不确定性”,俗称信息的纯度. 即熵 ...
- 决策树---ID3算法(介绍及Python实现)
决策树---ID3算法 决策树: 以天气数据库的训练数据为例. Outlook Temperature Humidity Windy PlayGolf? sunny 85 85 FALSE no ...
- 机器学习实战 -- 决策树(ID3)
机器学习实战 -- 决策树(ID3) ID3是什么我也不知道,不急,知道他是干什么的就行 ID3是最经典最基础的一种决策树算法,他会将每一个特征都设为决策节点,有时候,一个数据集中,某些特征属 ...
- 决策树ID3原理及R语言python代码实现(西瓜书)
决策树ID3原理及R语言python代码实现(西瓜书) 摘要: 决策树是机器学习中一种非常常见的分类与回归方法,可以认为是if-else结构的规则.分类决策树是由节点和有向边组成的树形结构,节点表示特 ...
- 02-21 决策树ID3算法
目录 决策树ID3算法 一.决策树ID3算法学习目标 二.决策树引入 三.决策树ID3算法详解 3.1 if-else和决策树 3.2 信息增益 四.决策树ID3算法流程 4.1 输入 4.2 输出 ...
- 决策树——ID3
参考网址:https://www.cnblogs.com/further-further-further/p/9429257.html ID3算法 最优决策树生成 -- coding: utf-8 - ...
随机推荐
- UNITY 移动到指定位置的写法
//move towards a target at a set speed. private void MoveTowardsTarget() { //the speed, in units per ...
- 利用Oracle创建表空间和用户
本文仅用于学习交流,商业用途请支持正版!转载请注明:http://www.cnblogs.com/mxbs/p/6217152.html 第一步,创建表空间 以SYS/sys账户和SYSDBA身份登录 ...
- 【51Nod 1244】莫比乌斯函数之和
http://www.51nod.com/onlineJudge/questionCode.html#!problemId=1244 模板题... 杜教筛和基于质因子分解的筛法都写了一下模板. 杜教筛 ...
- iOS CALayer应用详解
跟着大神一起进步,本篇博客原文地址:http://blog.csdn.net/hello_hwc?viewmode=contents 一 CALayer是什么? Layers是绘图和动画的基础, L ...
- git --help出来的命令 + eclipse里用git小记
用法:git [--version] [--help] [-C <path>] [-c name=value] [--exec-path[=<path>]] ...
- Beta版本冲刺计划及安排
经过紧张的Alpha阶段,很多组已经从完全不熟悉语言和环境,到现在能够实现初步的功能.下一阶段即将加快编码进度,完成系统功能.强化软件工程的体会.Beta阶段的冲刺时间为期七天,安排在2016.12. ...
- 【BZOJ 4579】【Usaco2016 Open】Closing the Farm
http://www.lydsy.com/JudgeOnline/problem.php?id=4579 把时间倒过来,只是加点,并查集维护连通块. #include<cstdio> #i ...
- 跟着《beginning jquery》学写slider插件并借助自定义事件改进它
<beginning jquery>是一本很不错的学习jquery的书,作者的讲解深入浅出,很适合初学者,在最后一章里面,作者把前面所有的点结合起来完成了一个轮播图的jquery插件.实现 ...
- BZOJ 1711: [Usaco2007 Open]Dining吃饭
1711: [Usaco2007 Open]Dining吃饭 Time Limit: 5 Sec Memory Limit: 64 MBSubmit: 902 Solved: 476[Submit ...
- 大数据量冲击下Windows网卡异常分析定位
背景 mqtt的服务端ActiveMQ在windows上,多台PC机客户端不停地向MQ发送消息. 现象 观察MQ自己的日志data/activemq.log里显示,TCP链接皆异常断开.此时尝试从服务 ...