上一节我们学习knn,kNN的最大缺点就是无法给出数据的内在含义,而使用决策树处理分类问题,优势就在于数据形式非常容易理解. 决策树的算法有很多,有CART.ID3和C4.5等,其中ID3和C4.5都是基于信息熵的,也是我们今天的学习内容,主要是根据通过信息熵划分数据集,再进入递归构造决策树的过程. 1. 信息熵 熵最初被用在热力学方面的,由热力学第二定律,熵是用来对一个系统可以达到的状态数的一个度量,能达到的状态数越多熵越大.香农1948年的一篇论文<A Mathematical Theory…

参考文献: [1]Python决策树可视化:GraphViz's executables not found的解决方法…

Python——决策树实战:california房价预测 编译环境:Anaconda.Jupyter Notebook 首先,导入模块: import pandas as pd import matplotlib.pyplot as plt %matplotlib inline 接下来导入数据集: from sklearn.datasets.california_housing import fetch_california_housing housing = fetch_california_…

于Windows通过使用各种现成的工具使用,去Linux下一个,没有一个关于线索--总之google有些人的经验,折腾来折腾,开发环境也算是一个好工作. 1. 安装完成vim # apt-get install vim-gnome 2. 安装ctags,ctags用于支持taglist,必需! # apt-get install ctags 3. 安装taglist #apt-get install vim-scripts #apt-get install vim-addon-manager /…

使用python3 学习了决策树分类器的api 涉及到 特征的提取,数据类型保留,分类类型抽取出来新的类型 需要网上下载数据集,我把他们下载到了本地, 可以到我的git下载代码和数据集: https://github.com/linyi0604/MachineLearning import pandas as pd from sklearn.cross_validation import train_test_split from sklearn.feature_extraction impor…

-----------------md5加密的方法:---------------------------------- import hashlib m = hashlib.md5()                          #创建md5对象 m.update(new_temp)                      #生成加密字符串,其中temp是已拼接好的字符串 按字母大小拼接可以用函数sorted见 让字典 按值大小排序的方法 sign = m.hexdigest()   …

RID age income student credit_rating Class:buys_computer 1 youth high no fair no 2 youth high no excellent no 3 middle_aged high no fair no 4 senior medium no fair yes 5 senior low yes fair yes 6 senior low yes excellent no 7 middle_aged low yes exce…

from numpy import array from pyspark.mllib.regression import LabeledPoint from pyspark.mllib.tree import DecisionTree, DecisionTreeModel from pyspark import SparkContext from pyspark.mllib.evaluation import BinaryClassificationMetrics sc = SparkConte…

队列的概念 只允许在一端插入数据操作,在另一端进行删除数据操作的特殊线性表:进行插入操作的一端称为队尾(入队列),进行删除操作的一端称为队头(出队列):队列具有先进先出(FIFO)的特性. # _*_ coding=utf-8 _*_ class Queue(object): def __init__(self, size=100): self.queue = [0 for _ in range(size)] self.size = size self.rear = 0 self.front =…

class Stack(object): """ 使用列表实现栈 """ def __init__(self): self.stack = [] def push(self, element): """ 添加元素进栈 :param element: :return: """ self.stack.append(element) def pop(self): ""&qu…