【udacity】机器学习-波士顿房价预测小结
Evernote Export
机器学习的运行步骤
1.导入数据
没什么注意的,成功导入数据集就可以了,打印看下数据的标准格式就行
用个info和describe
2.分析数据
这里要详细分析数据的内容,看看缺省值和数据的特征,主要是为了看到数据的特征,并且人肉分析一下特征值对目标值的大约影响,嗯,就是这样
然后开始划分数据,将数据分为两个部分,一个数据的特征值(features),一个是数据的目标值(target)
这里要用到数据的基本操作,有数据清洗和数据整理等内容。
重点:数据的分割,这里就需要将数据集(如果只有一个数据集)分割为两个部分,一个是训练集,一个是测试集
这里使用的是
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(features,prices,test_size=0.2,random_state=10)
3.模型衡量标准
这里稍微有点懵,因为这一步并不会在接下来马上使用,而是在过程中,你需要评估的一种方式,我这里把这种方式应该是作为一个模块化编程的方式来学习的,而不是部分交互式编程的方式
- 使用 sklearn.metrics 中的 r2_score 来计算 y_true 和 y_predict的R2值,作为对其表现的评判。
- 将他们的表现评分储存到score变量中。
设立模型的衡量标准主要是为了确定你的模型拟合程度
def performance_metric(y_true, y_predict):
"""计算并返回预测值相比于预测值的分数"""
from sklearn.metrics import r2_score
score = r2_score(y_true, y_predict)
return score
4.分析模型表现
这里应该是有对算法的模型选型的过程,这里跳过的原因是因为这一章我们是站在已经有数据模型的方向去考虑问题的,所以跳过了模型的选型和测试的环节,实际上这里应该是最花时间的地方,需要你调参的地方也会很多。
它们是一个决策树模型在不同最大深度下的表现。每一条曲线都直观得显示了随着训练数据量的增加,模型学习曲线的在训练集评分和验证集评分的变化,评分使用决定系数R2。曲线的阴影区域代表的是该曲线的不确定性(用标准差衡量)
5.选择最优参数
选择最优参数的时候也是在已经确定了模型以后的简单调参了,就是选择了决策树的最大深度
6.做出预测
没什么说的,就是带入新的数据进行模拟运算
%23%23%23%20%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9A%84%E8%BF%90%E8%A1%8C%E6%AD%A5%E9%AA%A4%0A%23%23%23%23%201.%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE%0A%E6%B2%A1%E4%BB%80%E4%B9%88%E6%B3%A8%E6%84%8F%E7%9A%84%EF%BC%8C%E6%88%90%E5%8A%9F%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE%E9%9B%86%E5%B0%B1%E5%8F%AF%E4%BB%A5%E4%BA%86%EF%BC%8C%E6%89%93%E5%8D%B0%E7%9C%8B%E4%B8%8B%E6%95%B0%E6%8D%AE%E7%9A%84%E6%A0%87%E5%87%86%E6%A0%BC%E5%BC%8F%E5%B0%B1%E8%A1%8C%0A%E7%94%A8%E4%B8%AAinfo%E5%92%8Cdescribe%0A%23%23%23%23%202.%E5%88%86%E6%9E%90%E6%95%B0%E6%8D%AE%0A%E8%BF%99%E9%87%8C%E8%A6%81%E8%AF%A6%E7%BB%86%E5%88%86%E6%9E%90%E6%95%B0%E6%8D%AE%E7%9A%84%E5%86%85%E5%AE%B9%EF%BC%8C%E7%9C%8B%E7%9C%8B%E7%BC%BA%E7%9C%81%E5%80%BC%E5%92%8C%E6%95%B0%E6%8D%AE%E7%9A%84%E7%89%B9%E5%BE%81%EF%BC%8C%E4%B8%BB%E8%A6%81%E6%98%AF%E4%B8%BA%E4%BA%86%E7%9C%8B%E5%88%B0%E6%95%B0%E6%8D%AE%E7%9A%84%E7%89%B9%E5%BE%81%EF%BC%8C%E5%B9%B6%E4%B8%94%E4%BA%BA%E8%82%89%E5%88%86%E6%9E%90%E4%B8%80%E4%B8%8B%E7%89%B9%E5%BE%81%E5%80%BC%E5%AF%B9%E7%9B%AE%E6%A0%87%E5%80%BC%E7%9A%84%E5%A4%A7%E7%BA%A6%E5%BD%B1%E5%93%8D%EF%BC%8C%E5%97%AF%EF%BC%8C%E5%B0%B1%E6%98%AF%E8%BF%99%E6%A0%B7%0A%E7%84%B6%E5%90%8E%E5%BC%80%E5%A7%8B%E5%88%92%E5%88%86%E6%95%B0%E6%8D%AE%EF%BC%8C%E5%B0%86%E6%95%B0%E6%8D%AE%E5%88%86%E4%B8%BA%E4%B8%A4%E4%B8%AA%E9%83%A8%E5%88%86%EF%BC%8C%E4%B8%80%E4%B8%AA%E6%95%B0%E6%8D%AE%E7%9A%84%E7%89%B9%E5%BE%81%E5%80%BC(features)%EF%BC%8C%E4%B8%80%E4%B8%AA%E6%98%AF%E6%95%B0%E6%8D%AE%E7%9A%84%E7%9B%AE%E6%A0%87%E5%80%BC(target)%0A%E8%BF%99%E9%87%8C%E8%A6%81%E7%94%A8%E5%88%B0%E6%95%B0%E6%8D%AE%E7%9A%84%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C%EF%BC%8C%E6%9C%89%E6%95%B0%E6%8D%AE%E6%B8%85%E6%B4%97%E5%92%8C%E6%95%B0%E6%8D%AE%E6%95%B4%E7%90%86%E7%AD%89%E5%86%85%E5%AE%B9%E3%80%82%0A**%E9%87%8D%E7%82%B9%EF%BC%9A%E6%95%B0%E6%8D%AE%E7%9A%84%E5%88%86%E5%89%B2%EF%BC%8C%E8%BF%99%E9%87%8C%E5%B0%B1%E9%9C%80%E8%A6%81%E5%B0%86%E6%95%B0%E6%8D%AE%E9%9B%86(%E5%A6%82%E6%9E%9C%E5%8F%AA%E6%9C%89%E4%B8%80%E4%B8%AA%E6%95%B0%E6%8D%AE%E9%9B%86)%E5%88%86%E5%89%B2%E4%B8%BA%E4%B8%A4%E4%B8%AA%E9%83%A8%E5%88%86%EF%BC%8C%E4%B8%80%E4%B8%AA%E6%98%AF%E8%AE%AD%E7%BB%83%E9%9B%86%EF%BC%8C%E4%B8%80%E4%B8%AA%E6%98%AF%E6%B5%8B%E8%AF%95%E9%9B%86**%0A%3E%E8%BF%99%E9%87%8C%E4%BD%BF%E7%94%A8%E7%9A%84%E6%98%AF%0A%60%60%60python%0Afrom%20sklearn.model_selection%20import%20train_test_split%0AX_train%2C%20X_test%2C%20y_train%2C%20y_test%20%3D%20train_test_split(features%2Cprices%2Ctest_size%3D0.2%2Crandom_state%3D10)%0A%60%60%60%0A%0A%23%23%23%23%203.%E6%A8%A1%E5%9E%8B%E8%A1%A1%E9%87%8F%E6%A0%87%E5%87%86%0A%E8%BF%99%E9%87%8C%E7%A8%8D%E5%BE%AE%E6%9C%89%E7%82%B9%E6%87%B5%EF%BC%8C%E5%9B%A0%E4%B8%BA%E8%BF%99%E4%B8%80%E6%AD%A5%E5%B9%B6%E4%B8%8D%E4%BC%9A%E5%9C%A8%E6%8E%A5%E4%B8%8B%E6%9D%A5%E9%A9%AC%E4%B8%8A%E4%BD%BF%E7%94%A8%EF%BC%8C%E8%80%8C%E6%98%AF%E5%9C%A8%E8%BF%87%E7%A8%8B%E4%B8%AD%EF%BC%8C%E4%BD%A0%E9%9C%80%E8%A6%81%E8%AF%84%E4%BC%B0%E7%9A%84%E4%B8%80%E7%A7%8D%E6%96%B9%E5%BC%8F%EF%BC%8C%E6%88%91%E8%BF%99%E9%87%8C%E6%8A%8A%E8%BF%99%E7%A7%8D%E6%96%B9%E5%BC%8F%E5%BA%94%E8%AF%A5%E6%98%AF%E4%BD%9C%E4%B8%BA%E4%B8%80%E4%B8%AA%E6%A8%A1%E5%9D%97%E5%8C%96%E7%BC%96%E7%A8%8B%E7%9A%84%E6%96%B9%E5%BC%8F%E6%9D%A5%E5%AD%A6%E4%B9%A0%E7%9A%84%EF%BC%8C%E8%80%8C%E4%B8%8D%E6%98%AF%E9%83%A8%E5%88%86%E4%BA%A4%E4%BA%92%E5%BC%8F%E7%BC%96%E7%A8%8B%E7%9A%84%E6%96%B9%E5%BC%8F%0A%0A*%20%E4%BD%BF%E7%94%A8%C2%A0sklearn.metrics%C2%A0%E4%B8%AD%E7%9A%84%C2%A0r2_score%C2%A0%E6%9D%A5%E8%AE%A1%E7%AE%97%C2%A0y_true%C2%A0%E5%92%8C%C2%A0y_predict%E7%9A%84R2%E5%80%BC%EF%BC%8C%E4%BD%9C%E4%B8%BA%E5%AF%B9%E5%85%B6%E8%A1%A8%E7%8E%B0%E7%9A%84%E8%AF%84%E5%88%A4%E3%80%82%0A*%20%E5%B0%86%E4%BB%96%E4%BB%AC%E7%9A%84%E8%A1%A8%E7%8E%B0%E8%AF%84%E5%88%86%E5%82%A8%E5%AD%98%E5%88%B0score%E5%8F%98%E9%87%8F%E4%B8%AD%E3%80%82%0A**%E8%AE%BE%E7%AB%8B%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A1%A1%E9%87%8F%E6%A0%87%E5%87%86%E4%B8%BB%E8%A6%81%E6%98%AF%E4%B8%BA%E4%BA%86%E7%A1%AE%E5%AE%9A%E4%BD%A0%E7%9A%84%E6%A8%A1%E5%9E%8B%E6%8B%9F%E5%90%88%E7%A8%8B%E5%BA%A6**%0A%60%60%60python%0Adef%20performance_metric(y_true%2C%20y_predict)%3A%0A%20%20%20%20%22%22%22%E8%AE%A1%E7%AE%97%E5%B9%B6%E8%BF%94%E5%9B%9E%E9%A2%84%E6%B5%8B%E5%80%BC%E7%9B%B8%E6%AF%94%E4%BA%8E%E9%A2%84%E6%B5%8B%E5%80%BC%E7%9A%84%E5%88%86%E6%95%B0%22%22%22%0A%20%20%20%20from%20%20sklearn.metrics%20import%20r2_score%0A%20%20%20%20score%20%3D%20r2_score(y_true%2C%20y_predict)%0A%0A%20%20%20%20return%20score%0A%60%60%60%0A%23%23%23%23%204.%E5%88%86%E6%9E%90%E6%A8%A1%E5%9E%8B%E8%A1%A8%E7%8E%B0%0A%E8%BF%99%E9%87%8C%E5%BA%94%E8%AF%A5%E6%98%AF%E6%9C%89%E5%AF%B9%E7%AE%97%E6%B3%95%E7%9A%84%E6%A8%A1%E5%9E%8B%E9%80%89%E5%9E%8B%E7%9A%84%E8%BF%87%E7%A8%8B%EF%BC%8C%E8%BF%99%E9%87%8C%E8%B7%B3%E8%BF%87%E7%9A%84%E5%8E%9F%E5%9B%A0%E6%98%AF%E5%9B%A0%E4%B8%BA%E8%BF%99%E4%B8%80%E7%AB%A0%E6%88%91%E4%BB%AC%E6%98%AF%E7%AB%99%E5%9C%A8%E5%B7%B2%E7%BB%8F%E6%9C%89%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%96%B9%E5%90%91%E5%8E%BB%E8%80%83%E8%99%91%E9%97%AE%E9%A2%98%E7%9A%84%EF%BC%8C%E6%89%80%E4%BB%A5%E8%B7%B3%E8%BF%87%E4%BA%86%E6%A8%A1%E5%9E%8B%E7%9A%84%E9%80%89%E5%9E%8B%E5%92%8C%E6%B5%8B%E8%AF%95%E7%9A%84%E7%8E%AF%E8%8A%82%EF%BC%8C%E5%AE%9E%E9%99%85%E4%B8%8A%E8%BF%99%E9%87%8C%E5%BA%94%E8%AF%A5%E6%98%AF%E6%9C%80%E8%8A%B1%E6%97%B6%E9%97%B4%E7%9A%84%E5%9C%B0%E6%96%B9%EF%BC%8C%E9%9C%80%E8%A6%81%E4%BD%A0%E8%B0%83%E5%8F%82%E7%9A%84%E5%9C%B0%E6%96%B9%E4%B9%9F%E4%BC%9A%E5%BE%88%E5%A4%9A%E3%80%82%0A%0A%3E%E5%AE%83%E4%BB%AC%E6%98%AF%E4%B8%80%E4%B8%AA%E5%86%B3%E7%AD%96%E6%A0%91%E6%A8%A1%E5%9E%8B%E5%9C%A8%E4%B8%8D%E5%90%8C%E6%9C%80%E5%A4%A7%E6%B7%B1%E5%BA%A6%E4%B8%8B%E7%9A%84%E8%A1%A8%E7%8E%B0%E3%80%82%E6%AF%8F%E4%B8%80%E6%9D%A1%E6%9B%B2%E7%BA%BF%E9%83%BD%E7%9B%B4%E8%A7%82%E5%BE%97%E6%98%BE%E7%A4%BA%E4%BA%86%E9%9A%8F%E7%9D%80%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E9%87%8F%E7%9A%84%E5%A2%9E%E5%8A%A0%EF%BC%8C%E6%A8%A1%E5%9E%8B%E5%AD%A6%E4%B9%A0%E6%9B%B2%E7%BA%BF%E7%9A%84%E5%9C%A8%E8%AE%AD%E7%BB%83%E9%9B%86%E8%AF%84%E5%88%86%E5%92%8C%E9%AA%8C%E8%AF%81%E9%9B%86%E8%AF%84%E5%88%86%E7%9A%84%E5%8F%98%E5%8C%96%EF%BC%8C%E8%AF%84%E5%88%86%E4%BD%BF%E7%94%A8%E5%86%B3%E5%AE%9A%E7%B3%BB%E6%95%B0R2%E3%80%82%E6%9B%B2%E7%BA%BF%E7%9A%84%E9%98%B4%E5%BD%B1%E5%8C%BA%E5%9F%9F%E4%BB%A3%E8%A1%A8%E7%9A%84%E6%98%AF%E8%AF%A5%E6%9B%B2%E7%BA%BF%E7%9A%84%E4%B8%8D%E7%A1%AE%E5%AE%9A%E6%80%A7%EF%BC%88%E7%94%A8%E6%A0%87%E5%87%86%E5%B7%AE%E8%A1%A1%E9%87%8F%EF%BC%89%0A%0A%23%23%23%23%205.%E9%80%89%E6%8B%A9%E6%9C%80%E4%BC%98%E5%8F%82%E6%95%B0%0A%E9%80%89%E6%8B%A9%E6%9C%80%E4%BC%98%E5%8F%82%E6%95%B0%E7%9A%84%E6%97%B6%E5%80%99%E4%B9%9F%E6%98%AF%E5%9C%A8%E5%B7%B2%E7%BB%8F%E7%A1%AE%E5%AE%9A%E4%BA%86%E6%A8%A1%E5%9E%8B%E4%BB%A5%E5%90%8E%E7%9A%84%E7%AE%80%E5%8D%95%E8%B0%83%E5%8F%82%E4%BA%86%EF%BC%8C%E5%B0%B1%E6%98%AF%E9%80%89%E6%8B%A9%E4%BA%86%E5%86%B3%E7%AD%96%E6%A0%91%E7%9A%84%E6%9C%80%E5%A4%A7%E6%B7%B1%E5%BA%A6%0A%0A%23%23%23%23%206.%E5%81%9A%E5%87%BA%E9%A2%84%E6%B5%8B%0A%E6%B2%A1%E4%BB%80%E4%B9%88%E8%AF%B4%E7%9A%84%EF%BC%8C%E5%B0%B1%E6%98%AF%E5%B8%A6%E5%85%A5%E6%96%B0%E7%9A%84%E6%95%B0%E6%8D%AE%E8%BF%9B%E8%A1%8C%E6%A8%A1%E6%8B%9F%E8%BF%90%E7%AE%97
【udacity】机器学习-波士顿房价预测小结的更多相关文章
- 【udacity】机器学习-波士顿房价预测
import numpy as np import pandas as pd from Udacity.model_check.boston_house_price import visuals as ...
- 波士顿房价预测 - 最简单入门机器学习 - Jupyter
机器学习入门项目分享 - 波士顿房价预测 该分享源于Udacity机器学习进阶中的一个mini作业项目,用于入门非常合适,刨除了繁琐的部分,保留了最关键.基本的步骤,能够对机器学习基本流程有一个最清晰 ...
- 机器学习实战二:波士顿房价预测 Boston Housing
波士顿房价预测 Boston housing 这是一个波士顿房价预测的一个实战,上一次的Titantic是生存预测,其实本质上是一个分类问题,就是根据数据分为1或为0,这次的波士顿房价预测更像是预测一 ...
- Python之机器学习-波斯顿房价预测
目录 波士顿房价预测 导入模块 获取数据 打印数据 特征选择 散点图矩阵 关联矩阵 训练模型 可视化 波士顿房价预测 导入模块 import pandas as pd import numpy as ...
- Tensorflow之多元线性回归问题(以波士顿房价预测为例)
一.根据波士顿房价信息进行预测,多元线性回归+特征数据归一化 #读取数据 %matplotlib notebook import tensorflow as tf import matplotlib. ...
- 《用Python玩转数据》项目—线性回归分析入门之波士顿房价预测(二)
接上一部分,此篇将用tensorflow建立神经网络,对波士顿房价数据进行简单建模预测. 二.使用tensorflow拟合boston房价datasets 1.数据处理依然利用sklearn来分训练集 ...
- chapter02 回归模型在''美国波士顿房价预测''问题中实践
#coding=utf8 # 从sklearn.datasets导入波士顿房价数据读取器. from sklearn.datasets import load_boston # 从sklearn.mo ...
- 基于sklearn的波士顿房价预测_线性回归学习笔记
> 以下内容是我在学习https://blog.csdn.net/mingxiaod/article/details/85938251 教程时遇到不懂的问题自己查询并理解的笔记,由于sklear ...
- 02-11 RANSAC算法线性回归(波斯顿房价预测)
目录 RANSAC算法线性回归(波斯顿房价预测) 一.RANSAC算法流程 二.导入模块 三.获取数据 四.训练模型 五.可视化 更新.更全的<机器学习>的更新网站,更有python.go ...
随机推荐
- dancing links 题集转自夏天的风
POJ3740 Easy Finding [精确覆盖基础题] HUST1017 Exact cover [精确覆盖基础] HDOJ3663 Power Stations [精确覆盖] Z ...
- hdu 3714 三分
#include<stdio.h> #define mi 1e-9 #define N 11000 struct node{ double x,y,z; }a[N]; int n; dou ...
- [bzoj3282]Tree_LCT
Tree bzoj-3282 题目大意:给你n个点m个操作.更改单点权值,加边,删边:查询路径异或和. 注释:$1\le n,m\le 10^5$ 想法:看到了加边删边,果断想到LCT维护.至于路径异 ...
- iOS项目开发实战——使用Xcode6设计自己定义控件与图形
在iOS开发中,有很多控件都是Xcode默认提供的.使用这些控件是很方便的.可是因为某些须要.须要自己设计控件,那么应该怎么做呢?在Xcode6中提供了这种接口,同意开发人员高速开发自己定义控件,而且 ...
- Visual C++ RunTime的特征——非烫即屯
Visual C++ RunTime的特征——非烫即屯 大一刚学C语言,第二次上机课,当我发现我照着书抄写的程序在运行之外的黑框里面跳出一排“烫烫烫烫烫”,当时就震惊了.你们能想象一个来自小城,在大学 ...
- The Triangle--nyoj 18
The Triangle 时间限制:1000 ms | 内存限制:65535 KB 难度:4 描述 7 3 8 8 1 0 2 7 4 4 4 5 2 6 5 (Figure 1) Figure ...
- linux系统下块设备驱动程序
顾名思义,块设备驱动程序就是支持以块的方式进行读写的设备.块设备和字符设备最大的区别在于读写数据的基本单元不同.块设备读写数据的基本单元为块,例 如磁盘通常为一个sector,而字符设备的基本单元为字 ...
- Ajax+Java实现大文件切割上传
技术体系:html5(formdata) + java + servlet3.0+maven + tomcat7 <!DOCTYPE html> <html> <head ...
- HBase编程 API入门系列之delete.deleteColumn和delete.deleteColumns区别(客户端而言)(4)
心得,写在前面的话,也许,中间会要多次执行,连接超时,多试试就好了. delete.deleteColumn和delete.deleteColumns区别是: deleteColumn是删除某一个列簇 ...
- Canvas实现环形进度条
Canvas实现环形进度条 直接上代码: <canvas width="200" height="200" >60%</canvas> ...