python机器学习的开发流程

标准机器学习的开发编程流程

关注公众号“轻松学编程”了解更多。

一、流程

标准机器学习的开发编程流程：

1、获取数据(爬虫、数据加载、业务部门获取)

2、数据建模(摘选样本数据(特征、目标))

3、数据清洗(异常值检测和过滤)

4、特征工程(归一化处理：提高算法模型的精度)

​ 归一化目的：使得每种特征数据的量级(权重)保持大致一致

​ 归一化方法(常用)：1.普通归一化处理 2. 区归一化 处理 3.使用函数

5、模型选择(分类、回归)

6、模型评估(打分，分类边界图，残差直方图)

7、算法调优(调整模型对象的参数值)

8、绘图

注意：以下命令都是在浏览器中输入。
cmd命令窗口输入：jupyter notebook
打开浏览器输入网址http://localhost:8888/

二、预测年收入是否大于50K美元

需求：读取adult.txt文件，最后一列是年收入，并使用KNN算法训练模型，然后使用模型预测一个人的年收入是否大于50 。

说明：获取年龄、教育程度、职位、每周工作时间作为机器学习数据 获取薪水作为对应结果 。

1、导包

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

from pandas import DataFrame,Series

#创建K-近邻算法模型
from sklearn.neighbors import KNeighborsClassifier
#对模型进行评分
from sklearn.model_selection import train_test_split

#内嵌画图
%matplotlib inline

2、获取数据

data=pd.read_csv(r'./adults.txt')

3、数据建模

3.1 摘取特征数据

features=data[['age','education_num','occupation',
			'hours_per_week']]
features.head()

由于特征数据中有字符串型数据，需要转换成实质性数据才能参与运算。

3.1.1 数据转换

将职业中的String类型数据转换为Number。

思路：

• 获取职业种类n，然后根据创建一个n行n列的对角矩阵；
• 对职业列表中的每一种职业进行映射，得到一个n列的一维数组；
• 把职业这一列拆分成n列；
• 把特征数据的所有列转换成m列1行的二维数组
• 把二维数组合并形成新的特征数据(模型运算时需要的是二维数组)

#获取特征数据中职业有几种
unique=features['occupation'].unique()
occ_size=unique.size
# 把df中的某一列字符串转成对角矩阵
dm=np.eye(occ_size)
def str2Num(occ):
    global dm
    #获取当前职业在数组unique中的下标
    index=np.argwhere(occ==unique)[0][0]
    return dm[index]

#对职业进行映射
features['occupation']=features.occupation.map(str2Num)

features.head()

#features['occupation'].unique().size的值为15
# occupation现在是一个1行15列的一维数组，把occupation分拆成15列，
#然后把每一列级联
occ1=features['occupation'][0]
for item in features['occupation'][1:]:
    occ1=np.concatenate((occ1,item))

#转成二维数组
occupation=occ1.reshape(-1,15)
ages=features['age'].reshape(-1,1)
education_nums=features['education_num'].reshape(-1,1)
hours_per_week=features['hours_per_week'].reshape(-1,1)
#把每一列级联
new_features=np.hstack((occupation,h_age_edu,hours_per_week))

new_features

3.2 摘取目标数据

target=data['salary']
target.head()

4、模型选择

选择分类模型来训练。

#random_state=1 : 固定随机状态种子
x_train,x_test,y_train,y_test=train_test_split(new_features,
											target,
											test_size=0.2,
										    random_state=1)

训练模型

#k先取值为5，可根据后面评分高低调优
knn=KNeighborsClassifier(n_neighbors=5)
#训练模型
knn.fit(x_train,y_train)

5、模型评分

#评分
knn.score(x_test,y_test)

6、算法调优(调整模型对象的参数值)

knn=KNeighborsClassifier(n_neighbors=20)
#训练模型
knn.fit(x_train,y_train)
#重新评分
knn.score(x_test,y_test)

7、预测

knn.predict(x_test)

后记

【后记】为了让大家能够轻松学编程，我创建了一个公众号【轻松学编程】，里面有让你快速学会编程的文章，当然也有一些干货提高你的编程水平，也有一些编程项目适合做一些课程设计等课题。

也可加我微信【1257309054】，拉你进群，大家一起交流学习。
如果文章对您有帮助，请我喝杯咖啡吧！

公众号

关注我，我们一起成长~~