sklearn学习小结

机器学习的一般流程：

1、获取数据

2、数据预处理

3、数据集分拆

4、搭建模型

5、模型评估

6、模型保存

7、模型优化

接下来，以Sklearn为例，一一介绍。

1、获取数据

1.1、导入数据集：

要想使用sklearn中数据集，必须导入datasets模块：

from sklearn import datasets

iris = datasets.load_iris()

x=iris.data

y=iris.target

1.2、创建数据集：

相关接口如：make_blobs,make_classification,make_regression,make_moons

from sklearn.datasets.samples_generator import make_classification

x,y = make_classificatoin(n_samples=6,n_features=5,n_informative=2,n_redundant=2,

n_classes=2,n_cluster_per_class=2,scale=1.0,random_state=20)

2、数据预处理：

数据预处理是机器学习中不可或缺的一环，能使数据更加有效的被模型训练。

from sklearn import preprocessing

2.1、数据归一化

为了提高数据训练的速度和效率，需要在训练前对数据进行归一化。

train_data=[[1.4,2],[2.2,4],[4,5],[6,]]

scaler = preprocessing.StandardScaler().fit(train_data) #基于均值和方差的标准化

scaler = transform(train_data)

scaler = preprocessing.MinMaxScaler(feature_range=(0,1)).fit(train_data) #将特征值归一化到一个固定范围

2.2正则化

正则化的作用是防止过拟合，方法是：先求出样本范数，然后对样本所有元素除以该范数，使用每个样本的范数都为1.

x_norm = preprocessing.normalize(x,norm='l2')

2.3 Onehot独热编码

onehot编码是对离散特征值的一种编码方式。

onehot_encoder= preprocessing.OneHotEncoder().fit(data)

onehot_encoder.transform(data).toarray()

3、数据集分拆

通常在训练前会把数据集分拆成训练集和验证集， 以便我们在训练完模型后可以对模型进行验证。

from sklearn.mode_selection import train_test_split

train_x,test_x,train_y,test_y = train_test_split(x,y,test_size=0.3,random_state=42)

4、搭建模型

根据业务场景搜集数据，并决定采用什么样的模型。

4.1、线性回归

y=ax+b  :a is model.coef_,b is model.intercept_

from sklearn.linear_model import LinearRegression

model = LinearRegression(fit_intercept=True,normalize=False,copy_x=True,n_jobs=1)

4.2、逻辑回归

from sklearn.linear_model import LogisticRegression

model = LogisticRegression(penalty='l2',dual=False,tol=0.0001,C=1.0,fit_intercept=True,intercept_scaling=1,class_weight=None,random_state  =None,solver='liblinear',max_iter=100,multi_class='ovr',verbose=0,warm_start=False,n_jobs=1)

4.3 K近邻算法KNN

from sklearn import neighbors

model=neighbors.KNeighborsClassifier(n_neighbors=5,n_jobs=1)

model= neighbors.KNeighborsRegression(n_neighbors=5,n_jobs=1)

4.4 MLP(多层感知机)

from sklearn.neural_network import MLPClassifier

model = MLPClassifier(activation='relu',solver='adam',alpha=0.0001)

5、模型评估

5.1、交叉验证

from sklearn.model_selection import cross_val_score

cross_val_score(model,x,y=None,scoring=None,cv=None,n_job2=1)

5.2、检验曲线

from sklearn.model_selection import validation_curve

train_score,test_score = validation_curve(model,x,y,param_name,param_range,cv=None,scoring=None,n_jobs=1)

6、保存模型

我们可以将训练完的模型保存起来，为后续使用作准备。

6.1、保存为pickle

import pickle

with open('model.pickle','wb') as f: #保存模型

pickle.dump(model,f)

with open('model.pickle','rb') as f: #加载模型

model = pickle.load(f)

model.predict(test_x)

6.2、joblib

from sklearn.externals import joblib

joblib.dump(model,'model.pickle')  #保存模型

model= joblib.load('model.pickle') #加载模型

7、模型优化

7.1欠拟合

模型训练：

#数据集准备

from sklearn.datasets import load_boston

boston=load_boston()

x=boston.data

y=boston.target

#数据集分拆

from sklearn.model_selection import train_test_split

x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.2,random_state=3)

#模型训练与评估

import time

from sklearn.linear_model import LinearRegression

model=LinearRegression()

start=time.clock()

model.fit(x_train,y_train)

train_score=model.score(x_train,y_train)

cv_score=model.score(x_test,y_test)

print('elapse:{0:.6f} train_score:{1:0.6f} cv_score:{2:.6f}'.format(time.clock()-start,train_score,cv_score))

模型训练后，得分如下：

elapse:0.06375 train_score:0.723941  cv_score:0.794958

精度有些偏低，属于欠拟合现象。

优化方法如下：

from sklearn.linear_model import LinearRegression

from sklearn.preprocessing import PolynomialFeatures

from sklearn.pipeline import Pipeline

def polynomial_model(degree=1):

polynomial_features=PolynomialFeatures(degree=degree,include_bias=False)

linear_regression = LinearRegression(normalize=True)

pipeline=Pipeline(['polynomial_features',polynomial_features),('linear_regression',linear_regression)])

return pipeline

model = polynomial_model(degree=2)

start=time.clock()

model.fit(x_train,y_train)

train_score=model.score(x_train,y_train)

cv_score=model.score(x_test,y_test)

print('elapse:{0:.6f} train_score:{1:0.6f} cv_score:{2:.6f}'.format(time.clock()-start,train_score,cv_score))

模型训练后，新的得分如下：

elapse:0.009711 train_score:0.930547  cv_score:0.860465

改为三阶多项式后：

elapse:0.178630 train_score:1.000000  cv_score:-105.517015

训练样本分数达到了1，而测试样本的分数却是负数，说明过拟合了。