机器学习——线性回归-KNN-决策树(实例)

导入类库

 import numpy as np
 import pandas as pd
 from sklearn.linear_model import LinearRegression
 from sklearn.preprocessing import StandardScaler
 from sklearn.neighbors import KNeighborsClassifier
 from sklearn.feature_extraction import DictVectorizer
 from sklearn.tree import DecisionTreeClassifier

线性回归

 def price_predict():
     # 数据有三个特征：距离地铁距离、附近小学数量、小区绿化率
     X = np.array([[500.0, 3.0, 0.3], [1000.0, 1.0, 0.6], [750.0, 2.0, 0.3], [600.0, 5.0, 0.2], [1200.0, 1.0, 0.6]])
     # 具有三个特征的房屋对应的房价
     Y = np.array([10000, 9000, 8000, 12000, 8500])

     # 标准化,按列转化，转化到数据均值为0方差为1的标准分布内
     std_x = StandardScaler()
     x_train = std_x.fit_transform(X)
     std_y = StandardScaler()
     y_train = std_y.fit_transform(Y.reshape(-1, 1))

     # 构建线性预测模型
     lr = LinearRegression()
     # 模型在历史数据上进行训练，Y.reshape(-1,1)将Y变为二维数组，fit函数要求二维数组
     lr.fit(x_train, y_train)

     # 使用训练模型预测新房屋价格
     x_predict = std_x.transform(np.array([[1300, 3.0, 0.4]]))
     print(std_y.inverse_transform(lr.predict(x_predict)))

KNN

 # K近邻分类(K表示以最近的几个邻居作为分类的指标)
 # KNN表示了物以类聚人以群分的基本思考方法，最近的K个邻居是什么类别，预测样本就会被划为该类别
 def knn_predict_rev():
     # 数据理解为二维坐标上的6歌点
     X = np.array([[1.0, 1.0], [1, 1.5], [0.5, 1.5], [3.0, 3.0], [3.0, 3.5], [2.8, 3.1]])
     # 6个点的类别，按顺序和X依次对应
     Y = np.array([0, 0, 0, 1, 1, 1])

     # n_neighbors就是KNN中的K
     knn = KNeighborsClassifier(n_neighbors=3)
     knn.fit(X, Y)
     print(knn.predict(np.array([[2.0, 3.0]])))

决策树

 def decide_play():
     '''
     ID3
     :return:
     '''
     df = pd.read_csv('dtree.csv')
     # 将数据转换为字典格式，orient='record'参数指定数据格式为{column:value}的形式
     # 一个字典对应一行数据
     dict_train = df.loc[:, ['Outlook', 'Temperatur', 'Humidity', 'Windy']].to_dict(orient='record')
     # 如果pandas从DataFrame取出一列数据，该数据类型会变成Series
     dict_target = pd.DataFrame(df['PlayGolf'], columns=['PlayGolf']).to_dict(orient='record')

     # 训练数据字典向量化
     dv_train = DictVectorizer()
     x_train = dv_train.fit_transform(dict_train)
     # 目标数据字典向量化
     dv_target = DictVectorizer()
     y_target = dv_target.fit_transform(dict_target)

     # 创建决策树
     d_tree = DecisionTreeClassifier()
     # 训练数据
     d_tree.fit(x_train, y_target)
     data_predict = {
         'Humidity': 85,
         'Outlook': 'sunny',
         'Temperatur': 85,
         'Windy': False
     }
     # 标准化要预测的数据
     x_data = dv_train.transform(data_predict)
     # 预测数据并转换为原格式
     print(dv_target.inverse_transform(d_tree.predict(x_data)))