机器学习 1 linear regression 作业(二)

这个线性回归的作业需要上传到https://inclass.kaggle.com/c/ml2016-pm2-5-prediction 上面，这是一个kaggle比赛的网站。第一次接触听说这个东西，恰好在京东上有一本刚出来的关于这个的书《Python机器学习及实践：从零开始通往Kaggle竞赛之路》。把我自己写的代码运行保存的结果提交上去后发现，损失函数值很大，baseline是6，而我的却是8，于是很不心甘，尝试了其他方法无果后，准备利用scikit learn 工具刷刷数据。

具体步骤：

1 安装scikit learn  ，在CMD下输入

pip install -U scikit-learn

2 安装完成后就可以使用模型进行预测了，上完整代码

 # -*- coding: utf-8 -*-
 __author__ = 'Administrator'

 # -*- coding:UTF-8 -*-
 __author__ = 'tao'

 import csv
 import cv2
 import sys
 import numpy as np
 import matplotlib.pyplot as plt
 from sklearn import datasets, linear_model
 import math

 filename = 'F:/台湾机器学习/data/train.csv'
 ufilename = unicode(filename , "utf8") #这一块主要是因为汉字路径 也就是python调用open打开文件时，其路径必须要转换为utf-8格式
 list=[]
 result=[]
 row=0
 colum=0;
 with open(ufilename, 'r') as f:
     data = f.readlines()  #dat中所有字符串读入data
     for line in data:
         odom = line.split(',')        #将单个数据分隔开存好
         colum=len(odom)
         if 'PM2.5'in odom:
             lists= map(int, odom[3:12])#第三个开始开始数据  一直取9个数
             results= map(int, odom[12:13])#取第10个数
             list.append(lists)
             result.append(results)
             # print odom
         row=row+1

 #print("原始数据是：{0}行 ：{1}列 的数据".format(row, colum))
 print("有{0}个训练数据".format(len(list)))

 ###

 regr = linear_model.LinearRegression()
 regr.fit(list, result) #这里就是在训练模型了
 print(' intercept: \n', regr. intercept_) #这就是w0，常数项
 print('Coefficients: \n', regr.coef_) #这就是w1，常数项

 b_0=regr. intercept_
 th =regr.coef_;

 print("-训练得到的权值如下--")
 print" %10.5f %10.5f  %10.5f %10.5f   %10.5f  %10.5f  %10.5f %10.5f   %10.5f  %10.5f \n" %(b_0,th[0][0],th[0][1],th[0][2],th[0][3],th[0][4],th[0][5],th[0][6],th[0][7],th[0][8])

 #测试训练集
 for k in range(len(list)):
     xset = np.array(list[k])
     nptresult= np.array(result[k])
     # print("预测数据{0}".format( b_0 + np.dot(th,xset)))
     # print("真实数据{0}".format(nptresult))
     error= b_0 + np.dot(th,xset)-nptresult
     print("训练集的实际误差{0}".format(error))

 #读取测试集数据
 testfilename = 'F:/台湾机器学习/data/test_X.csv'
 utestfilename = unicode(testfilename , "utf8") #这一块主要是因为汉字路径 也就是python调用open打开文件时，其路径必须要转换为utf-8格式
 testlist=[]
 testrow=0
 testcolum=0;
 with open(utestfilename, 'r') as f:
     data = f.readlines()  #dat中所有字符串读入data
     for line in data:
         odom = line.split(',')        #将单个数据分隔开存好
         colum=len(odom)
         if 'PM2.5'in odom:
             testlists= map(int, odom[2:11])#第三个开始开始数据  一直取9个数
             testlist.append(testlists)
             # print odom
         testrow=row+1

 print("测试数据是：{0}行 ：{1}列 的数据".format(testrow, testcolum))
 print("有{0}个测试数据".format(len(testlist)))
 print(testlist)

 #输出最后的测试结果
 csvfile = file('d:\\csv_result.csv', 'wb')
 writer = csv.writer(csvfile)
 writer.writerow(['id', 'value'])
 for k in range(len(testlist)):
     id_list=[]
     xset = np.array(testlist[k])
     result= b_0 +np.dot(th,xset)
     int_result = int(result)
     if(int_result<0):
         int_result=0
     id_list = [('id_{0}'.format(k), '{0}'.format(int_result))]
     print(id_list)
     writer.writerows(id_list)
 csvfile.close()

得到的程序

-训练得到的权值如下--
bo 1.86833  wo -0.07357  w1 0.08100  w2 0.16498  w3-0.25133 w4 -0.05844 w5 0.67979 w5 -0.66656 w6 -0.12575 w7 1.22998

然后试了试：

from sklearn.linear_model import Ridge
from sklearn.linear_model import Lasso
from sklearn.ensemble import GradientBoostingRegressor as GBR
下面三种回归方法，都没有达到好的排名。。。囧，

#regr = linear_model.LinearRegression()
#regr = linear_model.Ridge()
# regr = linear_model.Lasso()
regr =  GBR()

regr.fit(list, result) #这里就是在训练模型了

print(' intercept: \n', regr. intercept_) #这就是w0，常数项
print('Coefficients: \n', regr.coef_) #这就是w1，常数项
###

 error=  regr.predict(xset)-nptresult

参考博客：http://blog.csdn.net/sa14023053/article/details/51817650

算了，超过baseline就心满意足了。