python+sklearn+kaggle机器学习

python+sklearn+kaggle机器学习

• 系列教程
• 0.kaggle
• 1. 初级线性回归模型机器学习过程
• • a. 提取数据
  • b.数据预处理
  • c.训练模型
  • d.根据数据预测
  • e.验证

今天是1024欸，发个贴拿个勋章
至于为什么1024这个数字很重要，因为1024是2的10次方

系列教程

补了一个系列关于这个的实例教程
机器学习参考篇: python+sklearn+kaggle机器学习
用python+sklearn(机器学习)实现天气预报 准备
用python+sklearn(机器学习)实现天气预报数据 数据
用python+sklearn(机器学习)实现天气预报 模型和使用

0.kaggle

kaggle是一个学习ml也就是机器学习的平台
上面会有教程教如何用python写机器学习和各式各样的机器学习竞赛

1. 初级线性回归模型机器学习过程

a. 提取数据

通过pd(pandas)和sklearn下的split，从csv文件提取和分割数据集
例:

from sklearn.model_selection import train_test_split
X=pd.read_csv("/kaggle/input/home-data-for-ml-course/train.csv")
y=X.SalePrice
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2,random_state=0)
X_train=X_train.drop(['SalePrice'],axis=1)

其中，read_csv就是从csv文件中提取数据集
train_test_split就是把一个完整的数据集和验证集以同等的比例分成2组不同的数据集和验证集
因为saleprice是我们要预测的数据，所以验证集里就只有这个的数据，而数据集里要剔除这个数据

b.数据预处理

在现实情况中，一些数据集是不完整的或数据是文本，所以要先对数据集预处理

1. 空数据处理
   根据情况用sklearn下的imputer或drop掉丢失数据的那一列
   比如丢失数据情况小于80%就drop掉，反之就用imputer填充
2. 分类处理
   为了把不同类型的数据转换到机器学习接受的数字类型的数据
   用sklearn库下的hotlablel或者label把非数字数值分类
   前者是把每一个非数值都新建一个列存放，后者是把每一个非数值标号，为了达到最高效，应该把种类数目不一样的列表分别处理，比如种类少就用hotlable，多就用label
3. (进阶操作)pineline
   用pineline组合以上的预处理步骤步骤

例:

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder
from sklearn.ensemble import RandomForestRegressor
from sklearn.preprocessing import LabelEncoder

# Preprocessing for numerical data
numerical_transformer = SimpleImputer(strategy='constant')

# Preprocessing for categorical data
categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
])
# Preprocessing for categorical data
categorical_transformer_1 = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('LabelEncoder', LabelEncoder())
])
object_cols=[col for col in X_train.columns if X_train[col].dtype=='object']
# Bundle preprocessing for numerical and categorical data
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numerical_transformer, [col for col in X_train.columns if not X_train[col].dtype=='object']),
        ('cat', categorical_transformer, object_cols)
    ])

其中object_cols数组是指数据类型非数字的列表

c.训练模型

先选择模型，比如XGB或者随机树(randomforest)
然后用fit来训练模型
例:

from xgboost import XGBRegressor
# Define model
model = XGBRegressor(n_estimators=5000, random_state=0,learning_rate=0.01,n_jobs=4)

# Bundle preprocessing and modeling code in a pipeline
clf = Pipeline(steps=[('preprocessor', preprocessor),
                      ('model', model)
                     ])

# Preprocessing of training data, fit model
clf.fit(X_train, y_train)

d.根据数据预测

用predict函数
例:

X_test=pd.read_csv("/kaggle/input/home-data-for-ml-course/test.csv")
pre=clf.predict(X_test)

e.验证

用MAE(mean_absolute_error)方法算出这个模型的分数(准确度)
例:

from sklearn.metrics import mean_absolute_error
a=mean_absolute_error(y_valid,pre)

在kaggle.com平台上都有详细的教程
其实学完后在简单的比赛拿top10%也是挺容易的