ML modeling process

一、数据读取Load Data

二、数据分析EDA

三、数据预处理

四、特征工程Feature engineering

五、modeling & Tuning

六、Result

七、other theory

L1 or L2? 

------------------------------------------------

一、数据读取Load Data

二、数据分析EDA

import matplotlib.pyplot as plt

import seaborn as sns

sns.stripplot()  分类散点图

sns.distplot()  直方图

sns.barplot()  条形图

sns.pairplot()  散点图矩阵

三、数据预处理

1.缺失值

2.离群值

3.标准化

数据的标准化是一个比较常用的数据预处理方法，其目的是处理不同量纲的数据，使其缩放到相同的数据区间和范围，以减少规模，特征、分布差异对模型的影响。标准化后的数据还具有了直接计算并生成符合指标的意义。

encoder = LabelEncoder()

encoder.fit_transform(train[your_feature + "_qbinned"].values.reshape(-1, 1))  ：  归一化

np.round(train.loc[:, your_feature].values)  ：  标准化

数据的标准化：Z-score、Max-Min、MaxAbs、RobustScaler  https://blog.csdn.net/weixin_37536446/article/details/81435461

from sklearn import preprocessing
#scaler = preprocessing.StandardScaler()
#scaler = preprocessing.MaxAbsScaler()
scaler = preprocessing.RobustScaler()
all_data.loc[:,numcols] = scaler.fit_transform(all_data[numcols])

4.降维技术

PCA 主成分分析 、factor analysis 因子分析 、ICA 独立成分分析 ，（KernelPCA、IncrementalPCA、Sparse PCA）

矩阵分解：SVD（奇异值分解）

四、特征工程Feature engineering

1.分箱：

pd.qcut(train.loc[:, your_feature].values,q=10,labels=False)  ：  quantile based binning（基于分位数的分箱，等分）

卡方分箱

2.标准化

3.删掉高相关性变量

all_data.corr()

corr_matrix = all_data.corr().abs()   #相关系数的绝对值

upper = corr_matrix.where(np.triu(np.ones(corr_matrix.shape), k=1).astype(np.bool))

to_drop = [c for c in upper.columns if any(upper[c] > 0.95)]   #相关系数大于0.95的删掉

4.kmeans ,对自变量进行聚类

5.LDA ，线性判别分析

6.NB 朴素贝叶斯算法：GaussianNB  ，BernoulliNB ，MultinomialNB

bnb = BernoulliNB(fit_prior=True)
bnb.fit(X_train, Y_train)
X_train_bnb = bnb.predict_log_proba(X_train)[:,1]
X_test_bnb = bnb.predict_log_proba(X_test)[:,1]
在scikit-learn中，一共有3个朴素贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。其中GaussianNB就是先验为高斯分布的朴
素贝叶斯，MultinomialNB就是先验为多项式分布的朴素贝叶斯，而BernoulliNB就是先验为伯努利分布的朴素贝叶斯。
https://www.cnblogs.com/pinard/p/6074222.html

7.LogisticRegression

8.SGDClassifier，梯度下降分类法

9.from sklearn.feature_selection import SelectKBest

10.Data augmentation  数据增强

数据增强程序 （数据增强就是过采样，此程序实现了对y=1的样本增加了2倍，对y=0的样本增加了1倍。中间对行数据进行了shuffle随机排列。）

五、modeling & tuning

5.1  modeling

LightGBM

GBDT

XGBoost

训练、测试样本的产生：Kfold、StratifiedKFold

GridSearch

5.2  Tuning 参数调优（精度、效率）

1.网络超参数自动化搜索 【调超参数】

Grid Search、Random Search、Heuristic Tuning启发式（手动调参）、

Automatic Hyperparameter Tuning 自动超参数调优（贝叶斯优化搜索、SMAC、TPE）

贝叶斯优化 https://www.cnblogs.com/marsggbo/p/9866764.html

                   https://www.cnblogs.com/marsggbo/p/10242962.html

2.最优化理论  【调模型参数】

BGD批量梯度下降、SGD随机梯度下降、MBGD小批量梯度下降 、

牛顿法、拟牛顿法、共轭梯度法

六、Result

roc curve / auc

ks