[特征工程] encoding

参考：An Overview of Encoding Techniques | Kaggle

Method 1: Label encoding 

给每个类别以一个数字label，作为分类。将类别映射到自然数数值空间上

from sklearn.preprocessing import LabelEncoder
train=pd.DataFrame()
label=LabelEncoder()
for c in  X.columns:
    if(X[c].dtype=='object'):
        train[c]=label.fit_transform(X[c])
    else:
        train[c]=X[c]
        

Method 2 : One hot encoding 

即独热码，每一个category对应特征向量中的一位，对应位置是否为1判定是否为该类。

可以使用pd.get_dummies()或sklearn.preprocessing中OneHotEncoder

from sklearn.preprocessing import OneHotEncoder
one=OneHotEncoder(
one.fit(X)
train=one.transform(X)

Method 3 : Feature Hashing/Hashing Trick

一个“one hot encoding style” 的编码方式，将数据编入特定维数的散度矩阵中，降维中使用了hash方法。

from sklearn.feature_extraction import FeatureHasher
X_train_hash=X.copy()
for c in X.columns:
    X_train_hash[c]=X[c].astype('str')
hashing=FeatureHasher(input_type='string')
train=hashing.transform(X_train_hash.values)

Method 4 :Encoding categories with dataset statistics

尝试为模型提供较低维的每个类别的表示，且其中类似的类别的表示相近。 最简单的方法是将每个类别替换为我们在数据集中看到它的次数，即用出现频率作为他们的embedding。

X_train_stat=X.copy()
for c in X_train_stat.columns:
    if(X_train_stat[c].dtype=='object'):
        X_train_stat[c]=X_train_stat[c].astype('category')
        counts=X_train_stat[c].value_counts()
        counts=counts.sort_index()
        counts=counts.fillna(0)
        counts += np.random.rand(len(counts))/1000
        X_train_stat[c].cat.categories=counts
    

对于循环出现的特征，例如日期，星期等，常用sin\cos将其转为二维空间中的数据。这是基于“循环”的性质，类似于对圆进行分割。

X_train_cyclic=X.copy()
columns=['day','month']
for col in columns:
    X_train_cyclic[col+'_sin']=np.sin((2*np.pi*X_train_cyclic[col])/max(X_train_cyclic[col]))
    X_train_cyclic[col+'_cos']=np.cos((2*np.pi*X_train_cyclic[col])/max(X_train_cyclic[col]))
X_train_cyclic=X_train_cyclic.drop(columns,axis=1)

one=OneHotEncoder()
one.fit(X_train_cyclic)
train=one.transform(X_train_cyclic)

Method 5 : Target encoding 

Target encoding 通过目标数据对类别变量进行编码，使用目标对应概率或平均概率替换该类别，即出现频次相近的被视为同一类（大城市，热门项等）。这个方法比较依赖训练集与测试集合的分布，要求他们数据分布一致。另外，这种方法可能会导致过拟合。

　　　　　　　　　　　　　　　　　　　　 

X_target=df_train.copy()
X_target['day']=X_target['day'].astype('object')
X_target['month']=X_target['month'].astype('object')
for col in X_target.columns:
    if (X_target[col].dtype=='object'):
        target= dict ( X_target.groupby(col)['target'].agg('sum')/X_target.groupby(col)['target'].agg('count'))
        X_target[col]=X_target[col].replace(target).values

为了减轻过拟合可能带来的影响，可以使用K-Fold Validation ，每次对一份样本进行目标编码时，使用的都是其他K-1份数据之中的数据。

X['target']=y
cols=X.drop(['target','id'],axis=1).columns
%%time
X_fold=X.copy()
X_fold[['ord_0','day','month']]=X_fold[['ord_0','day','month']].astype('object')
X_fold[['bin_3','bin_4']]=X_fold[['bin_3','bin_4']].replace({'Y':1,'N':0,'T':1,"F":0})
kf = KFold(n_splits = 5, shuffle = False, random_state=2019)
for train_ind,val_ind in kf.split(X):
    for col in cols:
        if(X_fold[col].dtype=='object'):
            replaced=dict(X.iloc[train_ind][[col,'target']].groupby(col)['target'].mean())
            X_fold.loc[val_ind,col]=X_fold.iloc[val_ind][col].replace(replaced).values

此外，在对特征进行编码前也需要进行特征种类的区分。常分为：

• 0-1数值：只有两种取值，可映射到0，1
• 类别数值：多个类别，这也是最常见的数据。
• 时序数据：时间戳等，隐含了顺序信息，可以反应趋势。