Label Encoding vs One Hot Encoding

最近在刷kaggle的时候碰到了两种处理类别型特征的方法：label encoding和one hot encoding。我从stackexchange, quora等网上搜索了相关的问题，总结如下。

label encoding在某些情况下很有用，但是场景限制很多。比如有一列 [dog,cat,dog,mouse,cat]，我们把其转换为[1,2,1,3,2]。这里就产生了一个奇怪的现象：dog和mouse的平均值是cat。而且像decision tree，random forest和xgboost这种算法能处理好这种转换，而且相比转换前，所需要的内存空间小一点。

one hot encoding的优点就是它的值只有0/1，不同的类型存储在垂直的空间。缺点就是，当类别的数量很多时，特征空间会变得非常大。在这种情况下，一般可以用PCA来减少维度。而且one hot encoding+PCA这种组合在实际中也非常有用。

总的来说，要是one hot encoding的类别数目不太多，建议优先考虑。