数据预处理之独热编码（One-Hot Encoding）

问题的由来

在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。

例如，考虑以下三个特征：

["male","female"]
["from Europe","from US","from Asia"]
["uses Firefox","uses Chrome","uses Safari","uses Internet Explorer"]

如果将上述特征用数字表示，效率会高很多。例如：

["male","from US","uses internet Explorer"]表示为[0,1,3]
["female","from Asia","uses Chrom"]表示为[1,2,1]

但是，即使转化为数字表示之后，上述数据也不能直接用在我们的分类器中。因为，分类器往往默认数据是连续的，并且是有序的。但是，按照我们上述的表示，数组并不是有序的，而是随机分配的。

独热编码

为了解决上述问题，其中一种可能的解决方法是采用独热编码（One-Hot Encoding）

独热编码即One-Hot编码，又称为有效编码，其方法是使用N位寄存器来对N个状态进行编码，每个状态都由他独立的寄存位，并且在任意时候，其中只有一位有效。

例如上面的"性别"特征，有2个可能的分类：male,female。那么就可以用2位编码来表示：10,01,每次只有1个位激活

“所属区域”，有3个可能的分类：即Europe，US，ASia。那么就用3位编码来表示：100，010，001，每次只有1个位激活。

“使用浏览器”，有4个可能的分类：即Firefox，Chrome，Safari，IE，那么就用4位编码来表示：1000，0100，0010，0001，每次只有1个位激活。

例如：

["male","Asia","Safari"],通过独热编码就成为：[1,0,0,0,1,0,0,1,0]

可以这样理解，对于每一个特征，如果它有m个可能值，那么经过独热编码后，就编程了m个儿园特征。并且，这些特征互斥，每次只有一个激活。因此，数据会变成稀疏的。

这样做的好处主要是：
1.解决了分类器不好处理属性数据的问题

2.在一定程度上也起到了扩充特征的作用

举例

from sklearn import preprocessing
enc=preprocessing.OneHotEncoder()
enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])
enc.transfrom([[0,1,3]]).toarray()

输出结果：

array([1, 0,0,1,0,0,0,0,1])

处理离散型特征和连续型特征并存的情况，如何做归一化

例如：拿到获取的原始特征，必须对每一个特征分别进行归一化，比如，特征A的取值范围是[-1000,1000],特征B的取值范围是[-1,1]

如果使用logistic回归，w1*x1+w2*x2,因为x1的取值太大了，所以x2基本起不了作用。所以必须进行特征的归一化，每个特征都单独进行归一化。

连续特征归一化的常用方法：
1.线性缩放到[-1,1]

2.放缩到均值为0，方差为1

离散特征的处理方法：
对于离散的特征基本都是按照One-Hot编码，该离散特征有多少取值，就用多少维来表示该特征。

为什么使用One-Hot编码来处理离散型特征？

1、使用One-Hot编码，将离散特征的取值扩展到欧式空间，离散特征的某个取值就对应欧式空间的某个点

2、将离散特征通过One-Hot编码映射到欧式空间，是因为，在回归、分类、聚类等机器学习算法中，特征之间距离的计算或相似度的计算是非常重要的，而我们常用的距离和相似度的计算都是在欧式空间的相似度计算，计算余弦相似性，基于的就是欧式空间。

3、将离散特征使用One-Hot编码，确实会让特征之间的距离计算更加合理。但如果特征是离散的，并且不用One-Hot编码就可以很合理的计算出距离，那么就没有必要进行One-Hot编码，比如，该离散特征共有1000个取值，我们分成两组，分别是400和600，两个小组之间的距离有合适的定义，组内的距离也有合适的定义，那就没有必要用One-Hot编码

离散特征进行One-Hot编码后，编码后的特征，其实每一维度的特征可以看作是连续的特征，就可以跟对连续性特征的归一化方法一样，对每一维度进行归一化。比如归一化到[-1,1]或归一化到均值为0，方差为1

有些情况不需要进行特征的归一化：

基于树的方法不需要进行特征的归一化，例如随机森林，baggin和boosting等，基于参数的模型或基于距离的模型的，都需要进行特征的归一化。