Python数据科学手册-机器学习之特征工程

特征工程常见示例： 分类数据、文本、图像。 还有提高模型复杂度的 衍生特征 和 处理 缺失数据的填充 方法。这个过程被叫做向量化。把任意格式的数据 转换成具有良好特性的向量形式。

分类特征

比如房屋数据： 房价、面积、地点信息。



方案1：把分类特征用映射关系 编码成 整数 。

{'Queen Anne': 1, 'Fremont': 2, 'Wallingford': 3};

在scikit-learn中并不好，数值特征可以反映代数量。会产生 1<2<3的

方案2：使用独热编码

有效增加额外的类，让0和1 出现在对应的列分别表示 每个分类值 的有 或 无。

使用scikit-learn的DictVectorizer类就可以实现。

neighborhood字段转换成三列表示三个地点标签。 每一行中用1所在的列对应一个地点。

当这些分类特征编码之后，就可以和之前一样拟合 Scikit-Learn模型了

如果要看每一列的含义，使用get_feature_names()

缺陷：分类特征有许多枚举值，维度就会急剧增加。 由于被编码的数据中有许多0，因此用稀疏矩阵 会非常高效

文本特征

将文本转换成一组数值， 最简单的编码方法之一就是 单词统计



这样统计有一些问题，就是常用词聚集太高的权重，不合理。

解决方案：使用TF-IDF term requency-inverse document frequency 词频逆文档评率。 通过单词在文档中出现的评率来衡量器权重。

图像特征

对图像进行编码，最简单的就是：用像素表示图像。 后面详细介绍。 Scikit-Learn Scikit-Image

衍生特征

输入特征进过数学变换 衍生出来的新特征。 通过改变输入数据。 这种处理方式 又被称为 基函数回归。

不能用直线拟合的数据

如果按照直线拟合取得最优解如下



我们需要一个更复杂的模型来描述 x 与 y的关系，可以对数据进行变换，蹦增加额外的特征来提升模型 的复杂度。

比如：增加多项式特征。

第一列表示x，

第二列表示x^2

第三列表示x^3

重新拟合。

缺失值填充

原始数据如下



首先需要适当的值替换这些缺失数据。

方案1: 用列均值替换缺失值，中位数、众数。 SciKit-Learn 有Imputer类可以实现。

方案2：用矩阵填充或其他模型来处理缺失值，复杂。

特征管道

如果经常需要手动应用以上任意一种方法，你就会感到厌倦。尤其是多个步骤串起来使用。

1）用均值填充缺失值

2）将衍生特征转换为二次方

3）拟合线性回归模型

SciKit提供了一个管道对象。