机器学习入门09 - 特征组合 (Feature Crosses)

原文链接：https://developers.google.com/machine-learning/crash-course/feature-crosses/

特征组合是指两个或多个特征相乘形成的合成特征。
特征的相乘组合可以提供超出这些特征单独能够提供的预测能力。

1- 对非线性规律进行编码

特征组合是指通过将两个或多个输入特征相乘来对特征空间中的非线性规律进行编码的合成特征。
通过创建一个特征组合可以解决非线性问题。

特征组合的种类

可以创建很多不同种类的特征组合。例如：

• [A X B]：将两个特征的值相乘形成的特征组合。
• [A x B x C x D x E]：将五个特征的值相乘形成的特征组合。
• [A x A]：对单个特征的值求平方形成的特征组合。

通过采用随机梯度下降法，可以有效地训练线性模型。
因此，在使用扩展的线性模型时辅以特征组合一直都是训练大规模数据集的有效方法。

2- 组合独热矢量

在实践中，机器学习模型很少会组合连续特征。
不过，机器学习模型却经常组合独热特征矢量，将独热特征矢量的特征组合视为逻辑连接。
根据多个特征构建特征组合，最终获得的预测能力将远远超过任一特征单独的预测能力。

假设需要根据以下两个特征来预测狗主人对狗狗的满意程度：

• 行为类型（吠叫、叫、偎依等）
• 时段

根据这两个特征构建特征组合： [behavior type X time of day]
例如，

如果狗狗在下午5点主人下班回来时（快乐地）叫喊，可能表示对主人满意度的正面预测结果。
如果狗狗在凌晨3点主人熟睡时（也许痛苦地）哀叫，可能表示对主人满意度的强烈负面预测结果。

线性学习器可以很好地扩展到大量数据。
对大规模数据集使用特征组合是学习高度复杂模型的一种有效策略。
神经网络可提供另一种策略。

3- 理解

问题

加利福尼亚州不同城市的房价有很大差异。假设您必须创建一个模型来预测房价。以下哪组特征或特征组合可以反映出特定城市中 roomsPerPerson 与房价之间的关系？

1. 三个独立的分箱特征：[binned latitude]、[binned longitude]、[binned roomsPerPerson]
2. 一个特征组合：[binned latitude X binned longitude X binned roomsPerPerson]
3. 两个特征组合：[binned latitude X binned roomsPerPerson] 和 [binned longitude X binned roomsPerPerson]
4. 一个特征组合：[latitude X longitude X roomsPerPerson]

解答

1. 建议您采用分箱方式，因为这样可以让模型了解单个特征内的非线性关系。不过，一个城市存在于多个维度上；因此，要了解特定于城市的关系，需要对纬度与经度进行组合。请重试。
2. 正确答案。将分箱纬度与分箱经度组合可以让模型了解 roomsPerPerson 特定于城市的效果。分箱可防止纬度变化与经度变化产生相同的效果。根据箱的精细程度，此特征组合可以反映出特定于城市、特定于社区，甚至特定于街区的效果。
3. 建议您采用分箱方式；不过，城市是纬度和经度的结合体，因此单独的特征组合会导致模型无法了解特定于城市的价格。请重试。
4. 在本例中，不建议您组合实值特征。例如，将纬度的实值与 roomsPerPerson 组合后，一个特征（比如纬度）上发生 10% 的变化就相当于另一个特征（比如 roomsPerPerson）上发生 10% 的变化。

4- 练习

xxx

5- 关键词

梯度下降法 (gradient descent)
一种通过计算并且减小梯度将损失降至最低的技术，它以训练数据为条件，来计算损失相对于模型参数的梯度。
通俗来说，梯度下降法以迭代方式调整参数，逐渐找到权重和偏差的最佳组合，从而将损失降至最低。

随机梯度下降法 (SGD, stochastic gradient descent)
批次大小为 1 的一种梯度下降法。
换句话说，SGD 依赖于从数据集中随机均匀选择的单个样本来计算每步的梯度估算值。

特征组合 (feature cross)
通过将单独的特征进行组合（求笛卡尔积）而形成的合成特征。特征组合有助于表达非线性关系。

合成特征 (synthetic feature)
一种特征，不在输入特征之列，而是从一个或多个输入特征衍生而来。
合成特征包括以下类型：

• • 对连续特征进行分桶，以分为多个区间分箱。
  • 将一个特征值与其他特征值或其本身相乘（或相除）。
  • 创建一个特征组合。

仅通过标准化或缩放创建的特征不属于合成特征。

独热编码 (one-hot encoding)

一种稀疏向量，其中：

• • 一个元素设为 1。
  • 所有其他元素均设为 0。

独热编码常用于表示拥有有限个可能值的字符串或标识符。
例如，假设某个指定的植物学数据集记录了 15000 个不同的物种，其中每个物种都用独一无二的字符串标识符来表示。
在特征工程过程中，您可能需要将这些字符串标识符编码为独热向量，向量的大小为 15000。