【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 15—Anomaly Detection异常检测

Lecture 15 Anomaly Detection 异常检测

15.1 异常检测问题的动机 Problem Motivation

异常检测(Anomaly detection)问题是机器学习算法的一个常见应用。这种算法虽然主要用于无监督学习问题，但从某些角度看，它又类似于一些监督学习问题。
举例： 当飞机引擎从生产线上流出时需要进行QA(质量控制测试)，数据集包含引擎的一些特征变量，比如运转时产生的热量，或者振动等。当有一个新的飞机引擎从生产线上流出，它具有特征变量 x_test 。异常检测问题就是：希望知道这个新的飞机引擎是否有某种异常。如下图：

训练出的模型，需要能够根据 x_test 的位置告诉我们其属于一组数据的可能性 p(x_test)。

在上图中，蓝色圈内的数据属于该组数据的可能性较高；而越偏远，属于该组数据的可能性就越低。 这种方法称为密度估计，表达如下:

常见的异常检测问题如下：

例1：欺诈检测，通过 p(x) < ε 检测非正常用户。例如在线采集而来的有关用户的数据，一个特征向量中可能会包含如:用户多久登录一次，访问过的页面，在论坛发布的帖子数量，甚至是打字速度等。根据这些特征构建一个模型，可以用来识别不符合该模式的用户。
例2：检测一个数据中心，特征可能包含:内存使用情况，被访问的磁盘数量，CPU 的负载，网络的通信量等。根据这些特征构建模型，用来判断某些计算机是否可能出错了。

15.2 高斯分布 Gaussian Distribution

高斯分布，也称为正态分布。

通常如果变量 x 符合高斯分布 x∼N(μ， σ² ) 则其概率密度函数为 :

高斯分布样例如下图（其中 μ 决定中心点的位置， σ² 决定曲线的高度）：

通过已有数据集 x ，可以预测总体的均值 μ 和方差 σ² ，计算方法如下：

注：机器学习中对于方差通常除以 m，而统计学中会除以(m − 1)。这两个公式在理论和数学特性上稍有不同，但在实际使用中的区别几乎可以忽略不计。

15.3 异常检测算法 Algorithm

1 密度估计

现在我们应用高斯分布开发异常检测算法。 对于给定的数据集 x ，针对每一个特征计算均值 μ 和方差 σ² 的估计值。然后，当出现一个新的训练实例，可以根据模型计算其对应的 p(x)，这个过程也叫做密度估计(Density estimation)，公式如下:

（注：每个特征 x_i 都对应不同的高斯分布）

当p(x) < ε时，判断为异常。

2 异常检测算法

3 举例

下图中的 2D 图形是一个具有两个特征的训练集及其两个特征的分布情况，3D 图形表示密度估计函数，z轴为根据两个特征对x_test估计出的p(x)值。

我们选择一个 ε=0.02，将p(x) = ε作为决策边界，当p(x) > ε时预测为正常数据，否则为异常。

15.4 开发和评价一个异常检测系统

1 划分数据

异常检测算法是一个无监督学习算法。但事实上，如果我们拥有一些带标记的数据，为了检验算法是否有效。可以在最开始将其看作一个监督学习算法。将已有数据分开，从中选择一部分正常数据作为训练集，剩下的正常数据和异常数据混合构成交叉检验集和测试集。

2 举例

有 10000 台正常引擎的数据，有 20 台异常引擎的数据。 我们这样分配数据:

6000 台正常引擎的数据作为Training set；
2000 台正常引擎和 10 台异常引擎的数据作为CV set
2000 台正常引擎和 10 台异常引擎的数据作为Test set

还有一些人把同样一组数据既用作CV集，也用作Test集。Andrew不推荐这样做。

3 具体的算法评价方法

1） 根据测试集数据，估计特征的平均值和方差并构建p(x)函数
2） 对CV set，尝试使用不同的 ε 值作为阈值，并预测数据是否异常，根据 F1 值或者查准率与查全率的比例来选择 ε
3） 选出 ε 后，针对Test集进行预测，计算异常检验系统的F1值，或者查准率与查全率之比

15.5 异常检测与监督学习对比 Anomaly Detection vs. Supervised Learning

之前构建的异常检测系统也使用了带标记的数据，与监督学习有些相似。下面对异常检测和监督学习进行对比:

15.6 选择特征 Choosing What Features to Use

1 特征转换

特征的选择对异常检测算法至关重要。假设特征不符合高斯分布，算法也能够工作，但最好还是将数据转换成高斯分布，例如： 使用对数函数 x = log(x + c)，其中 c为非负常数; 或者 x = x^c ，c为 0-1 之间的一个分数。
(注:在 python 中，通常用 np.log1p() 函数，即 log(x + 1)，可以避免出现负数结果，反向函数就是 np.expm1())

2 误差分析

一些异常的数据可能也会有较高的p(x)值，因而被算法认为是正常的。 可以使用误差分析帮我们分析是否存在问题。也许从问题中发现需要增加一些新的特征，增加这些新特征后获得的新算法能够帮助我们更好地进行异常检测。

通常可以通过将一些相关的特征进行组合，来获得一些新的更好的特征(异常数据的该特征值异常地大或小)。例如增加两个特征值的比例。

例如，在检测计算机状况的例子中，可以用 CPU负载与网络通信量的比例作为一个新的特征，如果该值异常地大，便有可能意味着该服务器是陷入了一些问题中。如下图：

15.7 多元高斯分布 Multivariate Gaussian Distribution (Optional)

1 多元高斯分布的定义

假如我们有两个相关的特征，其值域范围比较宽。一般的高斯分布模型可能不能很好地识别异常数据。其原因在于，一般的高斯分布模型尝试的是去同时抓住两个特征的偏差，得到的判定边界范围比较大。
例如下图中是两个相关特征，粉色的线(根据 ε 的不同其范围可大可小)是原始高斯分布模型获得的判定边界，绿色的 X 点很可能是异常值，但其p(x)值却仍然在正常范围内。

如果使用多元高斯分布，获得蓝色曲线所示的判定边界，范围更小，判定结果会更准确。

回顾下一般的高斯分布模型，通过分别计算每个特征对应的几率，将其累乘起来，得到 p(x)。

而多元高斯分布模型将构建特征的协方差矩阵，使用所有的特征一次性计算出 p(x)。 首先，计算所有特征的平均值，然后再计算协方差矩阵:

其中： μ 是一个向量，其每一个单元都是原特征矩阵中一行数据的均值。

最后我们计算多元高斯分布的p(x):

其中： |Σ|是矩阵的行列式，在 Matlab 中用det(sigma) 计算； Σ^-1 是逆矩阵。

2 协方差矩阵对模型的影响

协方差对角线上的值影响图像的平缓程度，逆对角线上的值影响图像的角度（正值为顺时针旋转45度，负值为逆时针45度）。

图像从左往右:
a. 一般的高斯分布模型
b. 令特征 1 拥有较小的偏差，同时保持特征 2 的偏差
c. 令特征 2 拥有较大的偏差，同时保持特征 1 的偏差
d. 在不改变两个特征的原有偏差的基础上，增加两者之间的正相关性
e. 在不改变两个特征的原有偏差的基础上，增加两者之间的负相关性

3 均值 µ 对中心点的影响

15.8 使用多元高斯分布进行异常检测

1 使用多元高斯分布来进行异常检测

步骤：

1） 计算出均值 µ 和协方差矩阵 Σ

2）对新实例 x， 根据公式计算其 p(x) 的值，如果小于 ε 则异常。

2 原始高斯分布模型 和 多元高斯分布模型

可以看出：对于一个多元高斯分布模型，如果其协方差矩阵只有正对角线上元素非零，则退化为原始高斯分布模型。

原高斯分布模型被广泛使用，如果特征之间在某种程度上相互关联，可以通过构造新特征的方法来捕捉这些相关性。
如果训练集不是太大，并且没有太多的特征，可以使用多元高斯分布模型。