【机器学习】搞清楚机器学习的TP、FN、FP、TN，查全率和查准率，PR曲线和ROC曲线的含义与关系

最近重新学习了一下机器学习的一些基础知识，这里对性能度量涉及到的各种值与图像做一个总结。

西瓜书里的这一部分讲的比较快，这些概念个人感觉非常绕，推敲了半天才搞清楚。

这些概念分别是：TP、FN、FP、TN，查全率和查准率，P-R曲线和ROC曲线

1、混淆矩阵中的：TP FN FP TN

其实很简单

真实情况有两种可能：正（T）和反（F）；

预测结果有两种可能：积极（P）和消极（N）

但是比较绕的是对于这里的P和N的理解，看到一个很好的举例，借用一下：

（pic from http://www.360doc.com/content/19/0806/19/52645714_853362368.shtml）

也就是说

TN的意思是，预测的结果为N，即认为预测对象是F，而这个预测是正确的，所以记为T

这个时候思考：那么TN到底代表真实情况是T还是F？

这就有点绕了，有一个简便的方法：将T记为+，F记为-，P记为+，N记为-

那么++和--的运算结果为+，真实情况为T；+-和-+的运算结果为-，真实情况为F

所以TN（+-）的真实情况是F，它的意思是，预测的结果是N，而这个预测是正确（T）的

2、查准率P和查全率R、P-R曲线

首先注意区分两个P不同的含义，用颜色区分：预测结果P（positive），查准率P（precision）

在看表达式前先说说它们的定义，首先查准率和查全率是一对矛盾的值

查准率是指在所有预测为P的情况（包括将T预测为T的TP，和将F预测为T的FP）下，真实情况为T的比例

故查准率P=TP/P = TP/（TP+FP）

查全率是指在所有真实情况下为T的样本（包括将T预测为T的TP，和将T预测为F的FN）中，预测正确P的比例

故查全率R=TP/T = TP/（TP+FN）

为什么说他们是一对矛盾的值，一个大另外一个就必然小？

可以这样理解：

如果希望查准率P高，则需要尽量“保守”地预测：不能肯定地预测为P，就给出N的答案。这样的话，势必会导致将真实情况下的T预测为N的情况增加，即FN增加，那么查全率R就会相应地下降

这样就能理解：

1、P-R曲线中，随着R的增加，P会随之下降；

2、在R相同的情况下，P更高的学习器性能更好，故若学习器A的曲线“包住”学习器B的曲线，则A的性能优于B

P-R曲线：

当我们设置一个阈值时，会得到一对P-R，而当阈值在[0,1]上取值时，就可以获得更多的P-R，由此画出P-R曲线

P-R曲线代表了一个学习器的性能，上文中有得出结论：

若学习器A的曲线“包住”学习器B的曲线，则A的性能优于B。

而当两个曲线发生交叉时，则通过其他方法比较性能：

1、曲线围成的面积，面积大者性能更优

2、寻找平衡点（BEP），即P=R时，即:

另外还有一个Fβ的式子，是F1的一般形式，可以通过参数β控制对查准或查全的偏好，这里不多做解释了

3、ROC曲线（真正利率TPR和假正利率FPR）

有了前面的解释，搞懂TPR和FPR就不难了

直接上表达式：

ROC曲线则是以这两个值为横纵坐标画出的曲线：

由于一般情况下的样本是离散的，所以一般来说ROC曲线的形状是类似于右图的”锯齿状“

呈现这种锯齿状的特征是由于ROC曲线在绘制的过程中，是一个点一个点画的。

模拟一下这个过程：

1、将所有测试对象根据预测值（在0~1之间）按从大到小排序，记为序列L

2、认为所有样本皆为负，则100%预测为N，故P=0，即TP=FP=0，TPR=FPR=0，第一个点为(0,0)

3、将阈值调整为L[0]的值，则L[0]将被预测为P，则必有 TP=1&FP=0 或 TP=0 FP=1，相应的会得到TPR和FPR，得到第二个点

4、重复3的过程，将阈值继续调整为L[1]，则L[0]和L[1]将被预测为P，TPR和FPR的值会再次改变，得到第三个点

5、重复上述过程，最终可以得到完整的ROC曲线

如何通过ROC曲线判断模型的性能

真正（TP）利率反映的是预测正确的概率，假正（FP）利率反映的是预测错误的概率，所以在图中能”包住“另一条曲线的性能更优