WEKA “Detailed Accuracy By Class”和“Confusion Matrix”含义

原文

=== Summary ===（总结）

Correctly Classified Instances（正确分类的实例）          45               90      %

Incorrectly Classified Instances （错误分类的实例）        5               10      %

Kappa statistic（Kappa统计量）                          　    0.792 

Mean absolute error(均值绝对误差)                       　   0.1   

Root mean squared error（均方根误差）                  　0.3162

Relative absolute error（相对绝对误差）                 　  20.7954 %

Root relative squared error（相对均方根误差）             62.4666 %

Coverage of cases (0.95 level)          90      %

Mean rel. region size (0.95 level)      50      %

Total Number of Instances（实验的实例总数）               50     

第一行“Detailed Accuracy By Class”：

一个数据库有500个文档，其中有50个文档符合定义的问题。系统检索到75个文档，但是只有45个符合定义的问题。

1.TP Rate（真正元比率）:45/50=90%

2.FP Rate（假正元比率）:35/50=70%

3.Precision（精准度）:P=45/75=60%

4.Recall（查全率）:R=45/50=90%

5.F-Measure：是查准率和查全率的调和平均数

6.ROC Area:一般大于0.5，这个值越接近1，说明模型的诊断效果越好。这个值在0.5～0.7时有较低准确性，在0.7～0.9时有一定准确性，在0.9以上时有较高准确性。如果这个值等于0.5，说明诊断方法完全不起作用，无诊断价值，而小于0.5不符合真实情况，在实际中极少出现。

第二行：混淆矩阵“Confusion Matrix”

行：预测

列：真实