机器学习入门-混淆矩阵-准确度-召回率-F1score 1.itertools.product 2. confusion_matrix(test_y, pred_y)

1. itertools.product  进行数据的多种组合

intertools.product(range(0, 1), range(0, 1))  组合的情况[0, 0], [0, 1], [1, 0], [1, 1]

2. confusion_matrix(test_y, pred_y)  # 构造混淆矩阵

混淆矩阵是TP（正的预测成正的）， FP（正的预测成负的）， TN（负的预测成负的）， FN（负的预测成正的）

从混淆矩阵中，我们可以很清楚的看出这个信息，这是一个信用欺诈的案例， 134表示的是将欺诈的预测出来的数值， 13表示的是将欺诈的预测成正常的， 131表示的是将正常的预测成正常的，18表示将正常的预测成欺诈的

精度： (134 + 131) / (134+131+13+18)

召回率： (134) / (134 + 13)

F1得分 ： (1 / (精度 + 召回率))

代码：使用的是一个下采样的欺诈数据的代码，使用confusion_matrix 获得混合矩阵，然后使用plt.imshow() 进行画图操作

best_c = printing_KFold_score(under_train_x, under_train_y)

import itertools
# 画出混淆矩阵, 导入confusion_matrix
def plot_matrix(conf, classes,
                title='confusion matrix', cmap=plt.cm.Blues):
    # 展示直方图
    plt.imshow(conf, cmap=cmap)
    # 图片标题
    plt.title(title)
    # 图片颜色条
    plt.colorbar()
    # 设置x轴和y轴位置
    x_index = np.array(classes)
    # 第一个参数是位置，第二个参数是标签名
    plt.xticks(x_index, classes, rotation=0)
    plt.yticks(x_index, classes)
    conf_mean = conf.max() / 2
    # itertools.product
    # [0, 1] & [0, 1]
    # [0, 0], [0, 1], [1, 0], [1, 1]
    # 将数字添加到混合矩阵中
    for i, j in itertools.product(range(conf.shape[0]), range(conf.shape[1])):
        plt.text(j, i, conf[i, j], horizontalalignment='center',
                 color='white'if conf[i, j] > conf_mean else 'black')
    # 画出的图更加的紧凑
    plt.tight_layout()

from sklearn.metrics import confusion_matrix
# 建立逻辑回归模型
lr = LogisticRegression(C=best_c, penalty='l1')
# 模型训练
lr.fit(under_train_x, under_train_y)
# 模型预测
pred_y = lr.predict(under_text_x)
# 获得混合矩阵
conf = confusion_matrix(under_test_y, pred_y)
# 画图
plot_matrix(conf, classes=[0, 1])
# accrurracy
# 精度
accurracy = (conf[0, 0] + conf[1, 1]) / (conf[0, 0] + conf[0, 1] + conf[1, 0] + conf[1, 1])
# 召回率
recall = conf[1, 1] / (conf[1, 0] + conf[1, 1])
# F1得分
F1_score =  1 / (accurracy + recall)
plt.show()