参考网址：
https://blog.csdn.net/lz_peter/article/details/78054914
https://blog.csdn.net/xyz1584172808/article/details/81839230
https://blog.csdn.net/Orange_Spotty_Cat/article/details/80520839
https://blog.csdn.net/Orange_Spotty_Cat/article/details/80499031

对于分类器，或者说分类算法，评价指标主要有precision，recall，F-score1，以及ROC和AUC。本文通过对这些指标的原理做一个简单的介绍，然后用python分别实现二分类的ROC曲线。

1 基本概念

混淆矩阵是评判模型结果的指标，属于模型评估的一部分。此外，混淆矩阵多用于判断分类器（Classifier）的优劣，适用于分类型的数据模型，如分类树（Classification Tree）、逻辑回归（Logistic Regression）、线性判别分析（Linear Discriminant Analysis）等方法。

在分类型模型评判的指标中，常见的方法有如下三种：

1. 混淆矩阵（也称误差矩阵，Confusion Matrix）
2. ROC曲线
3. AUC面积

1.1 混淆矩阵

首先，介绍一下什么是混淆矩阵，混淆矩阵是ROC曲线绘制的基础，同时它也是衡量分类型模型准确度中最基本，最直观，计算最简单的方法。

一句话解释版本：

混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。

以分类模型中最简单的二分类为例，对于这种问题，我们的模型最终需要判断样本的结果是0还是1，或者说是positive还是negative。

我们通过样本的采集，能够直接知道真实情况下，哪些数据结果是positive，哪些结果是negative。同时，我们通过用样本数据跑出分类型模型的结果，也可以知道模型认为这些数据哪些是positive，哪些是negative。

因此，我们就能得到这样四个基础指标，我称他们是一级指标（最底层的）：

1.1.1 一级指标

真实值是positive，模型认为是positive的数量（True Positive=TP）
真实值是positive，模型认为是negative的数量（False Negative=FN）：这就是统计学上的第一类错误（Type I Error）
真实值是negative，模型认为是positive的数量（False Positive=FP）：这就是统计学上的第二类错误（Type II Error）
真实值是negative，模型认为是negative的数量（True Negative=TN）
将这四个指标一起呈现在表格中，就能得到如下这样一个矩阵，我们称它为混淆矩阵（Confusion Matrix）：

混淆矩阵

预测性分类模型，肯定是希望越准越好。那么，对应到混淆矩阵中，那肯定是希望TP与TN的数量大，而FP与FN的数量小。所以当我们得到了模型的混淆矩阵后，就需要去看有多少观测值在第二、四象限对应的位置，这里的数值越多越好；反之，在第一、三象限对应位置出现的观测值肯定是越少越好。

1.1.2 二级指标

但是，混淆矩阵里面统计的是个数，有时候面对大量的数据，光凭算个数，很难衡量模型的优劣。因此混淆矩阵在基本的统计结果上又延伸了如下4个指标，我称他们是二级指标（通过最底层指标加减乘除得到的）：

准确率（Accuracy）—— 针对整个模型
精确率（Precision）：理解为(real=1/predict=1)的样例
灵敏度（Sensitivity）：就是召回率（Recall）,可理解为（predict1 and real =1 /real=1）
特异度（Specificity）
我用表格的方式将这四种指标的定义、计算、理解进行了汇总：

评价指标

通过上面的四个二级指标，可以将混淆矩阵中数量的结果转化为0-1之间的比率。便于进行标准化的衡量。

在这四个指标的基础上在进行拓展，会产令另外一个三级指标

1.1.3 三级指标

这个指标叫做F1 Score。他的计算公式是：
2/F1=1/P+1/R
计算得：

image.png

其中，P代表Precision，R代表Recall。

F1-Score指标综合了Precision与Recall的产出的结果。F1-Score的取值范围从0到1的，1代表模型的输出最好，0代表模型的输出结果最差。

1.1.4 实例

当分类问题是二分问题是，混淆矩阵可以用上面的方法计算。当分类的结果多于两种的时候，混淆矩阵同时适用。

一下面的混淆矩阵为例，我们的模型目的是为了预测样本是什么动物，这是我们的结果：

预测结果

通过混淆矩阵，我们可以得到如下结论：

Accuracy

在总共66个动物中，我们一共预测对了10 + 15 + 20=45个样本，所以准确率（Accuracy）=45/66 = 68.2%。

以猫为例，我们可以将上面的图合并为二分问题：

image.png

Precision

所以，以猫为例，模型的结果告诉我们，66只动物里有13只是猫，但是其实这13只猫只有10只预测对了。模型认为是猫的13只动物里，有1条狗，两只猪。所以，Precision（猫）= 10/13 = 76.9%

Recall

以猫为例，在总共18只真猫中，我们的模型认为里面只有10只是猫，剩下的3只是狗，5只都是猪。这5只八成是橘猫，能理解。所以，Recall（猫）= 10/18 = 55.6%

Specificity

以猫为例，在总共48只不是猫的动物中，模型认为有45只不是猫。所以，Specificity（猫）= 45/48 = 93.8%。

虽然在45只动物里，模型依然认为错判了6只狗与4只猫，但是从猫的角度而言，模型的判断是没有错的。

（这里是参见了Wikipedia，Confusion Matrix的解释,https://en.wikipedia.org/wiki/Confusion_matrix）

F1-Score

通过公式，可以计算出，对猫而言，F1-Score=（2 * 0.769 * 0.556）/（ 0.769 + 0.556） = 64.54%

同样，我们也可以分别计算猪与狗各自的二级指标与三级指标值。
————————————————
（版权声明：以上内容为CSDN博主「Orange_Spotty_Cat」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。原文链接https://blog.csdn.net/Orange_Spotty_Cat/article/details/80520839）
sklearn可以直接调用方法进行混淆矩阵的绘制与相应指标的计算，有需要的可以留言，我写个demo。
下面我们开始本文的重点ROC与AUC。

1.2.ROC与AUC

ROC曲线与AUC面积均是用来衡量分类型模型准确度的工具。通俗点说，ROC与AUC是用来回答这样的问题的：

分类模型的预测到底准不准确？
我们建出模型的错误率有多大？正确率有多高？
两个不同的分类模型中，哪个更好用？哪个更准确？
一句话概括版本：

ROC是一条线，如果我们选择用ROC曲线评判模型的准确性，那么越靠近左上角的ROC曲线，模型的准确度越高，模型越理想；

AUC是线下面积，如果我们选择用AUC面积评判模型的准确性，那么模型的AUC面积值越大，模型的准确度越高，模型越理想；

1.2.1 ROC曲线的定义

ROC就是一张图上的曲线，我们通过曲线的形状来判定模型的好坏。

那么要想了解一个曲线代表什么意思，首先最好搞明白曲线的横轴与纵轴分别代表什么。

ROC曲线

横轴（False positive rate）：
假正率，False positive rate，简称FPR。FPR可以被理解为：predict=1 and real = 0/real = 0。其计算公式为：

image.png

纵轴（True Positive Rate）的计算：
真正率，True Positive Rate，简称TPR。
TPR可以被理解为：(predict=1 and real=1)/real=1 其计算公式为：

image.png

1.2.4 ROC曲线的解读

FPR与TPR分别构成了ROC曲线的横纵轴，因此我们知道在ROC曲线中，每一个点都对应着模型的一次结果。

如果ROC曲线完全在纵轴上，代表这一点上，x=0，即FPR=0。模型没有把任何negative的数据错误的判为positive，预测完全准确。这是真正的大牛模型，我是做不出来了。
如果ROC曲线完全在横轴上，代表这一点上，y=0，即TPR=0。模型没有把任何positive的数据正确的判断为positive，预测完全不准确。平心而论，这种模型能做出来也是蛮牛的，因为模型真正做到了完全不准确，所以只要反着看结果就好了嘛。
所以如果ROC曲线完全与右上方45度倾角线重合，证明模型的准确率是正好50%，错判的几率是一半一半。
因此，我们绘制出来ROC曲线的形状，是希望TPR大，而FPR小。因此对应在图上就是曲线尽量往左上角贴近。45度的直线一般被常用作Benchmark，即基准模型，我们的预测分类模型的ROC要能优于45度线，否则我们的预测还不如50/50的猜测来的准确。

所以，回到下图。从整个图上看，红色的ROC线更靠近左上方。因此，红色线代表的SVM分类器的表现要整体优于蓝色线代表的LDA分类器。

1.2.5 ROC曲线的绘制

我们已经知道，ROC曲线中的每一个点就能代表一次预测的结果。那么整条ROC的曲线是如何绘制的呢？

答案就是：ROC曲线上的一系列点，代表选取一系列的阈值（threshold）产生的结果。

在分类问题中，我们模型预测的结果不是negative/positive。而是一个negatvie或positive的概率。那么在多大的概率下我们认为观测值应该是negative或positive呢？这个判定的值就是阈值（threshold）。

ROC曲线上众多的点，每个点都对应着一个阈值的情况下模型的表现。多个点连起来就是ROC曲线了。

1.2.6 AUC的定义与解读

AUC的英文叫做Area Under Curve，即曲线下的面积，不能再直白。它就是值ROC曲线下的面积是多大。每一条ROC曲线对应一个AUC值。AUC的取值在0与1之间。

AUC = 1，代表ROC曲线在纵轴上，预测完全准确。不管Threshold选什么，预测都是100%正确的。
0.5 < AUC < 1，代表ROC曲线在45度线上方，预测优于50/50的猜测。需要选择合适的阈值后，产出模型。
AUC = 0.5，代表ROC曲线在45度线上，预测等于50/50的猜测。
0 < AUC < 0.5，代表ROC曲线在45度线下方，预测不如50/50的猜测。
AUC = 0，代表ROC曲线在横轴上，预测完全不准确

2.ROC曲线在Python中的实现

写了一个很简单的，大家运行一下就知道了

def test_draw_roc():
    import matplotlib.pyplot as plt
    from sklearn.metrics import roc_curve,auc
    y_test=[0, 0, 1, 1]
    scores=[0.1, 0.4, 0.35, 0.8]
    fpr,tpr,threshold = roc_curve(y_test, scores)
    print('y_test:%s, scores:%s'%(y_test, scores))
    print('fpr:%s, tpr:%s, threshold:%s'%(fpr,tpr,threshold))
    plt.plot(fpr,tpr)
    plt.show()

test_draw_roc()

结果如下图所示：

image.png

y_test为实际的标签，可以看到标签有2类，0和1
scores为预测的值
roc_curve(y_test, scores)计算在每个threshold下的TPR和FPR。