评价指标

1、IOU

分割或者目标检测预测prediction,可以分成4个部分:
1、true negative(TN)把区域A,预测为是背景,并且确实是背景
2、false negative(FN)画出了一块区域B,预测是背景,但是实际上是标签
3、false positive(FP)画出一块区域C,预测是标签,其实是背景
4、true positive(TP)画出一块区域D,预测是标签,确实是标签
在评价的时候常用的指标有:IOU(交并比,也有叫做IU的),像素准确率(pixel-accuracy),有的时候还有平均准确率(mean-accuracy)

总结一下:看最后一个字母是N就是预测是背景,那么真实的标签是不是背景呢?看第一个字母,是T就是,预测的是背景,确实是背景;是F,就说明,预测是背景,其实是标签;再来,看第二个字母是P,说明预测是标签,是不是呢?看第一个字母,是T,预测的标签,事实确实就是标签,是F,预测是标签,事实上是背景。

然后
IOU=\frac{真实标签和预测的交集}{真实标签和预测的并集}=\frac{TP}{TP+FP+FN}
再通俗地说就是
IOU=\frac{预测是标签确实是标签的部分}{分子+预测是标签但是其实是背景+预测的背景但是其实是标签}


不好意思,上面的图画错了,T和P的颜色和对应关系画反了,应该是:
这个图

解释一下我画的图:
nIOU是预测是标签真实确实是标签的所有像素 / (你预测的部分的像素 + 真实标签的像素 - 分子)
nIOU=\frac{TP[i]}{T[i]+P[i]-TP[i]}

2、混淆矩阵

https://zhuanlan.zhihu.com/p/360765777

混淆矩阵是一个总结分类器所得结果的矩阵,一般为k行k列(k为分类的类别数)。以二分类为例,混淆矩阵如下图所示。


  • 假阳性率(FPR)
    FPR = \frac{FP}{FP+TN}
    FP就是预测是标签,但是实际上是背景,希望这件事情不要发生,所以假阳性率越小越好。
    再说一下上面的公式:FP,假阳,预测是标签,实际是背景,预测错了,用FP比上(FP+TN),比上它自己然后加上,TN,就是预测是背景,并且预测对了,所以就是
    假阳率=\frac{把背景误认为是标签的像素数}{总背景像素数}
    记住FP就是背景,怎么看,先看P标签,再看F,假的,假的标签就是背景
    TN,一看N背景,再看T真的,真背景,显然是背景
    所以FP+TN就是总的背景的像素数。
    希望模型别老把背景认成标签,希望你小一点,(你就是这个假阳率指标)
  • 真阳性率(TPR)
    TPR = \frac{TP}{TP+FN}
    TP就是预测的是标签,实际上它确实是标签,说明预测对了,所以希望真阳性率越大越好。(也是召回率的公式)
    真阳率=\frac{预测对的标签区域的像素数}{所有的标签区域的像素数}
    希望模型把标签的区域都预测出来啊,所以希望你大一些

通过设定一个阈值如0.6,概率大于等于0.6的为标签,小于0.6的为背景。对应的就可以算出一组(FPR,TPR),在平面中得到对应坐标点。随着阈值的逐渐减小越来越多的实例(比如像素)被划分为标签,但是这些标签中同样也掺杂着真正的背景,即TPR和FPR会同时增大。阈值最大时,对应坐标点为(0,0),阈值最小时,对应坐标点(1,1)。

3、ROC曲线

ROC曲线是Receiver Operating Characteristic Curve的简称,中文名是受试者工作特征曲线
如何画ROC曲线:

(1)首先,ROC曲线的横坐标是假阳性率FPR,纵坐标是真阳性率TPR。
(2)其次,明确计算ROC的时候,预测值y_pred一般都是[0, 1]的小数(代表预测为正样本的概率),真实值y_true为0或1。如果计算FPR和TPR,我们就需要知道预测的正负样本情况,但给的预测值是小数,如何划分预测的正负样本呢?答案是选取截断点(阈值)。
(3)截断点是指区分正负预测结果的阈值。比如截断点=0.1,那就表示y_pred<0.1的为预测为负样本,y_pred>=0.1预测正样本。所以绘制ROC曲线需要不断移动“截断点”(调整阈值)来得到所有的(FPR,TPR)点,然后把这些点用线段连起来就是ROC曲线了。

计算ROC

详细过程见我写的word文档。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,519评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,842评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,544评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,742评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,646评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,027评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,513评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,169评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,324评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,268评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,299评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,996评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,591评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,667评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,911评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,288评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,871评论 2 341

推荐阅读更多精彩内容