最近在赶一篇关于路面标线检测的论文,博文的更新暂停了一段时间。在论文中需要定量地分析目标检测算法的优劣,特在此总结一些常用的评价指标。

1. PR曲线(Precision&Recall)

首先需要了解几个概念。

True positive(TP): 预测为positive ground truth为True


True negative(TN): 预测为positive 但ground truth 为negative




False positive(FP): 预测为positive 但ground truth 为negative

False negative(FN): 预测为negative ground truth也为False

precision: 查准率,指预测为positive中,ground truth是positive所占的比例 (TP/(TP+FP)
),该值越大越好,1为理想状态

recall:  查全率,指所有的True样本中,预测为positive所占的比例(TP/(TP+FN)),该值越大越好,1为理想状态

F1-score: 将precision 和recall合成一个指标,越大越好

accuracy: 所有预测结果与实际结果一样的样本/所有样本

FP Rate(FPR): false positive占整个negative的比例,就是说原本是negative 预测为positive的比例,越小越好

TP Rate(TPR): true positive 占整个positive 的比例

PR曲线:(precision,recall)曲线,越凸向右上方效果越好

AP:PR曲线下的面积

AUC: Area Under the Curve 是一个抽象的概念,并不单指ROC曲线下的面积
通过计算每个样本的TP, FP, TN, FN的值,得到每个样本对应的(P,
R)值对,从而可以绘制PR曲线图。PR曲线的一般趋势是向右上方凸起的一条曲线,最右上方凸起点成为平衡点,该点的p、r坐标值越大越好,表示检测器性能在该点达到平衡状态,既保证高精确度又保证高召回率。
此外,F1-score的计算公式为F1 = 2 * p * r* (p+r) 

2. ROC曲线(receiver operating characteristic)

ROC曲线是一种描述灵敏度的评价指标。ROC曲线可以通过计算样本的真阳性率TPR和假阳性率
FPR得到,因此ROC曲线也叫做相关操作特征曲线。与PR曲线相反,ROC   
曲线的趋势是向左上角凸起的一条曲线,如下图。评价两条ROC曲线的性能优劣,通常计算曲线下方包含的面积AUC,面积越大则代表检测器性能越好。



3. MAP(Mean Average Precision), AP(Average Precision)


AP通常用于计算平均的检测精度,用于衡量检测器在每个类别上的性能好坏;而MAP则更多用于评价多目标的检测器性能,衡量检测器在所有类别上的性能好坏,即得到每个类别的AP值后再取所有类别的平均值。
假设N个样本中有M个positive的正例,那么我们就会得到M个recall值(1/M,2/M,3/M......M/M),对于每个recall值r,我们可以计算出对应r'>r的最大的precision值,然后对这M个precision
值取平均即得到最后的AP值。计算过程如下表所示:




此时的PR曲线为:




关于目标检测相关的评价指标就总结到这里,后续有需要会继续补充。

友情链接
ioDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:637538335
关注微信