1. Precision和Recall Precision,准确率/查准率.Recall,召回率/查全率.这两个指标分别以两个角度衡量分类系统的准确率. 例如,有一个池塘,里面共有1000条鱼,含100条鲫鱼.机器学习分类系统将这1000条鱼全部分类为“不是鲫鱼”,那么准确率也有90%(显然这样的分类系统是失败的),然而查全率为0%,因为没有鲫鱼样本被分对.这个例子显示出一个成功的分类系统必须同时考虑Precision和Recall,尤其是面对一个不平衡分类问题. 下图为混淆矩阵,摘自wiki百…

目录 metrics 评价方法 TP , FP , TN , FN 概念 计算流程 Accuracy , Precision ,Recall Average Precision PR曲线 AP计算 Average Precision mAP 参考资料 metrics 评价方法 针对谁进行评价? 对于物体分类到某个类别的 预测结果 和 真实结果 的差距进行评价(二分类) 在多分类问题中,评价方法是逐个类计算的,不是所有类一起算!是只针对一个类算,每个类别有自己的指标值! 也就是对每个类别,预测结果…

针对二分类的结果,对模型进行评估,通常有以下几种方法: Precision.Recall.F-score(F1-measure)TPR.FPR.TNR.FNR.AUCAccuracy   真实结果 1 0 预测结果 1 TP(真阳性)  FP(假阳性) 0 FN(假阴性) TN(真阴性) TP(True Positive):预测结果为正类,实际上就是正类 FP(False Positive):预测结果为正类,实际上是反类 FN(False negative):预测结果为反类,实际上是正类 TN(…

TP Rate ,FP Rate, Precision, Recall, F-Measure, ROC Area, https://www.zhihu.com/question/30643044 T/F表示 true/false  表示预测的是不是对的 P/N表示 positive/negative  表示实际数据是正样本还是负样本 P/N表示 positive/negative  表示预测数据是正样本还是负样本   TP: 预测为1, 实际为1,预测正确 FP: 预测为1, 实际为0,预测错误…

IOU 在目标检测算法中,交并比Intersection-over-Union,IoU是一个流行的评测方式,是指产生的候选框candidate bound与原标记框ground truth bound的交叠率,即它们的交集与并集的比值.最理想情况是完全重叠,即比值为1.一般来说,这个score > 0.5 就可以被认为一个不错的结果了. 脚本实现: def compute_iou(rec1, rec2): """ computing IoU: param rec1: (…

1.什么是性能度量? 我们都知道机器学习要建模,但是对于模型性能的好坏(即模型的泛化能力),我们并不知道是怎样的,很可能这个模型就是一个差的模型,泛化能力弱,对测试集不能很好的预测或分类.那么如何知道这个模型是好是坏呢?我们必须有个评判的标准.为了了解模型的泛化能力,我们需要用某个指标来衡量,这就是性能度量的意义.有了一个指标,我们就可以对比不同模型了,从而知道哪个模型相对好,那个模型相对差,并通过这个指标来进一步调参逐步优化我们的模型. 当然,对于分类和回归两类监督学习,分别有各自的评判标准.…

参考资料:https://zhuanlan.zhihu.com/p/46714763 ROC/AUC作为机器学习的评估指标非常重要,也是面试中经常出现的问题(80%都会问到).其实,理解它并不是非常难,但是好多朋友都遇到了一个相同的问题,那就是:每次看书的时候都很明白,但回过头就忘了,经常容易将概念弄混.还有的朋友面试之前背下来了,但是一紧张大脑一片空白全忘了,导致回答的很差. 我在之前的面试过程中也遇到过类似的问题,我的面试经验是:一般笔试题遇到选择题基本都会考这个率,那个率,或者给一个场景让…

首先我们为什么要使用这些呢? 举个简单的例子,假设我们图像里面只有1个目标,但是定位出来10个框,1个正确的,9个错误的,那么你要按(识别出来的正确的目标/总的正确目标)来算,正确率100%,但是其实效果不是很好,而且还有框的各种情况,因此我们需要下面的指标来衡量一个目标检测模型的好坏. 1.IOU(Intersection Over Union) 这是关于一个具体预测的Bounding box的准确性评估的数据,意义也就是为了根据这个IOU测定你这个框是不是对的,大于等于IOU就是对的,小于就…

Precision & Recall 先看下面这张图来理解了,后面再具体分析.下面用P代表Precision,R代表Recall 通俗的讲,Precision 就是检索出来的条目中(比如网页)有多少是准确的,Recall就是所有准确的条目有多少被检索出来了. 下面这张图介绍True Positive,False Negative等常见的概念,P和R也往往和它们联系起来. 我们当然希望检索的结果P越高越好,R也越高越好,但事实上这两者在某些情况下是矛盾的.比如极端情况下,我们只搜出了一个结果,且是…

华盛顿大学 machine learning :classification  笔记 第6周 precision & recall 1.accuracy 局限性 我们习惯用 accuracy 评价一个分类器模型的准确程度,accuracy即正确预测的样本数/预测样本总数, 一般情况下这种评价都适用. 但假设一个这样的二分类器,95%的数据都是 +1 ,分类器直接把所有数据预测为 +1,那这个分类器的accuracy 为95%, 很高,但显然这不是个好的分类器.对于这样的数 据,评价一个分类器模型…

一.Precision - Recall 的平衡 1)基础理论 调整阈值的大小,可以调节精准率和召回率的比重: 阈值:threshold,分类边界值,score > threshold 时分类为 1,score < threshold 时分类为 0: 阈值增大,精准率提高,召回率降低:阈值减小,精准率降低,召回率提高: 精准率和召回率是相互牵制,互相矛盾的两个变量,不能同时增高: 逻辑回归的决策边界不一定非是 ,也可以是任意的值,可根据业务而定:,大于 threshold 时分类为 1,小于…

Precision又叫查准率,Recall又叫查全率.这两个指标共同衡量才能评价模型输出结果. TP: 预测为1(Positive),实际也为1(Truth-预测对了) TN: 预测为0(Negative),实际也为0(Truth-预测对了) FP: 预测为1(Positive),实际为0(False-预测错了) FN: 预测为0(Negative),实际为1(False-预测错了) 总的样本个数为:TP+TN+FP+FN. Accuracy/Precision/Recall的定义 Accura…

preision与recall之间的权衡 依然是cancer prediction的例子,预测为cancer时,y=1;一般来说做为logistic regression我们是当hθ(x)>=0.5时,y=1; 当我们想要在预测cancer更确信时(因给病人说他们有cancer会给他们带来很重大的影响,让他们去治疗,所以想要更确信时再告诉病人cancer的预测): 我们可以将阀值设为0.7,这时我们将有一个高的precision(因为标注出有cancer的都是很确信的),和一个低值的recall…

当我们对某些问题进行分类时,真实结果的分布会有明显偏差. 例如对是否患癌症进行分类,testing set 中可能只有0.5%的人患了癌症. 此时如果直接数误分类数的话,那么一个每次都预测人没有癌症的算法也是性能优异的. 此时,我们需要引入一对新的判别标准:Precision/Recall来进行算法的性能评判,它们的定义如下: 可以看出,Precision表示:预测一件事件发生,它实际发生的概率是多少.换言之:预测准的概率如何. Recall表示:一件事情实际发生了,能把它预测出来的概率是多少.…

一.TP TN FP FN TP:标签为正例,预测为正例(P),即预测正确(T) TN:标签为负例,预测为负例(N),即预测正确(T) FP:标签为负例,预测为正例(P),即预测错误(F) FN:标签为正例,预测为负例(N),即预测错误(F) 其中 T:True    F:False    P:Positive    N:Negative 由于缩写较为难记,我将其分别记为:真的正样本(TP),真的负样本(TN),假的正样本(FP),假的负样本(FN) 二.accuracy precision r…

当我们在谈论一个模型好坏的时候,我们常常会听到准确率(Accuracy)这个词,我们也会听到＂如何才能使模型的Accurcy更高＂．那么是不是准确率最高的模型就一定是最好的模型? 这篇博文会向大家解释准确率并不是衡量模型好坏的唯一指标,同时我也会对其他衡量指标做出一些简单说明. 首先我们先要了解混淆矩阵(Confusion Matrix), 如下图,混淆矩阵经常被用来衡量一个分类模型在测试样本上的性能,本文提到的所有衡量标准都会用到下面混淆矩阵中出现的的四个值 真正例和真反例表示被正确预测的数据…

Android中build target,minSdkVersion,targetSdkVersion,maxSdkVersion概念区分 标签: build targetminSdkVersiontargetSdkVersionmaxSdkVersionuses-sdk 2014-01-23 13:14 10937人阅读 评论(16) 收藏 举报 分类: Android(22) 版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[+] 本文参考了谷歌开发者文档:http://de…

https://www.jianshu.com/p/f154237924c4 (ROC讲解) https://blog.csdn.net/saltriver/article/details/74012163 (F-score 的讲解) https://www.jianshu.com/p/b20347b95919(ROC ,AUC更详细讲解)…

ROC 曲线:接收者操作特征曲线(receiver operating characteristic curve),是反映敏感性和特异性连续变量的综合指标,roc 曲线上每个点反映着对同一信号刺激的感受性. 对于分类器或者说分类算法,评价指标主要有precision,recall,F1 score等,以及这里要讨论的ROC和AUC.下图是一个 ROC 曲线的示例: 横坐标:Sensitivity,伪正类率(False positive rate, FPR),预测为正但实际为负的样本占所有负例样本…

这里主要讲的是对分类模型的评估. 1.准确率(Accuracy) 准确率的定义是:[分类正确的样本] / [总样本个数],其中分类正确的样本是不分正负样本的 优点:简单粗暴 缺点:当正负样本分布不均衡的情况(假设一种极端情况,正样本1个,负样本99个),此时即使一个比较差的模型(只会将所用的样本预测成负样本),那它也有99%的准确率. 总结一下就是 当样本分布不均匀,该指标意义不大 改进方案: 1.在不同样本分类下求它的准确率,然后取平均值 2.选取其他评价指标 2.PR曲线 Precision…

度量表 1.准确率 (presion) p=TPTP+FP 理解为你预测对的正例数占你预测正例总量的比率,假设实际有90个正例,10个负例,你预测80(75+,5-)个正例,20(15+,5-)个负例 实际上你的准确率为75/80=0.9375,但这个评价指标有什么问题呢,想想就知道,这里你并没有用到实际的正例数,那么仅仅靠你猜中的正例作为分母,你并不知道实际的正例有多少,你看召回率为75/90=0.83,就是说你的猜测局限于预测范围 2.召回率       (recall)r=TPTP+FN…

易懂:http://alexkong.net/2013/06/introduction-to-auc-and-roc/ 分析全面但难懂:http://mlwiki.org/index.php/ROC_Analysis 重点:1.  预测概率 需要排序 2. 计算AUC及画ROC曲线需要输入的是:预测概率+真实标签.不能输入预测标签.…

BERT预训练模型在诸多NLP任务中都取得最优的结果.在处理文本分类问题时,即可以直接用BERT模型作为文本分类的模型,也可以将BERT模型的最后层输出的结果作为word embedding导入到我们定制的文本分类模型中(如text-CNN等).总之现在只要你的计算资源能满足,一般问题都可以用BERT来处理,此次针对公司的一个实际项目——一个多类别(61类)的文本分类问题,其就取得了很好的结果. 我们此次的任务是一个数据分布极度不平衡的多类别文本分类(有的类别下只有几个或者十几个样本,有的类别下…

https://stackoverflow.com/questions/41032551/how-to-compute-receiving-operating-characteristic-roc-and-auc-in-keras https://github.com/keras-team/keras/issues/3230#issuecomment-319208366 http://www.luozhipeng.com/?p=1225 http://scikit-learn.org/stabl…

AR和AP中都有Credit Memo和Debit Memo的概念, 但是其含义和用法完全不一样,比较难懂,现在整理如下:AR中的CreditMemo和DebitMemo是和客户打交道:AR中的CreditMemo是指的红字发票,金额一般是负数,用来冲销应收账款.当客户购买我们的货物后,还没有付钱的情况下需要全部退货,或者部分退货.我们就开这样的一张红字发票,用来冲销我们的应收账款.当然如果钱都已经收到了,那么就用Refund功能进行退款.AR中的DebitMemo是指的向客户征收附加费用的单据…

skewed classes skewed classes: 一种类里面的数量远远高于(或低于)另一个类,即两个极端的情况. 预测cancer的分类模型,如果在test set上只有1%的分类误差的话,乍一看是一个很好的结果,实际上如果我们将所有的y都预测为0的话(即都不为cancer),分类误差为0.5%(因为cancer的比率为0.5%).error降低了,那这是对算法的一种改进吗?显然不是的.因为后面一种方法实际上什么也没有做(将所有的y=0),不是一种好的机器学习算法.所以这种error…

参考博文,特别的好!!!:https://www.jianshu.com/p/82903edb58dc AUC的计算: 法1:AUC为ROC曲线下的面积,那我们直接计算面积可得.面积为一个个小的梯形面积(曲线)之和.计算的精度与阈值的精度有关. 法2:根据AUC的物理意义,我们计算正样本预测结果大于负样本预测结果的概率.取n1*n0(n1为正样本数,n0为负样本数)个二元组,比较score(预测结果),最后得到AUC.时间复杂度为O(N*M). 取n1*n0(n1为正样本数,n0为负样本数)个二…

 来源:http://blog.csdn.net/wallwind/article/details/6876892 C++map学习   map<Key, Data, Compare, Alloc> map是一种关联容器,存储相结合形成的一个关键值和映射值的元素.Map 是一种Pair Associative Container,意味着它的值类型为 pair<const Key, Data>. 而且也是 Unique Associative Container, 也就是任何两个元素…

http://m.elecfans.com/article/736801.html https://blog.csdn.net/xyz1584172808/article/details/81839230 https://www.jianshu.com/p/2ca96fce7e81…

本文参考了谷歌开发者文档:http://developer.android.com/guide/topics/manifest/uses-sdk-element.html#provisional 如果开发的应用用户较多,那么必须保证应用在多个版本不同的设备上能够正确的运行.这就要求对各个版本比较熟悉,知道在什么版本中加入了什么新的功能或特性.但是Android的版本太多了,是个令人头疼的问题.如果想了解Android的版本差异,建议读一下Android开发者文档上相关的章节. 为了让你的应用程序…