当预测值与目标值相差很大时,L2 Loss的梯度为(x-t),容易产生梯度爆炸,L1 Loss的梯度为常数,通过使用Smooth L1 Loss,在预测值与目标值相差较大时,由L2 Loss转为L1 Loss可以防止梯度爆炸. L2 loss的导数(梯度)中包含预测值与目标值的差值,当预测值和目标值相差很大,L2就会梯度爆炸.说明L2对异常点更敏感.L1 对噪声更加鲁棒. 当差值太大时, loss在|x|>1的部分采用了 l1 loss,避免梯度爆炸.原先L2梯度里的x−t被替换成了±1, 这样…

前情提要—— 网上关于目标检测框架——faster r_cnn有太多太好的博文,这是我在组会讲述faster r_cnn这一框架时被人问到的一个点,当时没答上来,于是会下好好百度和搜索一下研究了一下这个问题. 先看faster r_cnn的对bounding_box的回归损失函数: 百度百科的解释是:对于边框的预测是一个回归问题.通常可以选择平方损失函数(L2损失):f(x)=x^2.但这个损失对于比较大的误差的惩罚很高.我们可以采用稍微缓和一点绝对损失函数(L1损失):f(x)=|x|,它是随…

总结对比下\(L_1\) 损失函数,\(L_2\) 损失函数以及\(\text{Smooth} L_1\) 损失函数的优缺点. 均方误差MSE (\(L_2\) Loss) 均方误差(Mean Square Error,MSE)是模型预测值\(f(x)\) 与真实样本值\(y\) 之间差值平方的平均值,其公式如下 \[ MSE = \frac{\sum_{i=1}^n(f_{x_i} - y_i)^2}{n} \] 其中,\(y_i\)和\(f(x_i)\)分别表示第\(i\)个样本的真实值及其…

1.loss要规范化,这样就不会受图片大小的影响 2.w.h采用log:比较特殊的是w,hw,h的regression targets使用了log space. 师兄指点说这是为了降低w,hw,h产生的loss的数量级, 让它在loss里占的比重小些, 不至于因为w,hw,h的loss太大而让x,yx,y产生的loss无用 3.当预测值与目标值相差很大时, 梯度容易爆炸, 因为梯度里包含了x−t. 所以rgb在Fast RCNN里提出了SmoothL1Loss.当差值太大时, 原先L2梯度里的x…

论文原址:https://arxiv.org/pdf/1811.05181.pdf github:https://github.com/libuyu/GHM_Detection 摘要 尽管单阶段的检测器速度较快,但在训练时存在以下几点不足,正负样本之间的巨大差距,同样,easy,hard样本的巨大差距.本文从梯度角度出发,指出了上面两个不足带来的影响.然后,作者进一步提出了梯度协调机制(GHM)用于避开上面的不足.GHM的思想可以嵌入到用于分类的交叉熵损失或者用于回归的Smooth-L1损失中,…

一.基于Region Proposal(候选区域)的深度学习目标检测算法 Region Proposal(候选区域),就是预先找出图中目标可能出现的位置,通过利用图像中的纹理.边缘.颜色等信息,保证在选取较少窗口(几千个甚至几百个)的情况下保持较高的召回率(IoU,Intersection-over-Union). 图1  IoU定义 Region Proposal方法比传统的滑动窗口方法获取的质量要更高.比较常用的Region Proposal方法有:SelectiveSearch(SS,选择…

在介绍Faster R-CNN之前,先来介绍一些前验知识,为Faster R-CNN做铺垫. 一.基于Region Proposal(候选区域)的深度学习目标检测算法 Region Proposal(候选区域),就是预先找出图中目标可能出现的位置,通过利用图像中的纹理.边缘.颜色等信息,保证在选取较少窗口(几千个甚至几百个)的情况下保持较高的召回率(IoU,Intersection-over-Union). 图1  IoU定义 Region Proposal方法比传统的滑动窗口方法获取的质量要更…

项目源码 一.Faster-RCNN简介 『cs231n』Faster_RCNN 『计算机视觉』Faster-RCNN学习_其一:目标检测及RCNN谱系 一篇讲的非常明白的文章:一文读懂Faster RCNN (1)输入测试图像: (2)将整张图片输入CNN,进行特征提取: (3)用RPN生成建议窗口(proposals),每张图片保留约300个建议窗口: (4)把建议窗口映射到CNN的最后一层卷积feature map上: (5)通过RoI pooling层使每个RoI生成固定尺寸的featu…

废话不多说,上车吧,少年 paper链接:Fast R-CNN &创新点 规避R-CNN中冗余的特征提取操作,只对整张图像全区域进行一次特征提取: 用RoI pooling层取代最后一层max pooling层,同时引入建议框信息,提取相应建议框特征: Fast R-CNN网络末尾采用并行的不同的全连接层,可同时输出分类结果和窗口回归结果,实现了end-to-end的多任务训练[建议框提取除外],也不需要额外的特征存储空间[R-CNN中这部分特征是供SVM和Bounding-box regres…

目录 1. 前言 2. R-CNN 2.0 论文链接 2.1 概述 2.2 pre-training 2.3 不同阶段正负样本的IOU阈值 2.4 关于fine-tuning 2.5 对文章的一些思考 3. SPP-Net 3.0 论文链接 3.1 概述 3.2 一次性full-image卷积 3.3 Spatital Pyramid Pooling 3.4 多尺度训练与测试 3.5 如何将原图的proposal映射到到feature map上 3.6 SPP-Net的一些不足 4. Fast…