CVPR2020 论文解读:少点目标检测
CVPR2020 论文解读:具有注意RPN和多关系检测器的少点目标检测
Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector
具有注意RPN和多关系检测器的少点目标检测
目标检测的惯用方法需要大量的训练数据,准备这样高质量的训练数据很费精力的。本文中,提出一种新的少点目标检测网络,只用几个带注释的示例的看不见的类来检测目标。集中到新方法的核心是,注意力RPN,多相关检测器,以及对比训练策略,探索少点支持集和查询集之间的相似性,检测新目标同时抑制背景中的错误检测。
训练网络,提供新数据集,它包含1000类不同的目标,附加高质量的注释信息。众所周知,这是为少点目标检测最好的特定数据集之一。当少点网络训练后,不需要进一步训练和优化,就可以检测看不接见的类。这种方法是通用的,具有广泛的应用潜力。提供少点数据集中新的不同数据集上艺术状态性能。
解决什么问题
少量support的情况,检测全部的属于target目标范畴的前景
本文创新点\贡献
1. 没有反复训练和fine-tune的情况检测新物体,探索物体对的联系。可以在线检测,在proposal前面使用attention模块很有用,联系模块能过滤
2. 大量的数据集,1000个类,每个类只有少量样本,实验表明用这个数据集能达到的效果更好
本文IDEA来源
问题在于新的类别不错的框的分数低
方法
方法概述
在RPN前加一个attention,在检测器之前加了3个attention,然后还是用到了负support训练。
问题定义
给定带有target物体特写的support图片,包含support中类别物体的query图片
,support中包含K类物体,每类N个样本,所以就是
检测。
Deep Attentioned Few-Shot Detection
权重共享的框架由多个分支组成,分别为support和query服务,support根据输入有多个分支,图片只显示了一个。
query分支是一个FasterRCNN网络,包含RPN和检测器。
利用这个框架来学习support和query之间的匹配关系,更好的学习同类之间的一般知识。
以这个框架为基础,提出了attention RPN,还有多联系检测。
Attention-Based Region Proposal Network
没有support,RPN就没有目标,后面的子分类就搞不清楚这么多的不相关目标。
使用support信息就能过滤掉大部分的背景框,还有那些不是匹配的类别
通过在RPN中用attention机制来引入support信息,来对其他类的proposal进行压制
通过逐深度的方法计算二者特征值的相似性,相似性用来生成proposal
support的特征是
,query的特征是
,相似度定义如下:
其中G是attention特征图,X作为一个卷积核在query的特征图上滑动,以一种逐深度(取平均)的方式。
使用的是RPN的底部特征,ResNet50的res4-6,发现设置S=1表现很好,这说明全局特征能提供一个好的先验
G用3×3的卷积处理,然后接分类和回归层。
Multi-Relation Detector
还是测量相似性的,在query和support的bbox之间,包含三个attention:
global-relation head:学习全局匹配的深度嵌入
local-correlation head:学习support和query的proposal之间的逐像素和逐深度对应
patch-relation head:学习匹配的深度非线性度量
三个head的分析:
第三个patch 并不理想,这个头的模型更复杂,但作者也觉得复杂的联系是难学习的
但是三个一起用效果最好,说明之间还是能相互补充的
Two-way Contrastive Training Strategy
不仅匹配而且区分
训练组
,其中
,是跟query不同的类,训练的时候只有c被标记为前景
背景的proposal很多,所以平衡在query和support中三个不同匹配的比例,保持
前景proposal 和 负[ 图中(2) ]:
背景proposal 和 正
[ 图中(1) ]:
proposal(前或后) 和 负
= 1:2:1
根据匹配的分数选全部的
,选前
,前
根据第一队确定总个数,后面按分数来,什么样的分数?
错误的根据最不匹配分数?
为什么没有proposal(前或后)和positive support pairs
的?
因为这里是算不同吗?
对于每个采样的proposa计算推荐:
和Faster RCNN一样,
用的二值化交叉熵
选择训练策略
RPN的选择
和0.5IoU的取前100的RPN对比。表里也显示RPN attention确实有效
CVPR2020 论文解读:少点目标检测的更多相关文章
- CVPR2020论文解读:3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
- CVPR2020论文解读:CNN合成的图片鉴别
CVPR2020论文解读:CNN合成的图片鉴别 <CNN-generated images are surprisingly easy to spot... for now> 论文链接:h ...
- CVPR2020论文解读:三维语义分割3D Semantic Segmentation
CVPR2020论文解读:三维语义分割3D Semantic Segmentation xMUDA: Cross-Modal Unsupervised Domain Adaptation for 3 ...
- 图像分类:CVPR2020论文解读
图像分类:CVPR2020论文解读 Towards Robust Image Classification Using Sequential Attention Models 论文链接:https:// ...
- CVPR2020论文解读:OCR场景文本识别
CVPR2020论文解读:OCR场景文本识别 ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network∗ 论文 ...
- CVPR2020论文解读:手绘草图卷积网络语义分割
CVPR2020论文解读:手绘草图卷积网络语义分割 Sketch GCN: Semantic Sketch Segmentation with Graph Convolutional Networks ...
- 【论文解读】[目标检测]retinanet
作为单阶段网络,retinanet兼具速度和精度(精度是没问题,速度我持疑问),是非常耐用的一个检测器,现在很多单阶段检测器也是以retinanet为baseline,进行各种改进,足见retinan ...
- 【论文解读】行人检测:What Can Help Pedestrian Detection?(CVPR'17)
前言 本篇文章出自CVPR2017,四名作者为Tsinghua University,Peking University, 外加两名来自Megvii(旷视科技)的大佬. 文章中对能够帮助行人检测的ex ...
- CVPR2020行人重识别算法论文解读
CVPR2020行人重识别算法论文解读 Cross-modalityPersonre-identificationwithShared-SpecificFeatureTransfer 具有特定共享特征变换 ...
随机推荐
- 趁五一撸个纯Flutter版的心情日记App
前言 最近真的是太忙了,只能趁着五一期间把之前Android版的心情日记App移植到Flutter平台,并且已经上架华为应用市场以及苹果App Store. 整体框架沿用了两个星期,用Flutter撸 ...
- mac系统 PHP Nginx环境变量修改
场景:php默认的环境变量不是我们实际工作中想要的 执行命令:which php 查看默认的php指向的目录 : /usr/bin/php 修改· ~/.bash_profile 文件 添加php环 ...
- Android常见App加固厂商脱壳方法的整理
目录 简述(脱壳前学习的知识.壳的历史.脱壳方法) 第一代壳 第二代壳 第三代壳 第N代壳 简述 Apk文件结构 Dex文件结构 壳史 壳的识别 Apk文件结构 Dex文件结构 壳史 第一代壳 Dex ...
- Windows核心编程 第九章 线程与内核对象的同步(上)
第9章 线程与内核对象的同步 上一章介绍了如何使用允许线程保留在用户方式中的机制来实现线程同步的方法.用户方式同步的优点是它的同步速度非常快.如果强调线程的运行速度,那么首先应该确定用户方式的线程同步 ...
- 记一次CTF的签到题
开篇 打开题目网站 首先看到的是一个人博客,功能点非常少,功能较多的页面就是留言板了 一开始没啥思路,就想着抓包能不能找到SQL注入无果,在这个地方卡了很久 柳暗花明 在乱点的时候,无意中发现题目中的 ...
- 学生免费使用JetBrains全家桶
今天又有一个同学来问我申请流程,因此也就趁着这个机会把整个流程简单地记录一下,供大家分享.下面所提及到的学校邮箱以及相关的操作都是以自己学校为准,学校不同可能会稍有不同,大家按自己学校的操作就好. 学 ...
- js--吐血总结最近遇到的变态表单校验---element+原生+jq+easyUI(前端职业生涯见过的最烦的校验)
最近写了无数各种形式的表单,记录下奇奇怪怪的校验规则~ 一:首先是element自带的rules校验规则: element作为常用框架,自带rules属性简单易懂,官方文档一目了然,不再赘述,应付常用 ...
- Win10安装MySQL5和MySQL8
1. 下载数据库,配置环境变量 因为是安装两个MySQL数据库,端口号要不一样,MySQL默认端口号是3306,建议先配置非默认端口号,以免出现问题 1.1 官网下载5.7和8.0的压缩包 我下载的是 ...
- 记一次 .NET 车联网云端服务 CPU爆高分析
一:背景 1. 讲故事 前几天有位朋友wx求助,它的程序CPU经常飙满,没找到原因,希望帮忙看一下. 这些天连续接到几个cpu爆高的dump,都看烦了,希望后面再来几个其他方面的dump,从沟通上看, ...
- ZOHO荣登“2020中国ToB行业年度企业影响力”榜单
近日,3WToB行业头条正式揭晓<2020中国ToB行业年度榜单 · 企业影响力榜>. 此次评选,ToB行业头条联合3W集团.50+知名投资机构.60+权威媒体及资深行业人士,进行深度调研 ...