Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking 

arXiv Paper

  Project Page:http://guanghan.info/projects/ROLO/

  GitHub:https://github.com/wangxiao5791509/ROLO  

  摘要:本文提出了一种新的方法进行空间监督 RCNN 来进行目标跟踪。我们通过深度神经网络来学习到  locations 的历史信息 和 具有判别性的视觉特征。收到最近的 bbox 回归技术的启发,本文研究了 LSTM 在时间领域的回归能力,可以连接高层视觉特征。跟现有的跟踪算法训练二分类器不同,我们在卷积层 和 recurrent unit 两个方面利用回归直接得到跟踪位置的预测。

  由于受到各种跟踪问题的挑战,许多 tracker 都是采用产生式或者判别式的方法来区分前景或者背景,也就是将跟踪看做是一个二分类问题。一个主要的缺点在于:严重依赖于手工设计的feature,无法结合物体的语义信息(semantic information),对于突然的形变并不具有鲁棒性。所以,随着深度学习的火爆,越来愈多的 tracker 开始采用深度feature。但是,在时序上的探索,几乎还没有。

  本文的关键动机是:tracking failures can often be effectively recovered by learning from historical visual semantic and tracking proposals.

  算法流程

  如上图所示:算法的输入是 video frame,第一个框架是 YOLO,然后是 LSTM 单元,最终输出的是 target 的 location。

  然后文章介绍了 LSTM 和 YOLO 的相关背景知识,此处略去,详情请参考相关文章。

  

  本文提出的 tracker 的示意图,如下所示:

  

  网络的训练分为三个阶段

  1.  the pre-trained phrase of convolutional layers for feature learning;      卷积层的预训练,以提取 feature

  2.  the traditional YOLO training phase for object proposal          训练 YOLO 以产生 proposal

  3.  the LSTM training phase for object tracking.              训练 LSTM 进行跟踪


实验效果展示:

论文笔记之:Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking的更多相关文章

  1. 论文笔记之:Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

    Learning Multi-Domain Convolutional Neural Networks for Visual Tracking CVPR 2016 本文提出了一种新的CNN 框架来处理 ...

  2. 【论文笔记】Pyramidal Convolution: Rethinking Convolutional Neural Networks for Visual Recognition

    地址:https://arxiv.org/pdf/2006.11538.pdf github:https://github.com/iduta/pyconv 目前的卷积神经网络普遍使用3×3的卷积神经 ...

  3. 论文阅读:MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

    前言 CVPR2016 来自Korea的POSTECH这个团队   大部分算法(例如HCF, DeepLMCF)只是用在大量数据上训练好的(pretrain)的一些网络如VGG作为特征提取器,这些做法 ...

  4. AlexNet论文翻译-ImageNet Classification with Deep Convolutional Neural Networks

    ImageNet Classification with Deep Convolutional Neural Networks 深度卷积神经网络的ImageNet分类 Alex Krizhevsky ...

  5. tensorfolw配置过程中遇到的一些问题及其解决过程的记录(配置SqueezeDet: Unified, Small, Low Power Fully Convolutional Neural Networks for Real-Time Object Detection for Autonomous Driving)

    今天看到一篇关于检测的论文<SqueezeDet: Unified, Small, Low Power Fully Convolutional Neural Networks for Real- ...

  6. 卷积神经网络用于视觉识别Convolutional Neural Networks for Visual Recognition

    Table of Contents: Architecture Overview ConvNet Layers Convolutional Layer Pooling Layer Normalizat ...

  7. Convolutional Neural Networks for Visual Recognition

    http://cs231n.github.io/   里面有很多相当好的文章 http://cs231n.github.io/convolutional-networks/ Table of Cont ...

  8. Convolutional Neural Networks for Visual Recognition 8

    Convolutional Neural Networks (CNNs / ConvNets) 前面做了如此漫长的铺垫,现在终于来到了课程的重点.Convolutional Neural Networ ...

  9. Convolutional Neural Networks for Visual Recognition 5

    Setting up the data and the model 前面我们介绍了一个神经元的模型,通过一个激励函数将高维的输入域权值的点积转化为一个单一的输出,而神经网络就是将神经元排列到每一层,形 ...

随机推荐

  1. JS设计模式书籍、原则

    圣经书:JavaScript 高级程序设计 设计模式:DesignPatterns by Erich Gamma.Richard Hlem.Ralph Johnson .Jhon Vlissides ...

  2. sql server和oracle的差异

    .部分SQL语句差异 (1)SQL:select top 10 * from table     ORA: select * from table where rownum<11(2)SQL:S ...

  3. linux下解决端口被占用的问题

    以端口9877为例,先查看是否有进程占用该端口 netstat -tln | grep 9877 然后查看占用该端口的进程的进程id lsof -i :9877 最后kill 命令结束该进程: kil ...

  4. Mifare Classic Tool(MCT)汉化版

    2.0.4 到 2.0.6的更改: 注意:本汉化版本可能不稳定,与此发生的一切后果与作者和汉化者无关. Version : * Bugfix: Fixed crash which occurred i ...

  5. SingleThreadModel is deprecated in Servlet API version 2.4

    Ensures that servlets handle only one request at a time. This interface has no methods. If a servlet ...

  6. exit(-1)或者return(-1)为什么shell得到的退出码是255?

    写一段hello world: // filename: main.c #include <stdio.h> int main(void) { printf("hello wol ...

  7. ld链接问题解决

    http://stackoverflow.com/questions/480764/linux-error-while-loading-shared-libraries-cannot-open-sha ...

  8. 机器学习技法-神经网络(NNet)

    课程地址:https://class.coursera.org/ntumltwo-002 重要!重要!重要~ 一.神经网络(NNet)的动机 神经网络有很久的历史,由感知机(perceptron)模型 ...

  9. QMP ( qemu monitor protocol ) and Different ways of accessing it

    The QEMU Monitor Protocol (QMP) is a JSON-based protocol which allows applications to communicate wi ...

  10. Open vSwitch FAQ (二)

    Configuration Problems Q: I created a bridge and added my Ethernet port to it, using commands like t ...