转载请注明出处:https://www.cnblogs.com/White-xzx/

原文地址:https://arxiv.org/abs/1709.09930

Github: https://github.com/xh-liu/HydraPlus-Net

如有不准确或错误的地方,欢迎交流~

  HP-Net是一个基于注意力机制(attention-based)的深度神经网络,将多层注意力机制图多向映射到不同的特征层。

【HP-Net Adavantage】

  (1)模型能够从浅层到语义层捕获注意力;

  (2)挖掘多尺度的可选注意力特征,充实最终的行人特征表示;

  (3)提取出细节和局部特征来充实高层全局特征,这些特征在细粒度的行人分析任务中是非常重要的;

  (4)提出多方向注意机制模块(multi-directional attention,MDA),提取多层(multiple level)特征,包含局部和全局特征,进行多层特征融合,进行细粒度的行人分析;

  

   multi-level: (a)语义层:分辨相似外观行人的局部区域特征,如长短发、长短袖; (b)浅层:捕捉行人的衣服的条纹;

      multi-scale: (c)(d)多尺度特征,描述行人特点 (c)小尺度特征对应‘打电话’; (d)大尺度全局理解描述‘性别’

【HydraPlus-Net网络结构】

  (1)Main Net(M-Net):单纯的CNN结构,论文的实现是基于inception_v2,包含三个inception block,还包含几个低层卷积层

  (2)Attentive Feature Net(AF-Net):三个分支,每个分支有三个inception_v2 block和一个MDA

  

【Attentive Feature Network】

  AF-Net包含3个MDA增强的网络分支,

  AF-Net和M-Net共享卷积框架,他们的输出级联后经过全局平均池化和全连接层融合,最终的输出映射到属性logits用于属性识别,或特征向量用于再认证。

   

  为inception i模块的输出经过1 1conv、BN、ReLU产生的注意力图,并被相乘到inception k的输出特征图,产生多层多尺度注意力特征,传送到后续的层,MDA模块的最后L个注意力特征级联作为最终特征表示,k∈{1,2,3}

【Attention Mechanism 注意力机制】

  传统基于注意力的模型,将注意力图返回输入到原相同的模块(右图红线),通过应用注意力图到相邻的模块来扩展此机制;HP-Net应用不同的注意力图到多个模块(下图b),在相同的空间分布下融合多层特征。

  

【Multi-level Attention Map 多层注意力图】

  不同模块学习得到注意力图在尺度和细节上差异非常大,如下图(a),高层通常更粗糙、更聚焦语义区域(特定物体),如,低层捕获局部特征和细节(边缘和纹理),如 。因此,使用MDA模块融合不同层注意力特征,可以收集不同层的语义信息,提供更多可选特征表达。

    

  上图为每个输入图像提取某level的L = 8 attention channels 的特征图,不同MDA作用下,多级注意力特征的定性演示

  

  (a)浅层属性,如上衣类型,需要低层注意力连接,纹理 -> T-Shirt (b)语义或目标级别的属性,如手机,需要高层注意力连接

【Stage-wise Training 分阶段训练】

  ①训练M-Net,提取基本特征;

  ②将M-Net复制三次,得到AF-Net的三个分支,每个MDA模块有三个子分支组成,即临近的三个不同的inception blocks,依次微调每个blocks,即共有9个blocks需要微调;

  ③微调完成后,固定AF-Net和M-Net,训练全局平均池化层(GAP)和全连接层(FC);

  ④输出层:属性识别使用交叉熵损失函数,行人ReID使用softmax函数。

【实验结果】

  

  

【论文阅读】HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis的更多相关文章

  1. 论文阅读 | Towards a Robust Deep Neural Network in Text Domain A Survey

    摘要 这篇文章主要总结文本中的对抗样本,包括器中的攻击方法和防御方法,比较它们的优缺点. 最后给出这个领域的挑战和发展方向. 1 介绍 对抗样本有两个核心:一是扰动足够小:二是可以成功欺骗网络. 所有 ...

  2. [论文阅读] ImageNet Classification with Deep Convolutional Neural Networks(传说中的AlexNet)

    这篇文章使用的AlexNet网络,在2012年的ImageNet(ILSVRC-2012)竞赛中获得第一名,top-5的测试误差为15.3%,相比于第二名26.2%的误差降低了不少. 本文的创新点: ...

  3. 论文解读第三代GCN《 Deep Embedding for CUnsupervisedlustering Analysis》

    Paper Information Titlel:<Semi-Supervised Classification with Graph Convolutional Networks>Aut ...

  4. 论文解读DEC《Unsupervised Deep Embedding for Clustering Analysis》

    Junyuan Xie, Ross B. Girshick, Ali Farhadi2015, ICML1243 Citations, 45 ReferencesCode:DownloadPaper: ...

  5. 论文解读GCN 1st《 Deep Embedding for CUnsupervisedlustering Analysis》

    论文信息 Tittle:<Spectral Networks and Locally Connected Networks on Graphs> Authors:Joan Bruna.Wo ...

  6. BERT 论文阅读笔记

    BERT 论文阅读 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 由 @快刀切草莓君 ...

  7. Deep Reinforcement Learning for Dialogue Generation 论文阅读

    本文来自李纪为博士的论文 Deep Reinforcement Learning for Dialogue Generation. 1,概述 当前在闲聊机器人中的主要技术框架都是seq2seq模型.但 ...

  8. 【医学图像】3D Deep Leaky Noisy-or Network 论文阅读(转)

    文章来源:https://blog.csdn.net/u013058162/article/details/80470426 3D Deep Leaky Noisy-or Network 论文阅读 原 ...

  9. 论文阅读:Face Recognition: From Traditional to Deep Learning Methods 《人脸识别综述:从传统方法到深度学习》

     论文阅读:Face Recognition: From Traditional to Deep Learning Methods  <人脸识别综述:从传统方法到深度学习>     一.引 ...

随机推荐

  1. JavaWeb开发之详解Servlet及Servlet容器

    自JavaEE诞生伊始,Servlet容器和Servlet技术,就构成了JavaEE应用的核心,配合其它组件,它们完善了Java企业级开发的全套解决方案.小到一个静态博客网站,大到分布式的集群应用,都 ...

  2. python day4 ---------------文件的基本操作

    1.能调用方法的一定是对象,比如数值.字符串.列表.元组.字典,甚至文件也是对象,Python中一切皆为对象. str1 = 'hello' str2 = 'world' str3 = ' '.joi ...

  3. MT【176】两两乘积

    求$1,2\cdots,n$两两乘积的平均值____ 解答:$\dfrac{1}{C_n^2}\sum\limits_{1\le i<j\le n}{ij}=\dfrac{1}{n(n-1)}( ...

  4. 【刷题】BZOJ 3522 [Poi2014]Hotel

    Description 有一个树形结构的宾馆,n个房间,n-1条无向边,每条边的长度相同,任意两个房间可以相互到达.吉丽要给他的三个妹子各开(一个)房(间).三个妹子住的房间要互不相同(否则要打起来了 ...

  5. 【刷题】洛谷 P4782 【模板】2-SAT 问题

    题目背景 2-SAT 问题 模板 题目描述 有n个布尔变量 \(x_1\)​~\(x_n\)​,另有m个需要满足的条件,每个条件的形式都是"\(x_i\)​为true/false或\(x_j ...

  6. 【题解】 [HNOI2004]宠物收养场(Splay)

    懒得复制,戳我戳我 Solution: \(Splay\)板子,注意交换的地方,然后就是注意不要越界node[x],应该是\(node[now]\),其次就是数组可以开大点 Code: //It is ...

  7. bzoj1040 骑士

    Description Z国的骑士团是一个很有势力的组织,帮会中汇聚了来自各地的精英.他们劫富济贫,惩恶扬善,受到社会各界的赞扬.最近发生了一件可怕的事情,邪恶的Y国发动了一场针对Z国的侵略战争.战火 ...

  8. 【POJ1958】汉诺塔+

    题目大意:给定一个四个柱子的汉诺塔,N 个盘子,求最少多少步移动到另一个柱子上. 题解:\(f[n]=min(2*f[i]+d[n-i])\),其中 \(d[i]\) 为汉诺三塔最小移动次数.M 塔同 ...

  9. ES6学习(二)基础命令

    一.Let 和 const  作用域的概念:在es5之前是有两个作用域,一个是全局作用域,另外一个是函数作用域,在es6中就多了这样一个块作用域.在这里let 和 const 就是传说中的块作用域,它 ...

  10. Asp.net MVC3 CSS 模板

    http://www.cnblogs.com/huyq2002/archive/2011/12/16/2289795.html Asp.net MVC3 CSS 模板 如果你现在正在用asp.net ...