论文笔记之:DeepCAMP: Deep Convolutional Action & Attribute Mid-Level Patterns
DeepCAMP: Deep Convolutional Action & Attribute Mid-Level Patterns
CVPR 2016
本文提出一种 分割图像 patch 的方法,因为细粒度的分类问题,如:行人动作识别 和 行人属性识别等等。
Appearance Overview
本文提出一种利用 mid-level 深度视觉模式 进行动作和属性分类,这是属于细粒度分类任务。我们的一个想法是:一个较好的 embedding 可以改善聚类算法的质量。我们设计了一种迭代算法,在每次迭代中,我们通过训练一个新的 CNN 来对上一次迭代得到的 cluster labels 进行分类,以此来改善 embedding。此外,我们相信结合人物整体的信息和 context 以及 图像 patch 的特定动作和属性标签可以改善 mid-level elements 的clusters。所以,我们从 AlexNet 网络结构上进行改进,以结合 patch 和 global image 的 feature。实验表明,利用这种新的结构学到的 embedding 性能超过了仅仅使用 patch images 微调后的 AlexNet 网络结构。
此外,在每次迭代过程中,我们通过移除 poorly scored patches 来改善 clusters。作者提到本文的两个贡献点为:
1). design an iterative algorithm contains an expert patch CNN to improve the embedding ;
2). proposing new patch CNN architecture training to use context in clustering the patches.
Pipeline Details
1. Initial feture extraction and clustering.
第一个模块 利用 MDPM 对image patches 进行 聚类。
2. Train patch clusters CNN.
我们主要的意识认为 图像 patches 的表示在聚类上扮演了重要的角色。假设初始的聚类是合理的,在这个模块,我们训练一个新的 CNN 来改善表示。训练这个新的 CNN 的目的就是当给定图像 patch的时候,可以预测 cluster 的 label。这里就和之前的那个 CNN 区别开来,之前的那个是为了 classify bounding box images to different action categories. 我们相信利用判别性的 patch cluster CNN results 学习这个细粒度的分类可以得到一个更好的聚类表示。
Updating clusters
既然已经用新训练的 CNN 学习了表示,那么我们利用 MDPM算法再一次的更新 clusters 以得到一个更好的 clusters 的集合来匹配新的表示。由于在 MDPM 中进行 mid-level clusters 的填充是非常耗时的,我们固定住 第一层的聚类,然后通过重复 re-clustering 和 利用新的表示融合来更新 clusters。这个可以得到更好的聚类,最后,我们训练新的 LDA 分类器来检测 clusters。为了进行 re-clustering而改进的 MDPM在 4.1节进行了描述。
Harvesting patches.
为了改善 clusters 的纯度,我们通过移除不适合任何 cluster的patches来清理 clusters。我们通过阈值化 LDA 分类器为每一个cluster产生的置信值来达到此效果。最终,we pass the new patches with associate cluster labels to learn a new CNN based representation.
3. Mid-level Deep Patterns Network
说实话,感觉看到这里,感觉整个流程写的挺混乱的。我哩个去。。。让我先整理下思路。。。懵逼了。。。
Experience
我的感受:
夜深了,我要入睡了。。。
明天再 bb
论文笔记之:DeepCAMP: Deep Convolutional Action & Attribute Mid-Level Patterns的更多相关文章
- 论文笔记(1):Deep Learning.
论文笔记1:Deep Learning 2015年,深度学习三位大牛(Yann LeCun,Yoshua Bengio & Geoffrey Hinton),合作在Nature ...
- 论文笔记: Dual Deep Network for Visual Tracking
论文笔记: Dual Deep Network for Visual Tracking 2017-10-17 21:57:08 先来看文章的流程吧 ... 可以看到,作者所总结的三个点在于: 1. ...
- ASPLOS'17论文导读——SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing
今年去参加了ASPLOS 2017大会,这个会议总体来说我感觉偏系统和偏软一点,涉及硬件的相对少一些,对我这个喜欢算法以及硬件架构的菜鸟来说并不算非常契合.中间记录了几篇相对比较有趣的paper,今天 ...
- 论文笔记之:Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks
Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks NIPS 2015 摘要:本文提出一种 ...
- 论文笔记之:Deep Attention Recurrent Q-Network
Deep Attention Recurrent Q-Network 5vision groups 摘要:本文将 DQN 引入了 Attention 机制,使得学习更具有方向性和指导性.(前段时间做 ...
- 论文笔记之: Hierarchical Convolutional Features for Visual Tracking
Hierarchical Convolutional Features for Visual Tracking ICCV 2015 摘要:跟卢湖川的那个文章一样,本文也是利用深度学习各个 layer ...
- 论文笔记之:Deep Reinforcement Learning with Double Q-learning
Deep Reinforcement Learning with Double Q-learning Google DeepMind Abstract 主流的 Q-learning 算法过高的估计在特 ...
- 论文笔记之:Fully Convolutional Attention Localization Networks: Efficient Attention Localization for Fine-Grained Recognition
Fully Convolutional Attention Localization Networks: Efficient Attention Localization for Fine-Grain ...
- 论文笔记之:Deep Attributes Driven Multi-Camera Person Re-identification
Deep Attributes Driven Multi-Camera Person Re-identification 2017-06-28 21:38:55 [Motivation] 本文 ...
随机推荐
- SharePoint 2013 Nintex Workflow 工作流帮助(七)
博客地址 http://blog.csdn.net/foxdave 工作流动作 11. Check out item(Libraries and lists分组) 与上一个对应,用于签出条目.如果一个 ...
- 转 Learning To Rank之LambdaMART的前世今生
http://blog.csdn.net/huagong_adu/article/details/40710305
- 微软TechEd2013大会将在北京、上海召开!
微软TechEd2013大会将在北京.上海召开 大家期盼已久的微软TechEd2013大会终于到来了! 我公司依旧是微软公司指定票商 ,继续为您提供最最优质的售前咨询.最最完善的售后服务! 微软Tec ...
- Java---NullPoint经验解析
tv_yue = (TextView) findViewById(R.id.tv_yue); if(!Constant.cf_balance.isEmpty()){ tv_yue.setText(Co ...
- UIlabel设置不同的颜色
NSString *string = @"注册过程中出现问题,致电400-650-5167联系会养车工作人员"; NSRange range = [string rangeO ...
- PAT 05-树6 Path in a Heap
这次的作业完全是依葫芦画瓢,参照云课堂<数据结构>(http://mooc.study.163.com/learn/ZJU-1000033001#/learn/content)中何钦铭老师 ...
- objectarx 卸载加载arx模块
通常情况下,加载卸载arx模块是使用 APPLOAD命令 使用ObjectARX 代码操作,也非常简单,使用2个全局函数即可,参数为名字有扩展名 C++ int acedArxLoad( const ...
- Ogre碰撞检测
转自:http://blog.csdn.net/weiqubo/article/details/7108363 Ogre采用树桩管理场景中的各种"元素"(摄像机.灯光.物体等),所 ...
- PHP中常用正则表达式大全
常用正则表达式大全!(例如:匹配中文.匹配html) 匹配中文字符的正则表达式: [u4e00-u9fa5] 评注:匹配中文还真是个头疼的事,有了这个表达式就好办了 匹配双字节字符(包括汉字在内 ...
- (工作经验总结一二)队列--多个main的原因
1,项目创建最好有一个自己的继承于UIViewController的类,并且其他控制器继承这个控制器,灵活性较大,例如: 要给项目每个页面添加截图或用户操作轨迹记录等,这样就省去了到每个页面添加的麻烦 ...