论文笔记《Feedforward semantic segmentation with zoom-out features》
【论文信息】
《Feedforward semantic segmentation with zoom-out features》
CVPR 2015
superpixel-level,fully supervised,CNN
【方法简单介绍】
首先对输入图像以superpixel为单位提取CNN特征(使用VGG16),然后把这些特征作为CNN classifier(使用imageNet)的输入,imageNet输出是每一个superpixel的class。
【细节记录】
feature
特征提取过程是,对每一个卷积层的输出,用双线性插值的方法做upsampling使之与原图尺寸一致。然后对superpixel s的区域做pooling,这样就得到一个特征向量,这个向量的维度就是当前卷积层的卷积核个数。
例如以下图:
是对每一个superpixel下表中是VGG每一层提取特征的情况:
把每一层的输出向量连接起来,就得到终于的CNN特征。是12416维的。
作者通过实验证明,把每一个卷积层的输出都连接起来形成的特征是最优的:
version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801222314.png" width="417" height="261" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">
zoom-out
原因在于,CNN的每一个卷积层,设卷积核大小不变,由于有下採样。图像在逐步变小。所以实际上卷积核所能感知的范围是逐步增大的,也就是文中所说的zoom out
version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801222950.png" width="519" height="454" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">
在superpixel level。红色框区域和蓝色框区域,也就是CNN的浅层。输出的特征是local feature,主要包括这个小区域的颜色信息和密度信息,它和相邻的superpixel的特征会有较大差异。
把superpixel向外zoom out。在proximal level,能够得到橄榄色的区域。在这个level提取的特征主要捕捉superpixel周围其它superpixel的信息。已经不是local的信息了,应该是neiboring的信息。对于离得近的superpixel(如A和B的橄榄绿框),它们在这个level的receptive fileds会有较多的overlap。它们之间存在smoothness。在这一层面的特征表示会有些相似。而假设离得远(A和C),overlap小。那么它们的特征表示会有较大差异。
version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801223517.png" width="469" height="317" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">
继续向外zoom out,在distant level。紫色的蓝色的区域,经常带来较大的overlap,可以在superpixel之间建立联系,而且,此时的感知区域已经可以包括一些object,所以这个level提取的特征会包括object的一些形状信息、空间位置信息、复杂的颜色和梯度信息。一些方法用CRF来挖掘这类信息。这样做经常带来复杂的难以求解的模型。
再zoom out,在scene level,就是对整幅图片感知,得到的是global的信息。这level的特征主要包括的信息是”what kind of an image we are looking at“,能够基本限定class的范围。
【实验设计】
1,选择combine哪些层输出的feature。最后结果最好的是全部层的输出连起来得到的feature
2,和现有的方法在VOC的结果比較mean IoU。是最优(Hypercolumns, FCN-8s, SDS, DivMbest+rerank, Codemaps, O2P, Regions&parts, D-sampling, Harmony potentials.)
3,和现有方法在SBD的结果比較pixel accuracy, class accuracy是最优(Multiscale convnet, recurrent CNN, Pylon, Recursive NN, Multilevel)
【总结】
长处
1。它把CNN每一层的特征都拿出来使用,兼顾了local信息和global信息。
2,直接使用image classification的现有成果,不用自己训练网络。方便高效,易于推广。
3,实验结果FCN的方法结果还好。
缺点
从作者贴出的example来看,切割的边缘还是有些粗糙。原因是:本文方法是直接基于superpixel做特征提取和分类的,提取的superpixel是不够准确的。一个superpixel中可能包括了多个class。要优化这个边缘,应该还是要挖掘出pixel level的细节信息。
version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801225749.png" width="1148" height="508" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">
论文笔记《Feedforward semantic segmentation with zoom-out features》的更多相关文章
- 《Vision Permutator: A Permutable MLP-Like ArchItecture For Visual Recognition》论文笔记
论文题目:<Vision Permutator: A Permutable MLP-Like ArchItecture For Visual Recognition> 论文作者:Qibin ...
- [place recognition]NetVLAD: CNN architecture for weakly supervised place recognition 论文翻译及解析(转)
https://blog.csdn.net/qq_32417287/article/details/80102466 abstract introduction method overview Dee ...
- 论文笔记系列-Auto-DeepLab:Hierarchical Neural Architecture Search for Semantic Image Segmentation
Pytorch实现代码:https://github.com/MenghaoGuo/AutoDeeplab 创新点 cell-level and network-level search 以往的NAS ...
- 论文笔记——Rethinking the Inception Architecture for Computer Vision
1. 论文思想 factorized convolutions and aggressive regularization. 本文给出了一些网络设计的技巧. 2. 结果 用5G的计算量和25M的参数. ...
- 论文笔记:Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells
Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells 2019-04- ...
- 论文笔记:ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware
ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware 2019-03-19 16:13:18 Pape ...
- 论文笔记:DARTS: Differentiable Architecture Search
DARTS: Differentiable Architecture Search 2019-03-19 10:04:26accepted by ICLR 2019 Paper:https://arx ...
- 论文笔记:Progressive Neural Architecture Search
Progressive Neural Architecture Search 2019-03-18 20:28:13 Paper:http://openaccess.thecvf.com/conten ...
- 论文笔记:Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation2019-03-18 14:4 ...
- 论文笔记系列-DARTS: Differentiable Architecture Search
Summary 我的理解就是原本节点和节点之间操作是离散的,因为就是从若干个操作中选择某一个,而作者试图使用softmax和relaxation(松弛化)将操作连续化,所以模型结构搜索的任务就转变成了 ...
随机推荐
- 通过JS实现HTML的转义与反转义
function HTMLEncode(html) { var temp = document.createElement("div"); (temp.textContent != ...
- urllib2 调用salt restapi
1获取token #_*_coding:utf8_*_ import urllib2 import json def get_token(): url='http://10.20.32.86:8000 ...
- 【BZOJ 2039】 2039: [2009国家集训队]employ人员雇佣 (最小割)
2039: [2009国家集训队]employ人员雇佣 Time Limit: 20 Sec Memory Limit: 259 MBSubmit: 1511 Solved: 728 Descri ...
- Dalvik 虚拟机 jvm 区别
韩梦飞沙 韩亚飞 313134555@qq.com yue31313 han_meng_fei_sha dalvik 基于 寄存器, jvm基于 栈. 寄存器,编译时间会更短. dalvik ...
- dp洋洋散散的知识+code
/*在数轴上有0-N的位置 从0出发每次可以向右走 2 23 233步*/ // 1 总共的方案数 f[i]=f[i-]+f[i-]+f[i-]; f[]=; ;a<=n;a++) { ) f[ ...
- [Usaco2015 Feb]Censoring --- AC自动机 + 栈
bzoj 3940 Censoring 题目描述 FJ把杂志上所有的文章摘抄了下来并把它变成了一个长度不超过10^5的字符串S. 他有一个包含n个单词的列表,列表里的n个单词记为T1......Tn. ...
- lightoj 1306 - Solutions to an Equation 扩展的欧几里得
思路:看题就知道用扩展的欧几里得算法做!!! 首先我们可以求出ax+by=gcd(a,b)=g的一个组解(x0,y0).而要使ax+by=c有解,必须有c%g==0. 继而可以得到ax+by=c的一个 ...
- 小识.htaccess文件
.htaccess文件(或者"分布式配置文件")提供了针对目录改变配置的方法, 即,在一个特定的文档目录中放置一个包含一个或多个指令的文件, 以作用于此目录及其所有子目录.作为用户 ...
- iOS开发系列--通讯录、蓝牙、
iOS开发过程中有时候难免会使用iOS内置的一些应用软件和服务,例如QQ通讯录.微信电话本会使用iOS的通讯录,一些第三方软件会在应用内发送短信等.今天将和大家一起学习如何使用系统应用.使用系统服务: ...
- 普通主板设置BIOS实现电脑插电自动启动
说明: 1.为什么要实现这种功能,很多时候在民间都基本用普通PC来做小型服务器,公司的私服等等,而这些普通PC在民用电环境中经常会停电,一停就会导致服务器不能自动来电重启,所以这个功能来点开机是必须的 ...