【论文信息】

《Feedforward semantic segmentation with zoom-out features》

CVPR 2015

superpixel-level,fully supervised,CNN

【方法简单介绍】

首先对输入图像以superpixel为单位提取CNN特征(使用VGG16),然后把这些特征作为CNN classifier(使用imageNet)的输入,imageNet输出是每一个superpixel的class。

【细节记录】

feature

特征提取过程是,对每一个卷积层的输出,用双线性插值的方法做upsampling使之与原图尺寸一致。然后对superpixel s的区域做pooling,这样就得到一个特征向量,这个向量的维度就是当前卷积层的卷积核个数。

例如以下图:

是对每一个superpixel下表中是VGG每一层提取特征的情况:

把每一层的输出向量连接起来,就得到终于的CNN特征。是12416维的。

作者通过实验证明,把每一个卷积层的输出都连接起来形成的特征是最优的:

version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801222314.png" width="417" height="261" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">

zoom-out 

原因在于,CNN的每一个卷积层,设卷积核大小不变,由于有下採样。图像在逐步变小。所以实际上卷积核所能感知的范围是逐步增大的,也就是文中所说的zoom out

version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801222950.png" width="519" height="454" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">

在superpixel level。红色框区域和蓝色框区域,也就是CNN的浅层。输出的特征是local feature,主要包括这个小区域的颜色信息和密度信息,它和相邻的superpixel的特征会有较大差异。

把superpixel向外zoom out。在proximal level,能够得到橄榄色的区域。在这个level提取的特征主要捕捉superpixel周围其它superpixel的信息。已经不是local的信息了,应该是neiboring的信息。对于离得近的superpixel(如A和B的橄榄绿框),它们在这个level的receptive fileds会有较多的overlap。它们之间存在smoothness。在这一层面的特征表示会有些相似。而假设离得远(A和C),overlap小。那么它们的特征表示会有较大差异。

version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801223517.png" width="469" height="317" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">

继续向外zoom out,在distant level。紫色的蓝色的区域,经常带来较大的overlap,可以在superpixel之间建立联系,而且,此时的感知区域已经可以包括一些object,所以这个level提取的特征会包括object的一些形状信息、空间位置信息、复杂的颜色和梯度信息。一些方法用CRF来挖掘这类信息。这样做经常带来复杂的难以求解的模型。

再zoom out,在scene level,就是对整幅图片感知,得到的是global的信息。这level的特征主要包括的信息是”what kind of an image we are looking at“,能够基本限定class的范围。

【实验设计】

1,选择combine哪些层输出的feature。最后结果最好的是全部层的输出连起来得到的feature

2,和现有的方法在VOC的结果比較mean IoU。是最优(Hypercolumns, FCN-8s, SDS, DivMbest+rerank, Codemaps, O2P, Regions&parts, D-sampling, Harmony potentials.)

3,和现有方法在SBD的结果比較pixel accuracy, class accuracy是最优(Multiscale convnet, recurrent CNN, Pylon, Recursive NN, Multilevel)

【总结】

长处

1。它把CNN每一层的特征都拿出来使用,兼顾了local信息和global信息。

2,直接使用image classification的现有成果,不用自己训练网络。方便高效,易于推广。

3,实验结果FCN的方法结果还好。

缺点

从作者贴出的example来看,切割的边缘还是有些粗糙。原因是:本文方法是直接基于superpixel做特征提取和分类的,提取的superpixel是不够准确的。一个superpixel中可能包括了多个class。要优化这个边缘,应该还是要挖掘出pixel level的细节信息。

version=auto&filename=QQ%E6%88%AA%E5%9B%BE20150801225749.png" width="1148" height="508" style="margin:0.2em 0px; padding:0px; border:1px solid rgb(217,217,217); vertical-align:middle; max-width:100%; width:auto; height:auto">

论文笔记《Feedforward semantic segmentation with zoom-out features》的更多相关文章

  1. 《Vision Permutator: A Permutable MLP-Like ArchItecture For Visual Recognition》论文笔记

    论文题目:<Vision Permutator: A Permutable MLP-Like ArchItecture For Visual Recognition> 论文作者:Qibin ...

  2. [place recognition]NetVLAD: CNN architecture for weakly supervised place recognition 论文翻译及解析(转)

    https://blog.csdn.net/qq_32417287/article/details/80102466 abstract introduction method overview Dee ...

  3. 论文笔记系列-Auto-DeepLab:Hierarchical Neural Architecture Search for Semantic Image Segmentation

    Pytorch实现代码:https://github.com/MenghaoGuo/AutoDeeplab 创新点 cell-level and network-level search 以往的NAS ...

  4. 论文笔记——Rethinking the Inception Architecture for Computer Vision

    1. 论文思想 factorized convolutions and aggressive regularization. 本文给出了一些网络设计的技巧. 2. 结果 用5G的计算量和25M的参数. ...

  5. 论文笔记:Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells

    Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells 2019-04- ...

  6. 论文笔记:ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware

    ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware 2019-03-19 16:13:18 Pape ...

  7. 论文笔记:DARTS: Differentiable Architecture Search

    DARTS: Differentiable Architecture Search 2019-03-19 10:04:26accepted by ICLR 2019 Paper:https://arx ...

  8. 论文笔记:Progressive Neural Architecture Search

    Progressive Neural Architecture Search 2019-03-18 20:28:13 Paper:http://openaccess.thecvf.com/conten ...

  9. 论文笔记:Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation

    Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation2019-03-18 14:4 ...

  10. 论文笔记系列-DARTS: Differentiable Architecture Search

    Summary 我的理解就是原本节点和节点之间操作是离散的,因为就是从若干个操作中选择某一个,而作者试图使用softmax和relaxation(松弛化)将操作连续化,所以模型结构搜索的任务就转变成了 ...

随机推荐

  1. Ocelot网关统一查看多个微服务asp.net core项目的swagger API接口

    0.前言 整体架构目录:ASP.NET Core分布式项目实战-目录 一.准备 前提需要下载安装consul,项目需要懂添加swagger 统一在网关中配置多个微服务的swagger,需要用到服务注册 ...

  2. python的进阶--爬虫小试

    代理之说 [ python实现代理服务功能实例 ]  --  https://www.jb51.net/article/43266.htm [检测代理是否有效] -- https://blog.csd ...

  3. android studio 汉化 美化 个性化 修改 安卓工作室 2.3.3 最新版

    韩梦飞沙  韩亚飞  313134555@qq.com  yue31313  han_meng_fei_sha 先看一下效果. 建议全屏看图,或者新标签看图.

  4. POJ2222 Keywords Search AC自动机模板

    http://acm.hdu.edu.cn/showproblem.php?pid=2222 题意:给出一些单词,求多少个单词在字符串中出现过(单词表单词可能有相同的,这些相同的单词视为不同的分别计数 ...

  5. 各种背包的dp刷题板

    [p1332][NYOJ skiing] 滑雪  (dp+搜索) [p1312] [vjios1448 路灯改建计划] 关灯问题 (背包预处理的分组背包) f[i][j]表示给把前i个灯分为j组可以获 ...

  6. [洛谷P3987]我永远喜欢珂朵莉~

    [洛谷P3987]我永远喜欢珂朵莉~ 题目大意: 给你\(n(n\le10^5)\)个数\(A_{1\sim n}(A_i\le5\times10^5)\),\(m(m\le5\times10^5)\ ...

  7. 【HDU】6410:序列期望

    序列期望 Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Others)Total Submis ...

  8. bzoj1715 虫洞

    Description John在他的农场中闲逛时发现了许多虫洞.虫洞可以看作一条十分奇特的有向边,并可以使你返回到过去的一个时刻(相对你进入虫洞之前).John的每个农场有M条小路(无向边)连接着N ...

  9. python开发_python文件操作

    关于python文件操作的详细说明,大家可以参考:关于python的文件操作 官方API:os-Miscellaneous operating system interfaces 下面是我做的demo ...

  10. Unity Pivot/Center与Local/Global总结

    Untiy左上角有两个按钮  Pivot/Center 和 Local/Global  它们叫做 变换Gizmo工具 Pivot/Center:现实游戏对象的轴心参考点.Center为以所有选中物体所 ...