DenseASPP论文总结
一、相关工作
1、FCN
FCN开创了语义分割任务的先河,高级语义信息在分割网络中起着至关重要的作用。为了提取高级信息,FCN使用多个池化层来增加输出神经元的接受域大小。然而,增加池化层的数量会导致feature map的大小减小,这对将分割输出上采样回全分辨率造成了严重的挑战。为了解决较大的特征图分辨率和较大的接收域之间的矛盾,提出了一种新的空洞卷积算法。
2、空洞卷积(Atrous convolution )
与传统的卷积算子相比,atrous卷积能够在不增加核参数数目的情况下获得更大的接受域大小。由atrous卷积产生的feature map可以与输入的大小相同,但是每个输出神经元拥有更大的接受域,因此可以编码更高层次的语义。虽然atrous convolution解决了feature map分辨率与接受域大小之间的矛盾,atrouss - convolution输出的 feature map中的所有神经元都具有相同的接受域大小,这意味着语义掩码的生成过程只利用了单一尺度上的特征。可是,多尺度信息将有助于解决模糊情况,并产生更稳健的分类结果。
3、ASPP
为此,ASPP[2,3]提出将不同扩张率下的atrous convolution生成的feature map串联起来,使得输出feature map中的神经元包含多个接受域大小,对多尺度信息进行编码,最终提高性能。
然而,随着膨胀率的增加(如d > 24), atrous convolution变得越来越无效,逐渐失去了建模能力。因此,设计一个能够编码多尺度信息,同时又能获得足够大的接收域的网络结构是非常重要的。
二、DenseASPP
DenseASPP由一个基础网络和一系列层叠的卷积层组成。提出的DenseASPP结合了并行和级联使用空洞卷积层的优点,在更大的范围内产生了更多的尺度特征。通过一系列的特征连接,每个中间特征图上的神经元从多个尺度对语义信息进行编码,不同的中间特征图从不同的尺度范围对多尺度信息进行编码。通过一系列的空洞卷积,较晚层次的神经元获得越来越大的感受野,而不会出现ASPP的核退化问题。因此,DenseASPP最终的输出特征图不仅涵盖了大范围的语义信息,而且以非常密集的方式覆盖了该范围。
1、贡献
1) DenseASPP能够生成覆盖非常大范围的特性(就接受域大小而言)。
2) DenseASPP生成的特征能够非常密集地覆盖上述尺度范围。
2、工作模式

空洞卷积层以级联方式组织,每一层的膨胀率逐层增加。膨胀率小的层在下部,膨胀率大的层在上部。将每一层的输出与输入的feature map和较低层的所有输出连接起来,并将这些连接起来的feature map送入下一层。DenseASPP的最终输出是由多空洞率、多尺度的卷积生成的特征图。提出的结构可以同时组成一个更密集和更大的特征金字塔,只需要几个空洞卷积层。与原始的ASPP[3]相比,DenseASPP将所有空洞卷积层堆叠在一起,并用紧密的连接将它们连接起来。这种变化主要给我们带来两个好处:更密集的特征金字塔和更大的接受域。
3、优点
3.1密度特征金字塔
“密度”一词不仅表示特征金字塔的尺度多样性更好,还表示卷积涉及的像素比ASPP中更多。
密集抽样规模:DenseASPP是一个有效的架构,可以对不同规模的输入进行采样。DenseASPP的一个关键设计是使用紧密的连接来实现不同膨胀率的不同层次的集成
对于扩张速率为d、核大小为K的空洞卷积层,其等效接受域大小为:
R = (d - 1) × (K - 1) + K
以d = 3的3×3卷积层为例,对应的接受域大小为7。
将两个卷积层叠加在一起可以得到更大的接受域。假设我们分别有两个滤波尺寸为K1和K2的卷积层,新的接受域为:
K = K1 + K2 - 1
例如,内核大小为7的卷积层与内核大小为13的卷积层叠加,接收域大小为19。
DenseASPP由包含扩张率为3,6,12,18的扩张卷积,每组数字的表示扩张率的组合,长度表示等效的卷积核大小,k表示实际的接收野,如下所示:


密集的像素采样:与ASPP相比,DenseASPP在特征金字塔的计算中涉及到更多的像素。ASPP采用4个膨胀率分别为6、12、18、24的卷积层构成特征金字塔。与相同接收域的传统卷积层相比,大扩张率的卷积层的像素采样率非常稀疏。在DenseASPP中,膨胀率逐层增加,因此,上层的卷积可以利用下层的特征,使像素采样更加密集。
3.2更大的接受域
DenseASPP带来的另一个好处是更大的接受域。Atrous convolutional layers在传统的ASPP中是并行工作的,而四个分支在前馈过程中是不共享任何信息的。与之相反,DenseASPP中的空洞卷积层通过跳过连接来共享信息。小扩展率和大扩展率的层之间是相互依赖的,其中前馈过程不仅会构成一个更密集的特征金字塔,而且会产生一个更大的过滤器来感知更大的上下文。
设Rmax为特征金字塔的最大接受域,函数RK,d为核大小为K、扩张率为d的卷积层的接受域,则ASPP的最大接受域为(6,12,18,
24)是:
Rmax = max [R3,6, R3,12, R3,18, R3,24]
= R3,24
= 51
而DenseASPP(6、12、18、24)的最大接受域是:
Rmax = R3,6 + R3,12 + R3,18 + R3,24 - 3
= 122
如此大的接受域可以为高分辨率图像中的大对象提供全局信息。例如,Cityscapes[4]的分辨率为2048×1024,而我们的分割网络最后的feature map为256×128。
DenseASPP(6、12、18、24)覆盖了122特征图,DenseASPP(3、6、12、18、24)覆盖了128的特征图。
DenseASPP论文总结的更多相关文章
- 多篇开源CVPR 2020 语义分割论文
多篇开源CVPR 2020 语义分割论文 前言 1. DynamicRouting:针对语义分割的动态路径选择网络 Learning Dynamic Routing for Semantic Segm ...
- PayPal高级工程总监:读完这100篇论文 就能成大数据高手(附论文下载)
100 open source Big Data architecture papers for data professionals. 读完这100篇论文 就能成大数据高手 作者 白宁超 2016年 ...
- [Erlang 0126] 我们读过的Erlang论文
我在Erlang Resources 豆瓣小站上发起了一个征集活动 [链接] ,"[征集] 我们读过的Erlang论文",希望大家来参加.发起这样一个活动的目的是因为Erlang相 ...
- [个人论文]一种基于GPU并行计算的MD5密码解密方法
求轻喷... [顺便get一份LaTeX论文模板....还是XeLaTex好用.珍爱生命远离CJK http://files.cnblogs.com/files/pdev/paper.zip
- Windows下LATEX排版论文攻略—CTeX、JabRef使用介绍
Windows下LATEX排版论文攻略—CTeX.JabRef使用介绍 一.工具介绍 TeX是一个很好排版工具,在学术界十分流行,特别是数学.物理学和计算机科学界. CTeX是TeX中的一个版本,指的 ...
- TeXstudio 编写Latex论文的若干问题
TeXstudio 编写Latex论文的若干问题解决方案总结 问题1: 如何安装TeXstudio 以及 Texstudio当中的中文字体使用问题. 一.如何安装TeXstudio 很 ...
- SCI英文论文写作- Latex 进阶
SCI英文论文写作- Latex 进阶 1.设置行间距的方法: %\setlength{\baselineskip}{15pt} \renewcommand{\baselinestretch}{1 ...
- DL论文
题目:Accurate Image Super-Resolution Using Very Deep Convolutional Networks(2016CVPR) 摘要:文中提出了一种高精度处理单 ...
- 【Hawk】高级教程——post参数采集万方医学网论文
目标——万方医学网论文列表 http://med.wanfangdata.com.cn/Author/General/A000000001 和普通网页不一样的地方在于点击下一页的时候,URL没有发生变 ...
随机推荐
- 微服务(Microservices)——Martin Flower
原文是 Martin Flower 于 2014 年 3 月 25 日写的<Microservices>. 迁移到:http://www.bdata-cap.com/newsinfo/17 ...
- 【转载】C#通过Remove方法移除DataTable中的某一列数据
在C#中的Datatable数据变量的操作过程中,有时候我们需要移除当前DataTable变量中的某一列的数据,此时我们就需要使用到DataTable变量内部的Columns属性变量的Remove方法 ...
- 【转载】 C#中手动创建一个DataTable对象并写入数据
在C#操作集合数据的过程中,有时候需要手动创建一个DataTable对象,并手动设置DataTable对象的Columns列名等信息,最后再往手动创建的DataTable对象中写入相应的数据信息,此时 ...
- Cheat Engine 作弊表框架代码
打开游戏 打开自动汇编 扫描的所有过程,这里就省略了 引用作弊表框架代码 查找使阳光减少的地址 拷贝这个地址 添加到自动汇编脚本里,并添加汇编指令 分配到当前作弊表 生成自动汇编脚本 进行激活测试 可 ...
- http://www.jb51.net/article/51934.htm
这篇文章主要介绍了mysql优化limit查询语句的5个方法,它们分别是子查询优化法.倒排表优化法.反向查找优化法.limit限制优化法和只查索引法,需要的朋友可以参考下 mysql的分页比较简单 ...
- 解决在页面中无法获取qrcode.js生成的base64的图片
应用场景 生成带二维码的推广海报图片 旧方法: 将用户自己的推广连接先通过qrcode.js生成二维码,然后再用后台返回的一张背景图片和二维码通过canvas绘制成一张海报. 问题 在部分安卓手机上获 ...
- windows自动化-脚本案例
; Script Start - Add your code below here Run("D:\Navicat Premium\navicat.exe") Sleep(1000 ...
- Web架构之路:MongoDB集群及高可用实践
MongoDB集群有副本集及主从复制两种模式,不过主从模式在MongoDB 3.6已经彻底废弃,今天主要探讨副本集的搭建和使用,以及分片. 副本集介绍 副本集(Replica Set)即副本的集合,在 ...
- Python xlrd模块读取Excel表中的数据
1.xlrd库的安装 直接使用pip工具进行安装(当然也可以使用pycharmIDE进行安装,这里就不详述了) pip install xlrd 2.xlrd模块的一些常用命令 ①打开excel文件并 ...
- 解决:IntelliJ IDEA输入法不跟随光标
主界面 Ctrl+Shift+a 输入 switch boot jdk 然后回车 选择自己安装的jdk: 如果没有找到,就点最下面的...,然后找到自己的jdk安装路径,确定即可. 保存自动重启就ok ...