Paper | Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform
发表在2018年CVPR。
摘要
Despite that convolutional neural networks (CNN) have recently demonstrated high-quality reconstruction for single-image super-resolution (SR), recovering natural and realistic texture remains a challenging problem. In this paper, we show that it is possible to recover textures faithful to semantic classes. In particular, we only need to modulate features of a few intermediate layers in a single network conditioned on semantic segmentation probability maps. This is made possible through a novel Spatial Feature Transform (SFT) layer that generates affine transformation parameters for spatial-wise feature modulation. SFT layers can be trained end-to-end together with the SR network using the same loss function. During testing, it accepts an input image of arbitrary size and generates a high-resolution image with just a single forward pass conditioned on the categorical priors. Our final results show that an SR network equipped with SFT can generate more realistic and visually pleasing textures in comparison to state-of-the-art SRGAN [27] and EnhanceNet [38].
结论
We have explored the use of semantic segmentation maps as categorical prior for constraining the plausible solution space in SR. A novel Spatial Feature Transform (SFT) layer has been proposed to efficiently incorporate the categorical conditions into a CNN-based SR network. Thanks to the SFT layers, our SFT-GAN is capable of generating distinct and rich textures for multiple semantic regions in a super-resolved image in just a single forward pass. Extensive comparisons and a user study demonstrate the capability of SFT-GAN in generating realistic and visually pleasing textures, outperforming previous GAN-based methods [27, 38]. Our work currently focuses on SR of outdoor scenes.
Despite robust to out-of-category images, it does not consider priors of finer categories, especially for indoor scenes, e.g., furniture, appliance and silk. In such a case, it puts forward challenging requirements for segmentation tasks from an LR image. Future work aims at addressing these shortcomings. Furthermore, segmentation and SR may benefit from each other and jointly improve the performance.
要点
本文的重点,是在SR时更好地恢复自然纹理信息。
具体而言,通过输入语义分割概率图(semantic segmentation probability maps),为CNN提供类别先验(categorical priors),从而让纹理与类别一一对应。
实现该功能的网络层称为空域特征转换层(spatial feature transform layer)。它可以生成对空域特征进行仿射变换的参数,并且与SR网络一起训练。
尽管SFT-GAN对于未知类别的图像也是健壮的,但未知类别确实是一个问题。
亮点
这算是一个借助语义分割信息的超分辨工作,思想符合逻辑,实验效果也好。Fig. 1给出了说明:
这种思想还可以拓展到其他先验,例如深度图(depth map),从而增强纹理的颗粒度(granularity)。
类似于BN,对特征进行正则化,从而置入类别先验。
局限
语义分割图是LR图像经过双三次插值后,输入已训练好的分割网络[31]得到的,与超分辨网络独立。
作者通过仿射变换特征的方式,置入类别先验。这种方式有效果,但可能还有更好的方式。
故事背景
如上图,如果缺乏对类别的先验,我们的解空间是很难约束的。特别是对于两个相似的场景,如上图的植物和砖块。
历史工作中,就有人专门对不同的分类训练各自的模型。但在这里,作者想让语义分割图作为CNN的输入。关键就在于如何输入。如果只是简单地输入分割图,或者在中间层输入分割图,效果是不好的。
空域特征转换
为了解决语义分割图的输入有效性问题,我们引出了空域特征转换(SFT)层。
实际上,SFT的思想起源于BN。BN是对特征作仿射变换。条件正则化(conditional normalization, CN)则是采用在某条件下学习得到的函数,代替BN中的仿射变换。那么SFT是怎么做的呢?
具体而言,SFT基于先验,输出调整参数对(modulation parameter pair)\((\gamma, \beta)\)。该调整参数对将会对中间层的特征\(F\)进行仿射变换:\(SFT(F|\gamma, \beta) = \gamma \odot F + \beta\),其中\(\odot\)是哈达玛乘积(逐点点乘)。换句话说:借助SFT,原本关于类别的先验,就转化为了调整参数信息。
在网络中是这么实现的:
我们先关注SFT结构。
如图,分割概率图没有直接输入网络,而是先经过一个浅层CNN学习,我们称之为condition network。
网络的输出(conditions)会在整个网络的每一个中间层共享。在内部,如图,conditions分别经过2层CNN,得到参数对即可。然后执行仿射变换,完毕。
4.3节实验发现,直接拼接分割信息图,效果是很差的。
超分辨率网络
我们首先看一看分割网络。
LR图像先经过了双三次插值升采样,然后经过分割网络[31],得到语义分割概率图。该网络是独立训练的,与我们现在的工作独立。
实验发现,哪怕经过放缩因子为4的降采样,分割效果也是不错的(如图4)。如果类别未知,那么该目标会落入背景(background)。
整体结构是一个GAN,参见3.2节。
实验略。
Paper | Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform的更多相关文章
- 使用深度学习的超分辨率介绍 An Introduction to Super Resolution using Deep Learning
使用深度学习的超分辨率介绍 关于使用深度学习进行超分辨率的各种组件,损失函数和度量的详细讨论. 介绍 超分辨率是从给定的低分辨率(LR)图像恢复高分辨率(HR)图像的过程.由于较小的空间分辨率(即尺寸 ...
- Computer Vision Applied to Super Resolution
Capel, David, and Andrew Zisserman. "Computer vision applied to super resolution." Signal ...
- Super Resolution
Super Resolution Accepted : 121 Submit : 187 Time Limit : 1000 MS Memory Limit : 65536 KB Super ...
- ASRWGAN: Wasserstein Generative Adversarial Network for Audio Super Resolution
ASEGAN:WGAN音频超分辨率 这篇文章并不具有权威性,因为没有发表,说不定是外国的某个大学的毕业设计,或者课程结束后的作业.或者实验报告. CS230: Deep Learning, Sprin ...
- Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战 博客地址:https://www.cnblogs.com/LXP-Never/p/10874993.html 论文作者:Sefik Emre Eskimez , Kazuhito K ...
- Google Pixel 超分辨率--Super Resolution Zoom
Google Pixel 超分辨率--Super Resolution Zoom Google 的Super Res Zoom技术,主要用于在zoom时增强画面细节以及提升在夜景下的效果. 文章的主要 ...
- RAISR: rapid and accurate image super resolution
准确地说,RAISR并不是用来压缩图像的,而是用来upsample图像的. 众所周知,图片缩小到半分辨率后,在拉回原大小,会出现强烈的锯齿.从80年代开始就有很多super sampling的方法 ...
- 【论文学习】A Fuzzy-Rule-Based Approach for Single Frame Super Resolution
加尔各答印度统计研究所,作者: Pulak Purkait (pulak_r@isical.ac.in) 2013 年 代码:CodeForge.cn http://www.codeforge.cn/ ...
- paper 124:【转载】无监督特征学习——Unsupervised feature learning and deep learning
来源:http://blog.csdn.net/abcjennifer/article/details/7804962 无监督学习近年来很热,先后应用于computer vision, audio c ...
随机推荐
- zabbix--完整安装攻略
zabbix:是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案. zabbix能监视各种网络参数,保证服务器系统的安全运营:并提供灵活的通知机制以让系统管理员快速定位/解 ...
- Groovy元编程简明教程
同函数式编程类似,元编程,看上去像一门独派武学. 在 <Ruby元编程>一书中,定义:元编程是运行时操作语言构件的编程能力.其中,语言构件指模块.类.方法.变量等.常用的主要是动态创建和访 ...
- 打印从1到最大的n
题目:输入数字n,按顺序打印出从1到最大的n位十进制数.比如输入3,则打印出1.2.3一直到最大的3位数999 需考虑大数问题 #-*-coding:utf-8-*- class print_N: d ...
- jieba 分词使用入门
1. 介绍 JIEBA 是目前最好的 Python 中文分词组件,它主要有以下 3 种特性: 支持 3 种分词模式:精确模式.全模式.搜索引擎模式 支持繁体分词 支持自定义词典 import jieb ...
- U-GAT-IT笔记
目录 前言 模型结构 生成器 鉴别器 损失函数 实验结果 结语 由于博客园有时候公式显示不出来,建议在https://github.com/FangYang970206/PaperNote/blob/ ...
- 使用VS2017+WDK10开发xp驱动
VS2017+WDK10使用默认配置可以开发出运行在win7的驱动,但要开发运行在xp的驱动,还要进行如下操作: Dervier Settings -> Driver Model -> t ...
- MongoDB 修改数据Cannot change the size of a document in a capped collection: * != *"
MongoDB修改数据库数据的时候报错 原因: 集合被设置成了 固定集合 .固定集合的数据不能被修改.只能查找-删除-再插入,也就是创建集合的时候设置了capped参数为true 解决: 创建集合的时 ...
- Android应用图标尺寸以及drawable(ldpi、mdpi、hdpi、xhdpi、xxhdpi)
应用图标: L DPI ( Low Density Screen,120 DPI ),其图标大小为 36 x 36 px M DPI ( Medium Density Screen, 160 DPI ...
- 浅谈Java面向对象思想
本人免费整理了Java高级资料,涵盖了Java.Redis.MongoDB.MySQL.Zookeeper.Spring Cloud.Dubbo高并发分布式等教程,一共30G,需要自己领取.传送门:h ...
- MySQL学习——查询表里的数据
MySQL学习——查询表里的数据 摘要:本文主要学习了使用DQL语句查询表里数据的方法. 数据查询 语法 select [distinct] 列1 [as '别名1'], ..., 列n [as '别 ...