论文:Image Processing Using Multi-Code GAN Prior, CVPR2020

代码:https://github.com/genforce/mganprior

这是来自香港中文大学周博磊老师的工作。

尽管生成式对抗网络(GANs)在图像合成方面取得了成功,StyleGAN和BigGAN能够合成高质量的图像。这些方法能够从大量观测数据中捕捉多种层次的语义信息。但当前研究还没有把这些训练好的模型做为先验信息应用于真实图像处理(resuing these models as prior to real image processing remains much less explored)。

要实现这一目的,面临的主要挑战是:GAN模型通常从随机噪声中合成图像,无法处理真实图像。因此,可以考虑将真实图像转化为潜在编码(latent code),然后输入生成器来重建图像。

作者指出,无法使用单一潜在编码重建图像(impossible to recover every detail of any arbitrary real image using a single latent code)。因此,作者使用\(N\)个潜在编码\(Z_n\),每个编码都可以重建目标图像的某个子区域。

在本文中,生成器 \(G(\cdot)\) 被分为两个子网络 \(G_1^{(\ell)}(\cdot)\) 和 \(G_2^{(\ell)}(\cdot)\). 对于任何\(z_n\), 能够提取相应的空间特征\(F_{n}^{(\ell)} = G_1^{(\ell)}(z_n)\) 来用于合成(\(\ell\) 是网络中间层的index)。

因为GAN中生成器的不同通道负责生成不同的visual concept(目标、纹理等),作者使用了自适应通道权重系数 \({\alpha}_n\) 为\(z_n\)加权,使它们与各自己语义对应。

该方法整体架构如图所示,生成的特征在中间层组合,同时会有adaptive channel importance score来自适应调节权重。所有的 latent codes 和 channel importance score 最终使用重建损失和 perceptual loss来进行优化。

作者使用该方法做了多组应用:图像着色、超分辨率、图像补全,均取得了非常好的效果。

Image Processing Using Multi-Code GAN Prior, CVPR2020的更多相关文章

  1. PatentTips - Register file supporting transactional processing

    BACKGROUND OF THE INVENTION With the rise of multi-core, multi-threaded data processing systems, a k ...

  2. tflearn kears GAN官方demo代码——本质上GAN是先训练判别模型让你能够识别噪声,然后生成模型基于噪声生成数据,目标是让判别模型出错。GAN的过程就是训练这个生成模型参数!!!

    GAN:通过 将 样本 特征 化 以后, 告诉 模型 哪些 样本 是 黑 哪些 是 白, 模型 通过 训练 后, 理解 了 黑白 样本 的 区别, 再输入 测试 样本 时, 模型 就可以 根据 以往 ...

  3. Chaikin Curves in Processing

    转自:https://sighack.com/post/chaikin-curves In this post, we’ll look at what Chaikin curves are, how ...

  4. Analyzing UI Performance with Systrace 使用systrace工具分析ui性能

    While developing your application, you should check that user interactions are buttery smooth, runni ...

  5. ARM architecture

    http://en.wikipedia.org/wiki/ARM_architecture ARM architecture     ARM architectures The ARM logo De ...

  6. Android 性能优化(25)*性能工具之「Systrace」Analyzing UI Performance with Systrace:用Systrace得到ui性能报告

    Analyzing UI Performance with Systrace In this document Overview 简介 Generating a Trace  生成Systrace文件 ...

  7. Browser security standards via access control

    A computing system is operable to contain a security module within an operating system. This securit ...

  8. AssetBundleMaster_ReadMe_EN

    Before we start use it, you'd better import it to an empty project, following the ReadMe to learn th ...

  9. zz深度学习论文合集大全

        Pull requestsIssues Marketplace Explore             Learn Git and GitHub without any code! Using ...

随机推荐

  1. 使用 nuget server 的 API 来实现搜索安装 nuget 包

    使用 nuget server 的 API 来实现搜索安装 nuget 包 Intro nuget 现在几乎是 dotnet 开发不可缺少的一部分了,还没有用过 nuget 的就有点落后时代了,还不快 ...

  2. 线性dp 打鼹鼠

    鼹鼠是一种很喜欢挖洞的动物,但每过一定的时间,它还是喜欢把头探出到地面上来透透气的.根据这个特点阿Q编写了一个打鼹鼠的游戏:在一个n*n 的网格中,在某些时刻鼹鼠会在某一个网格探出头来透透气.你可以控 ...

  3. SQL语法LPAD和RPAD

    一.[LPAD左侧补齐] LPAD(str,len,padstr) LPAD(str,len,padstr) 返回字符串 str, 其左边由字符串padstr 填补到len 字符长度.假如str 的长 ...

  4. Jmeter(十四) - 从入门到精通 - JMeter定时器 - 下篇(详解教程)

    1.简介 用户实际操作时,并非是连续点击,而是存在很多停顿的情况,例如:用户需要时间阅读文字内容.填表.或者查找正确的链接等.为了模拟用户实际情况,在性能测试中我们需要考虑思考时间.若不认真考虑思考时 ...

  5. 富文本编辑器实现从word中复制图片(外挂)

    1问题 基于web的富文本编辑器的功能普遍较弱,而word是公认的宇宙第一好用的文档编辑器,所以许多人都习惯先在word中编辑,然后再将内容粘到web富文本编辑器中. 但是,这种操作有一个问题:图片带 ...

  6. mac篇---iterm2的基本常用命令

    标签 新建标签:command + t 关闭标签:command + w 切换标签:command + 数字 command + 左右方向键 切换全屏:command + enter 查找:comma ...

  7. Git篇----创建远程仓库

    现在的情景是,你已经在本地创建了一个Git仓库后,又想在GitHub创建一个Git仓库,并且让这两个仓库进行远程同步,这样,GitHub上的仓库既可以作为备份,又可以让其他人通过该仓库来协作,真是一举 ...

  8. day78 通过axios实现数据请求

    目录 一.axios提供http请求的两个常用方法 二.json 1.json数据的语法 2 js中提供json数据转化的方式 三 ajax 1 数据接口 2 ajax在jq和vue的不同使用 3 同 ...

  9. 装机预备技能,Linux系统简介,安装Linux系统,Linux基本操作-云计算学习(2)

    装机预备技能 问题 要求安装一台可用的KVM服务器: RHEL与CentOS系统有什么关联? Linux系统中第三块SCSI硬盘如何表示? 步骤 实现此案例需要按照如下步骤进行. 步骤一:RHEL系统 ...

  10. vue重置data里的值

    this.$options.data() 这个可以获取原始的data值,this.$data 获取当前状态下的data,拷贝重新赋值一下就行了. Object.assign(this.$data, t ...