Paper | Dynamic Residual Dense Network for Image Denoising

目录

• 1. 故事
• 2. 动机
• 3. 做法
  • 3.1 DRDB
  • 3.2 训练方法
• 4. 实验

发表于2019 Sensors。这篇文章的思想可能来源于2018 ECCV的SkipNet[11]。

没开源，和SkipNet基本一致，没什么创新点。

1. 故事

本文的改造对象是RDN。RDN由多个RDB组成，用于一般的图像恢复任务。但是，RDN只能用于单一水平的噪声【设计初衷是非盲的】。作者希望在RDN的基础上实现两个目标：

1. 能够盲去噪。

2. 能够根据输入噪声的程度，动态调整RDB数量（同一RDN种跳过的RDB数量）。

作者声称，DRDN（dynamic residual dense network）能够超越RDN性能，同时计算成本下降40-50%。在盲去噪任务上，DRDN在真实噪声基准上超越了CBDNet 1.34dB。

2. 动机

作者首先探究了RDN为什么能取得如此好的性能。有以下几点关键原因：

• RDB结合了residual block和dense block。前者让特征在RDB之间具有连续记忆性 并且 让深度网络训练更简单，后者可以让多尺度特征得以利用【可能是同时利用low-level、mid-level和high-level特征的意思】。全局还有一个短连接。

• RDN会融合来自所有RDB的信息（global feature fusion）。这是一种深监督，虽然其后跟着一个\(1 \times 1\)卷积。

作者考虑了相似的ResNet。在[7,8]中指出，一些residual block对最终结果的贡献微乎其微。因此，RDN中的RDB同理。于是作者对所有RDB进行了可视化（所有通道求均值）：

作者发现，红框圈出的特征图是非常相似的。因此，我们完全可以跳过一些RDB而不牺牲过多性能。

3. 做法

方法很简单：作者用一个RNN捕捉每一个RDB的信息，然后作为每个RDB的gate module，来决策 跳过 或 正常推理。如果预测的“重要性”低于给定阈值，那么就跳过该RDB。

如图：

• 大体上仍是一个RDN，但是其中的RDB换成了DRDB。

• 特征提取采用2层CNN，都有全局短连接，连接到后面的2层CNN重建。

• DRDB参与深监督，即\(1 \times 1\)卷积融合。

3.1 DRDB

DRDB和RDB也是一致的，唯一不同的就是增加了gate模块。gate模块采用LSTM，其结构如图，很简单。

注意，在反向传播时，我们采用sigmoid函数（软判决），而在前向传播时，我们就采用硬判决（要么短连接要么通过）。反向传播不能使用硬判决，因为开关不可导。

在测试时，我们可以调整阈值跳过t，来交互式地调整去噪强度。该 阈值t 和 跳过的DRDB比例\(\lambda\) 大致有个正相关。作者用了一个线性方程来近似表征这一关系（式11），从而通过调整t来调整\(\lambda\)。

3.2 训练方法

分三步。但每一步的损失函数是相同的：

前者是L1损失，后者是所有门的输出概率（重要性）（\(S\)是sigmoid函数，\(v_d\)是第\(d\)个DRDB的FC层输出的向量）。我们希望参与门尽可能少，所以惩罚它。

1. 我们首先要让整体网络和DRDB们收敛。此时让门函数恒输出1训练。同时，我们让系数\(\alpha = 0\)。

2. 现在，我们仍然不惩罚重要性（\(\alpha = 0\)），但是让门函数自由输出。此时可能只有很少一部分DRDB会被跳过。

3. 最后，我们设置\(\alpha = 1e-4\)，开始惩罚DRDB的保留数量。此时会有更多的DRDB被跳过。

4. 实验

实验设置了20个DRDB，每个DRDB内部有6层卷积。其他设置略。

实验主要考量的是PSNR，SSIM和FLOPs。

虽然PSNR和SSIM可能不如改进的RDN（RDN+），但FLOPs远远小。作者解释：SSID中的数据光照强度差距很大，所以DRDN的动态性能发挥得淋漓尽致。

我们再看跳过率。

如图，越是后面的block，越频繁被跳过。作者解释是因为深监督的使用，导致前面的block会影响后面所有的block。

此外，作者还在另一个真实噪声数据集上进行了测试。该数据库给了噪声方差，因此评测时一些对比算法在非盲模型下进行，性能会更好。

其他数据库的我们就不看了。

我们最后看一下阈值t的选取对去噪强度的影响。如图：

跳过率过高或过低都不好。跳太多，图像噪声大；跳太少，图像模糊。其中的红框是DRDN自己选择的结果，而绿框是作者主观挑选的最佳结果。可见，二者相近。

作者进一步计算了跳过率与PSNR、SSIM的关系：

可见二者是非对称的。

【这里图或实验有问题。图中显示，全部跳过（不增强）时的PSNR，比完整增强（ratio=0）时的PSNR还高？？？再加上该算法未开源，使得本文具有了疑点】