上采样 及 Sub-pixel Convolution （子像素卷积）

参考：https://blog.csdn.net/leviopku/article/details/84975282

参考：https://blog.csdn.net/g11d111/article/details/82855946

上采样的概念：

上采样可以理解为任何可以将图像变成更高分辨率的技术；最简单的方式就是重采样和插值法：将输入图片 input image 进行 rescale 到一个想要的尺寸；而且计算每个点的像素点，使用如双线性插值bilinear 等插值方法对其余点进行插值；

Unpooling 是在CNN中常用来表示max pooling 的逆操作。由2013年纽约大学Matthew D. Zeiler和Rob Fergus发表的《Visualizing and Understanding Convolutional Networks》引用：因为max pooling 不可逆，因此使用近似操作得到 max pooling 操作之前的原始情况；（记住max pooling做的时候的size，比如如下图的4x4的矩阵，max pooling的size 为2x2， stride为2，反卷积操作需要记住最大值的位置，然后将其余的位置置为0就可以）

反卷积在CNN中常用于表示一种反向卷积，但是它并不是一个完全符合数学规定的反卷积操作；

与Unpooling不同，使用反卷积来对图像进行上采样是可以习得的。通常用来对卷积层的结果进行上采样，使其回到原始图片的分辨率；

反卷积也被称为分数步长卷积或者转置卷积或者后向卷积；

早PyTorch中，上采样的层被封装在torch.nn中的Vision Layers里面，一共有4中：

1、PixelShuffle

2、Upsample

3、UpsampleNearest2d

4、UpsamplingBilinear2d

其中，PixelShuffle表示如下：

Sub-pixel convolution 是一种巧妙的图像及特征图upscale的方法，又叫pixel shuffle（像素洗牌）。我们知道，用深度学习处理图像的话，经常需要对特征图放大。常见的方法有直接上采样，双线性插值，反卷积等。本文主要介绍一种在超分辨率中经常使用的 upscale 方法 —— sub-pixel convolution.

采用CNN对feature map 进行放大的方法，除了有 deconvolition 之外，还有一个叫做 sub- pixel convolution 。如果做SR（超分辨率）的话，需要将一张低分辨率图像转换成一张高分辨率图像。如果直接用 deconvolution 作为 upscale 手段的话，通常会带入过多人工因素进来。而 sub-pixel conv 会大大降低这个风险。先看 sub-pixel 是怎么做的：

前面就是一个普通的CNN网络，到后面的彩色部分就是 sub- pixel conv 的操作了。首先如果对原图放大3倍，那么就要生成3^2=9 （通道数）个相同尺寸的特征图。然后将9个相同尺寸的特征图拼接成一个x3的大图，也就是对应的 sub - pixel convolution 操作；

其实也就是要放大r倍的话，那就生成r方个channel的特征图，这里的r也可以称为上采样因子；

这对应的是抽样的反思想，如果把一张 x3 的大图，每隔三个点抽样依次，那么就得到9张低分辨率的图像；于是就可以通过CNN来获得这么9张低分辨率的图像，然后再组成一张高分辨率大图；