dense prediction问题

dense prediction 

理解：标注出图像中每个像素点的对象类别，要求不但给出具体目标的位置，还要描绘物体的边界，如图像分割、语义分割、边缘检测等等。

基于深度学习主要的做法有两种：

• 基于图像分块：利用像素、超像素块周围小邻域进行独立的分类。（在分类网络中使用全连接层，固定图像块尺寸）
• 基于全卷积网络：对图像进行pixel-to-pixel 的预测，可以得到任意大小的图像分割结果，而且不需要对每个图像块进行分类，速度快。重要的两点：卷积层上采样、skip connection结构

由于全卷积网络的各种优点，之后各种改进模型被提出来：

• u-net（用作医学图像分割）对图像进行编码之后解码，在编码时同样是卷积+下采样的结构，为了恢复图像的细节空间信息，在编码与解码过程中加入shortcut connection结构。
• segNet结构：也是一种编码解码结构，无shortcut connection结构，（将最大池化索引maxpooling indices 转移到解码器）解码时，不像FCN中进行upsampling 的反卷积，而是复制了最大池化索引，使得segNet 比FCN节省内存。（但是准确率不高）
• dialated convolutions 结构:此结构不需要池化层，使用空洞卷积使得感受野指数增长，但空间维度不下降。3*3的卷积核对应5*5的视觉野。但是空洞卷积的缺点是：得到的都是高分辨率的特征图，计算量较大。

tips：尽管这些操作补充了细节信息，但是还是丢失部分信息，因此为了优化结果常常使用fully connected CRF 进行优化，CRF是基于图像的颜色信息对图像进行平滑分割的算法，改善分割结果。将灰度相近的像素标注为同一类，（相似的基于图的图像分割算法，在显著性检测 基于流行排序算法的显著性目标分割，也是同样的思想，要尽量保持原始的label， 又要使颜色相似的像素点归为一类）在DeepLab 论文中使用空洞卷积和CRF：

近来各种改进的模型：

• refineNet:用于边缘检测，编码解码的改进以及残差连接设计，编码器是resNet101结构。解码是多层连接。
• PSPNet
• large kernel matters

参考： https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw%3D%3D&idx=4&mid=2650728920&sn=3c51fa0a95742d37222c3e16b77267ca