RPN FPN ROIPooling

RPN(Region Proposal Network)介绍--->

特点从backbone 生成的Feture Map中 用一个 3x3 的Conv卷积核 遍历FeatureMap的每个点然后 根据每个点的感受野，回到最初始的图像层，感受野的中心点就是锚框中心点，然后在中心点生成3种不同大小不同长宽比的锚框，然后根据卷积的结果对生成的锚框进行初步筛选 进行2分类，判断它是否为 网络所需要的特征图 （前景）， 随后将分类出来的锚框 作为预选框 送到ROIPooling层, ROIPooling的作用是加速2Stage的推理和训练速度，由于生成的预选框的大小形状都不同 如果对每种形状的FeatureMap都进行推理那么，该处的耗时就为原来的9倍。进行ROIPooling就是不管原来的FeaturenMap是怎样的只对他按比例进行MaxPooling的操作，然后得到相同尺寸的FeatureMap进行分类任务的输入

生成anchor --->对anchor进行二分类--->边框回归--->生成最终的Proposal

生成anchor box

anchor可以翻译为锚，这个anchor指的是输入图像上的点，是生成候选框的基础，有了anchor后就可以为每个anchor生成不同大小和长宽比的box，用这些box来覆盖输入图片中要检测的物体(当然,会生成很多很多的box, 在图片上密密麻麻的,需要后续的操作进行筛选)。筛选过后剩下的就是最终的Proposal。Proposal会给ROIPooling然后进行分类和回归。

生成anchor box分为两步：第一先从Feature map的点对应回输入图像感受野的中心点；第二以该点为中心点创建不同面积和长宽比的box，这个也是输入图像上的box。

生成anchor box

有了anchor点后就可以为每个点生成anchor box了，Faster R-CNN中设置了三种面积的box，每一个面积又有三种长宽比，也就是每一个点会有9个anchor box。

分类和边框回归

在第一步生成了很多很多的anchor box，后面就是要对这些anchor box进行分类和边框回归的操作。

分类操作就是上图中上面的那个分支，首先通过一个1x1的卷积，将维度降为18(因为是9个框，每个框进行二分类)，通过softmax进行二分类(框中有没有目标,也就是前景和背景),来生成后面的正负样本。

边框回归的目的是使anchor box更接近ground truth。首先也会通过一个1x1的卷积，维度降为36(和之前的类似每个框四个值来确定)。

生成Proposal

有了前面生成的anchor box后下一步就是利用各种方法剔除我们不需要的那些box，主要分一下几步：

第一步：先将anchor box利用feat_stride和im_info(这个里面保存了原始图像的大小，注意这个不是网络输入的图像，是原始图像)将box映射会原始图像，将严重超出边界的box剔除；

第二步：按照上面说的二分类的分支得到的score得分进行排序，提取前2000个；

第三步：对得到的2000个box执行NMS(非极大值抑制);

第四步：将得到的结果再进行排序，取前300个作为最终的Proposal，给后面进行分类和回归。

Single Shot MultiBox Detector(SSD)

Single shot指明了SSD算法属于one-stage方法，MultiBox指明了SSD是多框预测。在上一篇文章中我们已经讲了Yolo算法，SSD算法在准确度和速度（除了SSD512）上都比Yolo要好很多。图2给出了不同算法的基本框架图，对于Faster R-CNN，其先通过CNN得到候选框，然后再进行分类与回归，而Yolo与SSD可以一步到位完成检测。相比Yolo，SSD采用CNN来直接进行检测，而不是像Yolo那样在全连接层之后做检测。其实采用卷积直接做检测只是SSD相比Yolo的其中一个不同点，另外还有两个重要的改变，一是SSD提取了不同尺度的特征图来做检测，大尺度特征图（较靠前的特征图）可以用来检测小物体，而小尺度特征图（较靠后的特征图）用来检测大物体；二是SSD采用了不同尺度和长宽比的先验框（Prior boxes, Default boxes，在Faster R-CNN中叫做锚，Anchors）。Yolo算法缺点是难以检测小目标，而且定位不准，但是这几点重要改进使得SSD在一定程度上克服这些缺点。下面我们详细讲解SDD算法的原理，并最后给出如何用TensorFlow实现SSD算法。

FPN（金字塔网络）详解--->为了解决对不同尺度的物体检测问题而提出的方法。

1.在图像金字塔提特征 Featurized Image Pyramid

十分想当然的思路，既然你图片太小我预测不出来，那就把图片缩放到不同的大小，分别预测。

这是最直观的办法，自然也是最蠢的办法。

想象一下它的过程：

把一张图片提取特征预测→放大→提取特征预测→放大→提取特征预测……

这个过程中，每个特征提取/预测都是独立进行的！即使同一张图片的不同分辨率，模型之间也很难共享它们中间提取的特征。这让模型预测的过程费时费力，比如本来一个图片预测需要五秒，一个五级的图像金字塔耗时绝对不会少于25秒。

这还只是预测，训练模型更加耗时，因此出于这种考虑，图像金字塔通常只能在预测时使用。

这又导致了新的问题，即此时模型本质上只是为了某种分辨率训练的，只是强行被拿去检测别的分辨率，这样的效果自然不可能好。

2. 原始CNN Naïve CNN

现在我们都知道，若以表征学习（representation learning）的角度思考CNN，那么CNN实际上是有层次地学习图片的特征，即深度越深，则特征的语义越高级（从线到面，再到物体特征）

由于后续存在池化和降采样，浅层网络的特征图可以保留更多的分辨率，但是特征语义较为低级。

因此，CNN只能寄希望于小物体的特征够在最后一层“存活下来”，但由于分辨率的损失，这显然是不切实际的。

但CNN这种层级计算特征如此高效，fast（er） R-CNN也是靠这种层级结构达到加速效果的。因为此时至少特征计算是“共享的”，不用像图像金字塔那样傻乎乎一个个算。

那么问题来了，层级计算的时候，有辣么多分辨率的特征，那我们何不全用上？

3. 金字塔型特征层级 Pyramidal feature hierarchy

实际上SSD就是“把不同分辨率特征”全用上的先驱之一。SSD会在不同分辨率的特征上直接预测，那么不就大物体小物体都能预测到了吗？

这想法很不错，但还没有那么好。SSD这么做有两个问题：

• 底层特征语义不够
• 最高分辨率并不高

正如之前分析的，实际上，底层特征的语义较低，携带信息的“有效性”略少，导致预测结果不佳。

SSD缓解上述问题的方法是，太底层的语义干脆不用不就好了？

所以，你以为SSD是这样的：

卖家秀

实际上是这样的：

买家秀

实际上，太浅层的特征SSD也根本没用上。这也不能怪SSD，因为技术的发展永远是循序渐进的，它能意识到可以在不同分辨率特征上检测已是不易。

分析到这，一个很自然的想法就出现了“我们是否可以结合深浅特征，兼顾分辨率与特征语义？”原来大家都会说不可能，直到一个叫ResNet的模型告诉我们什么叫跳接。

现在，正文终于可以开始了

二、特征金字塔网络

FPN是一种自顶向下路径和横向连接将低分辨率、语义强的特性与高分辨率、语义弱的特性结合起来的体系结构。

FPN通过讲浅层的特征跳接到深层的特征，兼顾了分辨率与特征语义。但实际上，这也不是FPN的首创，在对分辨率要求更高的语义分割问题中早有涉猎（如医学图像常用的U-Net）。

但FPN的独到之处在于将深/潜层特征融合与多分辨率预测结合了起来。

有了初步认识，接下来就是模型的细节了。

三、模型细节 Details

从图上可以看出，FPN可以分为三部分：

• 自底向上的部分
• 自顶向下的部分
• 连接两部分的跳接

注意，实际上这个网络掰直了更像一个漏斗，可以理解为这里的底=高分辨率，顶=低分辨率。

自底向上

前馈Backbone的一部分，每一级往上用step=2的降采样。

输出size相同的网络部分叫一级(Stage)，举个例子:下图是fasterRCNN的网络结构，左列ResNet用每级最后一个Residual Block的输出，记为{C1,C2,C3,C4,C5}。

FPN用2~5级参与预测（因为第一级的语义还是太低了），而{C1,C2,C3,C4,C5}这几级等效于在图片上以{4,8,16,32}为步长提取特征。

摘自博客：https://blog.csdn.net/xiamentingtao/article/details/78598027

自顶向下&跳接

对底向上的特征图一级级上采样，再加上底向上跳接来的高分辨低语义特征用于预测。

上采样的方法是简单的最近邻插值

一个最近邻插值的例子,上采样加起来 相当于把算完后在这个地方 把在这一层最能代表 该区域语义的特征值 加上上一层 类似于在数值上面的整数加上小数部分

其中跳接时前后维度不一致问题的解决方法采用了1*1conv。

通过跳接融合特征之后，还要进行一个3*3conv，以减轻最近邻插值带来的影响（因为周围的数字都比较相近，会出现重叠现象）

最后再看一眼网络图，一个完整的FPN架构就完成啦~

two_Stage的ROIPooling

目标检测typical architecture 通常可以分为两个阶段：

（1）region proposal：给定一张输入image找出objects可能存在的所有位置。这一阶段的输出应该是一系列object可能位置的bounding box。这些通常称之为region proposals或者 regions of interest（ROI）。

（2）final classification：确定上一阶段的每个region proposal是否属于目标一类或者背景。

这个architecture存在的一些问题是：

• 产生大量的region proposals 会导致performance problems，很难达到实时目标检测。
• 在处理速度方面是suboptimal。
• 无法做到end-to-end training。

这就是ROI pooling提出的根本原因。

ROI pooling层能实现training和testing的显著加速，并提高检测accuracy。该层有两个输入：

• 从具有多个卷积核池化的深度网络中获得的固定大小的feature maps；
• 一个表示所有ROI的N*5的矩阵，其中N表示ROI的数目。第一列表示图像index，其余四列表示其余的左上角和右下角坐标；

ROI pooling具体操作如下：

（1）根据输入image，将ROI映射到feature map对应位置；

（2）将映射后的区域划分为相同大小的sections（sections数量与输出的维度相同）；

（3）对每个sections进行max pooling操作；

这样我们就可以从不同大小的方框得到固定大小的相应 的feature maps。值得一提的是，输出的feature maps的大小不取决于ROI和卷积feature maps大小。ROI pooling 最大的好处就在于极大地提高了处理速度。

ROI pooling example

考虑一个88大小的feature map，一个ROI，以及输出大小为22.

（1）输入的固定大小的feature map

（2）region proposal 投影之后位置（左上角，右下角坐标）：（0，3），（7，8）。

**

**

（3）将其划分为（22）个sections（因为输出大小为22），我们可以得到：

**

****

---

****（4）对每个section做max pooling，可以得到：

---

******

---

ROI pooling总结：

（1）用于目标检测任务；（2）允许我们对CNN中的feature map进行reuse；（3）可以显著加速training和testing速度；（4）允许end-to-end的形式训练目标检测系统。