R-CNN阅读笔记

论文地址：《Rich feature hierarchies for accurate object detection and semantic segmentation》

论文包含两个关键：（1）使用CNN处理候选框，以便定位个分割目标。（2）当训练集较小时，有监督的预训练和特点区域的微调。

介绍

目标检测系统总概：（1）输入一张图 。（2）提取候选区域（2k左右）。（3）使用CNN计算每个候选区域的特征。（4）使用class-specific linear SVMs来分类。

使用R-CNN作目标检测

R-CNN由三个模块构成：（1）第一个模块产生候选区域。（2）第二个模块是一个大型的CNN网络，用来从候选区域提取固定长度的特征向量。（3）第三个模块是一组class-specific linear SVMs。

模型设计

候选区域

这里作者用到了“选择性搜索”（selective search），主要思路是根据图像的颜色、纹理、尺寸和空间交叠等参数来把图像分成许多子块，这种方法比穷举法效率更高。具体可以看这里：选择性搜索（selective search） ，Selective Search for Object Detection (C++ / Python)。

下面简单的使用代码实现selective search的算法：

#!/usr/bin/env python
'''
Usage:
    ./ssearch.py input_image (f|q)
    f=fast, q=quality
Use "l" to display less rects, 'm' to display more rects, "q" to quit.
'''

import sys
import cv2

if __name__ == '__main__':
    # If image path and f/q is not passed as command
    # line arguments, quit and display help message

    # speed-up using multithreads
    cv2.setUseOptimized(True);
    cv2.setNumThreads();

    # read image
    im = cv2.imread("D:\\tensorflow\\image.jpg")
    # resize image
    newHeight =
    newWidth = int(im.shape[]*/im.shape[])
    im = cv2.resize(im, (newWidth, newHeight))    

    # create Selective Search Segmentation Object using default parameters
    ss = cv2.ximgproc.segmentation.createSelectiveSearchSegmentation()

    # set input image on which we will run segmentation
    ss.setBaseImage(im)

    # Switch to fast but low recall Selective Search method
    ss.switchToSelectiveSearchFast()
    # Switch to high recall but slow Selective Search method
    #ss.switchToSelectiveSearchQuality()
    # if argument is neither f nor q print help message

    # run selective search segmentation on input image
    rects = ss.process()
    print('Total Number of Region Proposals: {}'.format(len(rects)))

    # number of region proposals to show
    numShowRects =
    # increment to increase/decrease total number
    # of reason proposals to be shown
    increment = 

    while True:
        # create a copy of original image
        imOut = im.copy()

        # itereate over all the region proposals
        for i, rect in enumerate(rects):
            # draw rectangle for region proposal till numShowRects
            if (i < numShowRects):
                x, y, w, h = rect
                cv2.rectangle(imOut, (x, y), (x+w, y+h), (, , ), , cv2.LINE_AA)
            else:
                break

        # show output
        cv2.imshow("Output", imOut)

        # record key press
        k = cv2.waitKey() & 0xFF

        # m is pressed
        if k == :
            # increase total number of rectangles to show by increment
            numShowRects += increment
        # l is pressed
        elif k ==  and numShowRects > increment:
            # decrease total number of rectangles to show by increment
            numShowRects -= increment
        # q is pressed
        elif k == :
            break
    # close image show window
    cv2.destroyAllWindows()

结果如下图：

          

特征提取

使用Caffe实现的CNN来对每个候选区域进行特征提取，每个区域提取4096维的特征向量。使用包含5个卷积层和2个全连接层的CNN对减去均值的、大小为227*227的RGB图像通过前向传播来计算特征。为了使训练数据与CNN（要求输入数据为固定的227*227）匹配，需要对输入图像进行变形。

注：CNN见以下论文：《A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS, 2012.》

非极大值抑制

使用selective search的快速模式来提取图像的2000多个候选区域，然后对每个候选区域进行变形，通过前向传播在对应的层得到特征。接着，对每一个类，使用针对该类训练过的SVM计算提取到的特征在该类上的分数。这样便得到了一张图的所有区域的Score，接着作者使用一种称为“非极大值抑制”的方法（每个类都是独立处理的）排除一些区域。如下的图像，关于“car”类会得到很多的方框，分类器根据分值从大到小排序：A,B,C,D,E,F。从最大概率的框A开始，判断B-F与之的重合区域，如果大于一个阈值，则丢弃概框。接着，最框B开始（如果B没有被丢弃的话），重复前面的操作。

训练

有监督的预训练

作者先把CNN在一个辅助数据集“ILSVRC 2012”上做了一个预训练（图像进行了分类标注，但没有边框标注），这应该是迁移学习的思想吧。

微调：fine-tuning

为了使CNN可以适用于目标检测任务，假设要检测的物体类别有N类，那么我们就需要把上面预训练阶段的CNN模型的最后一层给替换掉，替换成N+1个输出的神经元(加1，表示还有一个背景)，然后这一层直接采用参数随机初始化的方法，其它网络层的参数不变；接着就可以开始继续SGD训练了。开始的时候，SGD学习率选择0.001，在每次训练的时候，我们batch size大小选择  128，其中32个是正样本、96个是负样本。

这里提到一个概念：定位精度评价公式（IOU），该公式定义了两个bounding box的重叠度，作者将IOU>0.5的bounding box判定为正，其余判定为负。

目标分类器

通过实验，得到最佳IOU重叠阈值为0.3。分类器输出的区域的IOU大于0.3的判定为正样本，否则判定为负样本。

作者在这里引入了“Hard negative mining”方法，首先是negative，即负样本，其次是hard，说明是困难样本，也就是说在对负样本分类时候，loss比较大（label与prediction相差较大）的那些样本，也可以说是容易将负样本看成正样本的那些样本，例如ROI里没有物体，全是背景，这时候分类器很容易正确分类成背景，这个就叫easy negative；如果ROI里有二分之一个物体，标签仍是负样本，这时候分类器就容易把他看成正样本，这时候就是had negative。hard negative mining就是多找一些hard negative加入负样本集，进行训练，这样会比easy negative组成的负样本集效果更好。主要体现在虚警率更低一些（也就是false positive少）。