lesson5-图像检测-小象cv

R-CNN:

2014，cnn为Alexnet

训练流程:

1)在imagenet上对cnn模型pre-train

2）使用所有ss生成区域对1）进行fine-tune ~softmax改为21维度

ground-truth：标记的真正的框~lou，阈值0.5~32个正样本，96个负样本

3)在2）的F7特征上训练线性svm分类器，正样本和负样本阈值分别为所有ground truth和lou小于0.3的ss区域

注意：输入的正样本U&负样本！所有自己得有定义

4）在2）的最后一个卷加层con5特征上训练bounding box回归模型

注意：每个类别训练一个回归模型，将ss提供的bounding box做重新映射即P->G

　   两种输入：原本的P和goundtruthG，

　　　　　　P对应中心位置（x，y）的px。。ph，G对应宽高尺寸（w，h)的Gx。。Gh，txty对应直角坐标系，twth对应极坐标系~所以有log（Gw/Gh）

　　测试阶段：校正量d帮助参数还原时在两种坐标系下用法不一

测试阶段：

1）selective search提取~2000区域/图片

2)将所有区域膨胀缩放到227*227

3)使用finetune过的alxenet计算2套特征，f7~svm~类别分值

　--》非极大值抑制，lou》0.5，获取无冗余的区域子集~迭代~获得新候选区域

　--》对新候选区域的con5特征进行bounding box回归~bbox偏差

--》bbox偏差来修正区域子集

缺点：每张图片的~2000区域都会计算cnn特征

SPP-NET:

输入整图，所有区域共享卷积计算~在conv5层输出提取所有区域的特征

SPP空间金字塔池化：

　　替换con5的pooling5；一个window（即ss得到的感兴趣区域）内3个level和21个bin~21段定长特征串接后得到增强特征；bin内使用max pooling；

　　不同尺寸的区域（ss得到）在conv5输出上提取特征，通过SPP后，映射到尺寸固定的全连接层上（SPP获取定长的特征）~最后一个conv和全连接层之间是全卷积，全尺寸卷积核大小和最后一个全连接层一致

训练阶段：

1)在imagenet上对cnn模型pre-train

2）计算所有ss区域的spp特征 -没有参数训练

3）使用2）特征finetune心得f6~f8层

4）计算3）的f7特征

5)使用4）特征训练svm分类器

6）使用2）特征训练boundingbox回归~boundingbox回归对应的是SPP层不是和r-cnn一样是con5的pool5

缺点：

　　仍有：特征存储太大；复杂的多阶段训练  训练时间~finetune+特征提取+svm/bbox

　　新问题：只能finetue全连接层，共享的图片集运算不可

fast rcnn：

实现end-to-end端对端单阶段训练，所以不需要离线存储特征文件~多任务损失函数

所以层都可以finetune

spp-net上的新技术：

　　1）ROI感兴趣区域池化层，即单一的spp金字塔池化~可以梯度回传~实现end2end

　　　　ROI池化层取代alexnet的第五个pooling，输出的特征和sppnet类似，只是更短

　　　　ROI梯度回传：非重叠部分类似maxpooling，重叠部分是多个重合区域的偏导之和

　　2)所任务损失函数

　　　　分类器loss：交叉熵+softmax~   -logpi　　

　　　　回归：偏差要做高斯归一化；物体类别时有回归loss，背景时无回归loss

训练：因为端对端，所以不需复杂的分阶段训练

　　在pre-trained模型上做finetune，初始模型性能最好为vgg

　　mini-batch sampling抽样：

　　　　hierarchical sampling分级抽样：

　　　　　　batch尺寸128（是每个batch中区域的数量不是图片的数量）=每个batch的图片数量2*每个图片的ROI数量64（ss算法得到）  ~为了充分利用卷积层的共享计算，每个图片可以同时共享

　　　　　　ROI分类基于与goundtruth重叠：物体lou》0.5，背景lou在【0.1，0.5）

准确性：

　　端对端训练finetune的层数，fc6《conv3《conv2，finetune层数越多性能提：升越明显

　　训练时多阶段/多任务训练，和测试阶段bbox回归的不同组合使用mAP有差异　　

缺点：ss还是独立的

Fater rcnn：

区域建议也应该有conv5决定，应集成~ RPN网络

faster rcnn=fast rcnn + rpn，取代离线的selective search模块

进一步共享卷积层计算~因为区域建议也是由最后卷积层得到

基于attention机制~引导fast r-cnn关注区域

region proposals量少~300质优高precision高recall

RPN:　　

　　一种全卷机网络：3*3，256-d卷积层+relu作为conv5下一次，输出的256维特征分别送入以下

　　　　　　　　　　1*1，4k-d卷积层~输出k组proposal的offset（x，y，w，h）

　　　　　　　　　　1*1，2k-d卷积层~输出k组是/否为物体object

　　　　　　　　　　两者的输出共ROI池化层使用

　　参考组anchor box，k=9种三种尺寸/比例；中心和卷积核中心一致（如3*3卷积核）；anchor的数量w*h*k，每个像素上都有，所有w*h

　　PRN需单独训练

loss：预测框、anchor框、ground truth框

　　也有指示函数~背景设为0

　　一个mini-batch只有一个图片，128正样本（与ground truth lou），128负样本

训练阶段：

　　1）训练RPN,IMAGENET上pretrain模型参数-》卷积层初始化

　　2)训练fast rcnn网络，IMAGENET上pretrain模型参数-》卷积层初始化，region proposal由1）的RPN生成

　　3）调优RPN，fast rcnn的卷积层参数-》卷积层初始化，固定卷积层，finetune剩余层

　　4）调优fast rcnn，固定卷积层，finetune剩余层，region proposal由3）得到

　　1）2)无卷积层共享

基于旧形态的cnn结构：Alexnet、vgg
 特点L:全卷积子网络+全连接自网络，分别特征提取+特征分类
 缺点：例如ROI-wise子网络不含隐含层~检测性能和分类性能不一致~检测网络的变换敏感性和分类网络的变换不变性矛盾
       （卷积层越深，不变性越强，对变换越不敏感，因为后面的卷积层所带的位置信息越来越少）
 
R-FCN区域全卷机神经网络：
 cnn全卷机趋势：resnet、googlenet~只剩1个全连接层
resnet-101 -》 conv91+ROI池化+conv10 ，resnet-101之前三个全连接层相当于前两个是隐藏层，若完全提出全连接层，木有隐藏层~改进，将conv拆解，中间插入ROI、

rcnn在检测中出现不适应性 + 应用两难 
 --》R-FCN，适应全卷积化cnn的结构，提出全卷机化设计
 引入变换敏感性
 1)位置敏感分值图，grid位置信息+类别判别
 2)位置敏感池化，无训练参数 ~不需全连接层就可完成分类任务

实质：还是卷积层，只是通道信息发生了变化
 resnet-101卷积网，pre-trained模型（imagenet），1*1降维（2048-》1024）
 +RPN网~faster rcnn
 +position-sensitive卷积网，池化后投票

位置敏感卷积层：
 指，k平方（C+1）conv，~多个通道对位置、类别组合进行编码~不同的通道对应不同的网格位置和类别
 相对位置：k*k个Grid（k=3）~对应ROI-pooling是3*3网格
 位置敏感分值图：每个分类k*k个score map，score map=图片尺寸~score map是卷积的输出通道，3*3ROI池化指针对该通道，比如浅黄色~每一个颜色对应一个vote的一个bin，vote的通道数是C+1
   vote再做均值池化，得到1*1大小通道数为C+1的特征图 --》softmax得到概率值
 位置敏感ROI池化层：w*h的roi拆分从k*k个w/k*h/k的bin，不同颜色的bin对应不同颜色通道层（score map），bin内做均值池化-》输出k*k*（C+1）
loss：均值投票t：训练时用的anchor~xa和ground truth~x*，测试时用的anchor~xa和预测值x -》回归模型中t和t*即偏差要无限接近
      背景没有回归，标记0
      每个类别一个回归
训练：
      OHEM(online hard example mining):
 一个图片~1个batch~1个gpu ；一个图片~N个proposal~所有区域loss~loss排序~选前B个，包含正/负样本
       fater rcnn的4步训练法：rpn和r-fcn交替训练，r-fcn把fast rcnn升级了
性能：r-fcn中卷积核k*k，1*1《3*3《5*5，因为提取的位置信息越精确

人脸数据集：
 FDDB、IJB-A~指出难检测位置
行人检测数据集：Caltech