Supervised pre-trainning有监督预训练

如我们有一个分类任务，数据库很小，这时还是需要通过预训练来避免深度模型的过拟合问题的，只不过预训练是通过在一个大的数据库上（比如imagenet），通过有监督的训练来完成的。这种有监督预训练加小的数据库上微调的模式称为Transfer learning。

R-CNN是大样本下有监督预训练 + 小样本微调的方式，解决了小样本难以训练甚至过拟合的问题。

速度：经典的目标检测算法使用滑动窗法依次判断所有可能的区域。R-CNN预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行判断。

训练集：经典的目标检测算法在区域中提取人工设定的特征（Haar，HOG）。R-CNN使用两个数据库：

一个较大的识别库（ImageNet ILSVC 2012）：标定每张图片中物体的类别。一千万图像，1000类。
一个较小的检测库（PASCAL VOC 2007）：标定每张图片中，物体的类别和位置。一万图像，20类。
使用识别库进行预训练，而后用检测库调优参数。最后在检测库上评测。