CNN-Backbone的Pytorch实现

创建日期: 2020-07-04 17:19:39

简介：卷积神经网络非常适合处理图像相关任务，其优势一是权值共享策略，降低了模型复杂度和参数量，本质上也对应着生物视觉神经的感受野。二是其强大的特征提取能力，这也是目前视觉感知任务（分类检测分割等）性能提升的关键。而CNN模型的Bacebone（主干网络）主要负责的就是特征提取。特征提取能力的强弱直接决定了后面head的性能（head模块在的不同的任务下是不同的，简单的分类任务的head是最后接到全连接层上的，而分割任务的head是输出一组feature map，另外的检测任务则是输出bbox坐标）。本文主要工作是：测试不同Backbone在Cifar10数据集上的分类能力。用以初步判定不同Backbone的特征提取能力。github链接：https://github.com/lee-zq/CNN-Backbone

1. 项目介绍

cv任务种类繁多，但特征提取网络目前基本都是基于CNN来做。从最初的98年LeNet提出至今，网络特征提取能力越来越强，如ResNet，denseNet，mobileNet，efficientNet等等，相比于之前的AlexNet、VGGNet都要优秀很多。之前在一篇文章中提到过，一般论文里面提出的模型结构创新，较为低级的是用已有模块搭积木，而较为高级的，就是提出新的Backbone，再高级的那就是各大实验室的大佬们来做的工作了，如胶囊网络、图神经网络、动态卷积这些，直接从底层上改进卷积。言归正传，我做的这个项目是属于最低级的[23333]，就是把别人的backbone拿过来做分类。我的出发点是对比目前提出的经典网络在Cifar10上的分类性能，用以鉴别网络的特征提取能力。建立对不同Backbone的理解，以及用pytorch实现的方法，从而在我自己的任务中能够灵活运用。

2. pytorch实现

Github链接：https://github.com/lee-zq/CNN-Backbone

这部分你可以直接参看项目的README，我在这里不再重复。主要就是下载Cifar10数据集和训练模型两部分。（模型我都定义在models文件夹下，在选择模型的时候，你只需要在train.py里面修改模型定义，并在命令行参数解析器里面修改保存路径即可）

目前已加入的模型有LeNet，DensenNet, ResNet， GhostNet。还有一些我基于一些新模块写的模型，有可变形卷积实现的DeformLeNet，有基于八度卷积（Octconv）实现的OctNet和OctResNet。

Tips：

测试代码未实现，我都是直接对比验证Accuracy的。（因为我直接用的cifar10的testset做的验证）
代码写的很naive，因为这是我从刚开始入门cv的时候就陆续写起来的，并没有设置很多接口，也写了很多注释，所以也很适合入门。

3. 更新记录

（这里记录一些我新加入的Backbone）

2020.07.04更新：发现一样的工作有位大佬在两年前就开始做了，而且做的很详细（https://github.com/kuangliu/pytorch-cifar），参考了其中的transforms更新了我的代码。后续在此基础上加新模型。

4. To Do

（后续计划要加入的Backbone）

HRNet
ACNet
ShuffleNet系列
MobileNet系列