mobilenetV3

1、MobilenetV3是通过NAS得到的，结合了v1,v2和MnasNet的结构，包括v1的dw，v2的linear bottleneck和逆残差结构，

MnasNet的se结构(接在部分linear bottleneck之后)。

SEnet中，se模块及其在resnet中的放置位置如下

https://github.com/hujie-frank/SENet/tree/master/models

2、在之前的网络结构中，最后会用一个1*1来提高特征图数目（960->1280），为了提速，将这个1*1层移至average pooling之后，如下图

3、在初使结构中，通常输出的是32维通道(3->32)，这里输出16维通道，并使用hswish替代relu

4、除了hswish，还使用了h-sigmoid（将h-swish中第一个乘x去掉），用来替换se中的sigmoid结构

5、在se结构中，压缩系数为4，精度最高

6、V3-large

参考实现：https://github.com/xiaolai-sqlai/mobilenetv3