前言

致力于滤波器的剪枝，论文的方法不改变原始网络的结构。论文的方法是基于下一层的统计信息来进行剪枝，这是区别已有方法的。

VGG-16上可以减少3.31FLOPs和16.63倍的压缩，top-5的准确率只下降0.52%。在ResNet-50上可以降低超过一半的参数量和FLOPs，top-5的准确率只降低1%。

如上图所示，在虚线框中找到那些弱通道（weak channels）和他们对应的滤波器（黄色高亮部分），这些通道和对应的滤波器对整体性能贡献较小，因此可以丢弃，这样就得到一个剪枝后的模型，然后通过微调（fine-tune）恢复模型的准确率。

ThiNet框架

（1）滤滤波器选择

不同于已有的方法（使用layer(i)层的统计数据对layer(i)滤波器进行剪枝），论文对layer(i+1)的统计信息来对layer(i)层进行剪枝。思路如下：如果可以使用layer(i+1)的子集通道(subset channels)的输入来逼近layer(i+1)的输出，那么其它的通道就可以从layer(i+1)的输入移除，而layer(i+1)的输入是由layer(i)的滤波器产生的。

（2）剪枝

在layer(i+1)的弱通道和其对应的layer(i)层的滤波器将被去除，模型将变得更小。剪枝后的网络的结构不变，但拥有较少的滤波器和通道数。

（3）微调

通过大量数据的训练来恢复网络性能

数据驱动的通道选择

使用来表示layer(i)的卷积过程，其中表示输入的张量(tensor)，是一组KxK的核大小的滤波器，使用D个channels生成新的张量。

我们的目标是移除中不重要的滤波器。可以看出，如果中的一个滤波器被移除了，在和中相应的通道也会被移除。这样的操作下，layer(i+1)的滤波器的数目和他输出张量的大小保持不变，因此也保持不变。

收集训练样本

通道选择——贪心算法

最小化重构误差

ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression笔记的更多相关文章

  1. 论文笔记——ThiNet: A Filter Level Pruning Method for Deep Neural Network Compreesion

    论文地址:https://arxiv.org/abs/1707.06342 主要思想 选择一个channel的子集,然后让通过样本以后得到的误差最小(最小二乘),将裁剪问题转换成了优化问题. 这篇论文 ...

  2. 论文笔记——A Deep Neural Network Compression Pipeline: Pruning, Quantization, Huffman Encoding

    论文<A Deep Neural Network Compression Pipeline: Pruning, Quantization, Huffman Encoding> Prunin ...

  3. 用matlab训练数字分类的深度神经网络Training a Deep Neural Network for Digit Classification

    This example shows how to use Neural Network Toolbox™ to train a deep neural network to classify ima ...

  4. 深度神经网络如何看待你，论自拍What a Deep Neural Network thinks about your #selfie

    Convolutional Neural Networks are great: they recognize things, places and people in your personal p ...

  5. A Survey of Model Compression and Acceleration for Deep Neural Network时s

    A Survey of Model Compression and Acceleration for Deep Neural Network时s 本文全面概述了深度神经网络的压缩方法,主要可分为参数修 ...

  6. 论文翻译：2022_PACDNN: A phase-aware composite deep neural network for speech enhancement

    论文地址:PACDNN:一种用于语音增强的相位感知复合深度神经网络 引用格式:Hasannezhad M,Yu H,Zhu W P,et al. PACDNN: A phase-aware compo ...

  7. XiangBai——【AAAI2017】TextBoxes_A Fast Text Detector with a Single Deep Neural Network

    XiangBai--[AAAI2017]TextBoxes:A Fast Text Detector with a Single Deep Neural Network 目录 作者和相关链接 方法概括 ...

  8. What are the advantages of ReLU over sigmoid function in deep neural network?

    The state of the art of non-linearity is to use ReLU instead of sigmoid function in deep neural netw ...

  9. 论文笔记之：Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation

    Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation xx

随机推荐

  1. JAVA中MAP转LIST

    @Test public void testMap2List() throws Exception{     Map<String, String> map = new HashMap&l ...

  2. 5、爬虫系列之scrapy框架

    一 scrapy框架简介 1 介绍 (1) 什么是Scrapy? Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍.所谓的框架就是一个已经被集成了各种功能(高性能 ...

  3. SDE ST_Geometry SQL st_intersects查询很慢的解决方法

    环境:服务端 SDE 10.0 oracle 11.2,客户端 PLSQL 11,oracle 11.2 为了调试方便,以下测试都是把sql提取出来在PLSQL上做 需求是已知一个多边形的点坐标,要在 ...

  4. python第四十六课——函数重写

    3.函数重写(override) 前提:必须有继承性 原因: 父类中的功能(函数),子类需要用,但是父类中函数的函数体内容和我现在要执行的逻辑还不相符 那么可以将函数名保留(功能还是此功能),但是将函 ...

  5. Reflection 反射

    版权声明:本文为博主原创文章.未经博主同意不得转载. https://blog.csdn.net/A__17/article/details/30571923 1.概念:所谓的反射.能够理解为在运行时 ...

  6. HDFS的namenode从单节点扩展为HA需要注意的问题

    扩展为HA需要注意的问题 原Namenode称为namenode1,新增的Namenode称为namenode2. 从namenode单节点扩展为HA模式官网上有详细的教程,下面是扩展过程中疏忽的地方 ...

  7. BZOJ1935:[SHOI2007]Tree 园丁的烦恼(CDQ分治)

    Description 很久很久以前,在遥远的大陆上有一个美丽的国家.统治着这个美丽国家的国王是一个园艺爱好者,在他的皇家花园里种植着各种奇花异草.有一天国王漫步在花园里,若有所思,他问一个园丁道: ...

  8. 路由器不重启，是否ip就永远不变

    今天发现公司的公网ip突然变了,没有人去动过路由器怎么会这样呢?经查原因如下:1.不一定,IP变化是每一次拨号重新获取的.2.路由器重启了,会自动拨号,获得IP3.但如果说因各种原因,掉线,路由器也会 ...

  9. ORB-SLAM2(2) ROS下配置和编译

    1配置USB相机 1.1网友参考: http://www.liuxiao.org/2016/07/ubuntu-orb-slam2-%E5%9C%A8-ros-%E4%B8%8A%E7%BC%96%E ...

  10. 手把手教你Chrome浏览器安装Postman（含下载云盘链接）(转)

    文章转自http://www.ljwit.com/archives/php/278.html 说明: Postman不多介绍,是一款功能强大的网页调试与发送网页HTTP请求的Chrome插件.本文主要 ...