转载:https://blog.csdn.net/u014380165/article/details/77763037 https://www.twblogs.net/a/5b8d02472b717718833929d6/zh-cn GitHub网址:https://github.com/Roll920/ThiNet https://github.com/Roll920/ThiNet_Code项目资料网址:http://lamda.nju.edu.cn/luojh/project/ThiNet…

我们刚接到一个项目时,一开始并不是如何设计模型,而是去先跑一个现有的模型,看在项目需求在现有模型下面效果怎么样.当现有模型效果不错需要深入挖掘时,仅仅时跑现有模型是不够的,比如,如果你要在嵌入式里面去实现,目前大多数模型大小和计算量都不满足,这就产生了模型压缩和剪枝. 模型压缩常做的是将模型从float变为int8,这不仅带来了模型参数空间上的减少,同时,是的很多较小的参数直接变为0,是的模型压缩可以变得比较小(一般是缩小到原来的20),但是这种方式下,压缩后的模型不一定能work,还得调整.…

本文由云+社区发表 导语:卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战,CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一. 前言 自从AlexNet一举夺得ILSVRC 2012 ImageNet图像分类竞赛的冠军后,卷积神经网络(CNN)的热潮便席卷了整个计算机视觉领域.CNN模型火速替代了传统人工设计(hand-crafted)特征和分类器,不仅提供了一种端到端的处理方法,还大幅度地刷新了各个图像竞赛任务的精度,更甚者超越了人眼的精度(LFW人脸识…

原文:NeurIPS 2018 | 腾讯AI Lab详解3大热点:模型压缩.机器学习及最优化算法 导读 AI领域顶会NeurIPS正在加拿大蒙特利尔举办.本文针对实验室关注的几个研究热点,模型压缩.自动机器学习.机器学习与最优化算法,选取23篇会议上入选的重点论文进行分析解读,与大家分享.Enjoy! NeurIPS (Conference on Neural Information Processing Systems,神经信息处理系统进展大会)与ICML并称为神经计算和机器学习领域两大顶级学…

模型压缩 为了将tensorflow深度学习模型部署到移动/嵌入式设备上,我们应该致力于减少模型的内存占用,缩短推断时间,减少耗电.有几种方法可以实现这些要求,如量化.权重剪枝或将大模型提炼成小模型. 在这个项目中,我使用了 TensorFlow 中的量化工具来进行模型压缩.目前我只使用权重量化来减小模型大小,因为根据 Mac 上的测试结果,完整 8 位转换没有提供额外的好处,比如缩短推断时间.(由于 requant_range 中的错误,无法在 Pixel 上运行完整的 8 位模型).由于 8…

论文名称:MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning 论文地址:https://arxiv.org/abs/1903.10258 开源代码:https://github.com/megvii-model/MetaPruning 目录 导语 简介 方法 PruningNet Training Pruned-Network Search 实验 Comparisons with state-of-the…

Zhuang Liu主页:https://liuzhuang13.github.io/ Learning Efficient Convolutional Networks through Network Slimming: https://arxiv.org/pdf/1708.06519.pdf 后续出了:Rethinking the Value of Network Pruning (Pytorch) (ICLR 2019),https://github.com/Eric-mingjie/re…

近日,TensorFlow模型优化工具包又添一员大将,训练后的半精度浮点量化(float16 quantization)工具. 有了它,就能在几乎不损失模型精度的情况下,将模型压缩至一半大小,还能改善CPU和硬件加速器延迟. 这一套工具囊括混合量化,全整数量化和修剪. 如何量化模型,尽可任君挑选. 压缩大小,不减精度 双精度是64位,单精度是32位,所谓的半精度浮点数就是使用2个字节(16位)来存储. 比起8位或16位整数,半精度浮点数具有动态范围高的优点:而与单精度浮点数相比,它能节省一半的储…

对抗性鲁棒性与模型压缩:ICCV2019论文解析 Adversarial Robustness vs. Model Compression, or Both? 论文链接: http://openaccess.thecvf.com/content_ICCV_2019/papers/Ye_Adversarial_Robustness_vs._Model_Compression_or_Both_ICCV_2019_paper.pdf Code is available at https://githu…

模型压缩95%:Lite Transformer,MIT韩松等人 Lite Transformer with Long-Short Range Attention Zhanghao Wu, Zhijian Liu, Ji Lin, Yujun Lin, Song Han 论文地址:https://arxiv.org/abs/2004.11886v1 GitHub 地址:https://github.com/mit-han-lab/lite-transformer 摘要 Transformer在自…

论文地址 channel pruning是指给定一个CNN模型,去掉卷积层的某几个输入channel以及相应的卷积核, 并最小化裁剪channel后与原始输出的误差. 可以分两步来解决: channel selection 利用LASSO回归裁剪掉多余的channel,求出每个channel的权重,如果为0即是被裁减. feature map reconstruction 利用剩下的channel重建输出,直接使用最小平方误差来拟合原始卷积层的输出,求出新的卷积核W. 二.优化目标 2.1 定义…

论文笔记——PRUNING FILTERS FOR EFFICIENT CONVNETS  转载:https://www.cnblogs.com/zhonghuasong/p/7642000.html 论文地址:https://arxiv.org/abs/1608.08710 路人实现代码:https://github.com/tyui592/Pruning_filters_for_efficient_convnets https://github.com/slothkong/DNN-Pruni…

本文系原创,转载请注明出处~ 小喵的博客:https://www.miaoerduo.com 博客原文(排版更精美):https://www.miaoerduo.com/c/dlib人脸关键点检测的模型分析与压缩.html github项目:https://github.com/miaoerduo/dlib-face-landmark-compression 人脸关键点检测的技术在很多领域上都有应用,首先是人脸识别,常见的人脸算法其实都会有一步,就是把人脸的图像进行对齐,而这个对齐就是通过关键点…

论文总结 - 模型剪枝 Model Pruning  发表于 2018-10-03 模型剪枝是常用的模型压缩方法之一.这篇是最近看的模型剪枝相关论文的总结. Deep Compression, Han Song 抛去LeCun等人在90年代初的几篇论文,HanSong是这个领域的先行者.发表了一系列关于模型压缩的论文.其中NIPS 2015上的这篇Learning both weights and connections for efficient neural network着重讨论了对模型进…

论文地址:HetConv 一.现有网络加速技术 1.卷积加速技术 作者对已有的新型卷积划分如下:标准卷积.Depthwise 卷积.Pointwise 卷积.群卷积(相关介绍见『高性能模型』深度可分离卷积和MobileNet_v1),后三种卷积可以取代标准卷积,使用方式一般是 Depthwise + Pointwise 或者是 Group + Pointwise 这样的两层取代(已有网络架构中的)标准卷积的一层,成功的在不损失精度的前提下实现了 FLOPs 提升,但是带来副作用是提高了网络延迟(…

用处 基于SVD实现模型压缩以适配低功耗平台     根据nnet3bin/nnet3-copy,nnet3-copy或nnet3-am-copy的"--edits-config"参数中,新支持了以下选项: apply-svd name=<name-pattern> bottleneck-dim=<dim> 查找所有名字与<name-pattern>匹配的组件,类型需要是AffineComponent或其子类.如果<dim>小于组件的输入…

1,概述 模型量化应该是现在最容易实现的模型压缩技术,而且也基本上是在移动端部署的模型的毕竟之路.模型量化基本可以分为两种:post training quantizated和quantization aware training.在pyrotch和tensroflow中都提供了相应的实现接口. 对于量化用现在常见的min-max方式可以用公式概括为: $r = S (q - Z)$ 上面式子中q为量化后的值,r为原始浮点值,S为浮点类型的缩放系数,Z为和q相同类型的表示r中0点的值.根据: $…

Reference: https://github.com/NervanaSystems/distiller https://nervanasystems.github.io/distiller/index.html PART I: 介绍 Distiller模型压缩包含的算法:  稀疏算法(剪枝+正则化)+低精度算法(量化) Distiller特点: (1)    该框架融合了剪枝,正则化及量化算法 (2)    一系列分析及评估压缩性能的工具 (3)    较流行压缩算法的应用 稀疏神经网络可…

本文主要是对Threejs中加载模型的支持种类进行简单的知识科普. 3ds (.3ds) 3ds是3ds max通用储存文件格式.使用的范围更宽,可被更多的软件识别使用. amf (.amf) AMF是以目前3D打印机使用的"STL"格式为基础.弥补了其弱点的数据格式,新格式能够记录颜色信息.材料信息及物体内部结构等.AMF标准基于XML(可扩展标记语言). 3mf (.3mf) 由微软牵头的3MF联盟,于2015年推出全新的3D打印格式--3MF(3D Manufacturing F…

自 2012 年 AlexNet 以来,卷积神经网络在图像分类.目标检测.语义分割等领域获得广泛应用.随着性能要求越来越高,AlexNet 已经无法满足大家的需求,于是乎各路大牛纷纷提出性能更优越的 CNN 网络,如 VGG.GoogLeNet.ResNet.DenseNet 等.由于神经网络的性质,为了获得更好的性能,网络层数不断增加,从 7 层 AlexNet 到 16 层 VGG,再从 16 层 VGG 到 GoogLeNet 的 22 层,再到 152 层 ResNet,更有上千层的 R…

自 2012 年 AlexNet 以来,卷积神经网络在图像分类.目标检测.语义分割等领域获得广泛应用.随着性能要求越来越高,AlexNet 已经无法满足大家的需求,于是乎各路大牛纷纷提出性能更优越的 CNN 网络,如 VGG.GoogLeNet.ResNet.DenseNet 等.由于神经网络的性质,为了获得更好的性能,网络层数不断增加,从 7 层 AlexNet 到 16 层 VGG,再从 16 层 VGG 到 GoogLeNet 的 22 层,再到 152 层 ResNet,更有上千层的 R…

结论:蒸馏是个好方法. 模型压缩/蒸馏在论文<Model Compression>及<Distilling the Knowledge in a Neural Network>提及,下面介绍后者及使用keras测试mnist数据集. 蒸馏:使用小模型模拟大模型的泛性. 通常,我们训练mnist时,target是分类标签,在蒸馏模型时,使用的是教师模型的输出概率分布作为“soft target”.也即损失为学生网络与教师网络输出的交叉熵(这里采用DistilBert论文中的策略,此论…

引言 天猫精灵(TmallGenie)是阿里巴巴人工智能实验室(Alibaba A.I.Labs)于2017年7月5日发布的AI智能语音终端设备.天猫精灵目前是全球销量第三.中国销量第一的智能音箱品牌. 在天猫精灵业务系统中,大量使用了算法模型.如领域分类模型,意图分类模型,槽填充模型,多轮对话模型等.当前天猫精灵后台有上百个正在使用的算法模型. 在模型服务方面,有两个问题非常重要: 首先,为了保证服务能够得到快速响应,模型的 RT 必须尽可能的短. 其次,我们希望在硬件资源一定的情况下能够支持…

模型优化工具包是一套先进的技术工具包,可协助新手和高级开发者优化待部署和执行的机器学习模型.自推出该工具包以来,  我们一直努力降低机器学习模型量化的复杂性 (https://www.tensorflow.org/lite/performance/post_training_quantization). 最初,我们通过"混合运算"为训练后量化提供支持,该方法可量化模型参数(例如权重),但以浮点方式执行部分计算.今天,我们很高兴宣布推出一款新工具:训练后整型量化.整型量化是一种通用技术,…

摘要:华为云AI开发平台ModelArts黑科技加持AI研发,让模型开发更高效.更简单,降低AI在行业的落地门槛.全面的可视化评估以及智能诊断功能,使得开发者可以直观了解模型各方面性能,从而进行针对性的调优. 今年,全新发布的华为云ModelArts备受关注,创新黑科技成为AI界团宠. 模型构建一直是AI落地行业遇到的挑战之一,尤其是如何对即将部署上线的模型进行评估和诊断,以确保研发是否满足业务需求,保证AI产品的质量水平,让评测结果优秀的模型直接投入生产环境,对差强人意的模型进行调优. 华为云…

CNN结构演变总结(一)经典模型 导言: 上一篇介绍了经典模型中的结构演变,介绍了设计原理,作用,效果等.在本文,将对轻量化模型进行总结分析. 轻量化模型主要围绕减少计算量,减少参数,降低实际运行时间,简化底层实现方式等这几个方面,提出了深度可分离卷积,分组卷积,可调超参数降低空间分辨率和减少通道数,新的激活函数等方法,并针对一些现有的结构的实际运行时间作了分析,提出了一些结构设计原则,并根据这些原则来设计重新设计原结构. 注:除了以上这种直接设计轻量的.小型的网络结构的方式外,还包括使用知识蒸…

​  前言  由于内存和计算资源有限,在嵌入式设备上部署卷积神经网络 (CNN) 很困难.特征图中的冗余是那些成功的 CNN 的一个重要特征,但在神经架构设计中很少被研究. 论文提出了一种新颖的 Ghost 模块,可以从廉价操作中生成更多的特征图.提出的 Ghost 模块可以作为即插即用的组件来升级现有的卷积神经网络.堆叠Ghost Module建立了轻量级的 GhostNet. GhostNet 可以实现比 MobileNetV3 更高的识别性能(例如 75.7% 的 top-1 准确率),并…

目录 写在前面 缓解样本不均衡 模型层面解决样本不均衡 Focal Loss pytorch代码实现 数据层面解决样本不均衡 提升模型鲁棒性 对抗训练 对抗训练pytorch代码实现 知识蒸馏 防止模型过拟合 正则化 L1和L2正则化 Dropout 数据增强 Early stopping 交叉验证 Batch Normalization 选择合适的网络结构 多模型融合 参考资料 写在前面 ​ 文本分类是nlp中一个非常重要的任务,也是非常适合入坑nlp的第一个完整项目.虽然文本分类看似简单,但…

摘要:CANN作为释放昇腾硬件算力的关键平台,通过深耕先进的模型压缩技术,聚力打造AMCT模型压缩工具,在保证模型精度前提下,不遗余力地降低模型的存储空间和计算量. 随着深度学习的发展,推理模型巨大的参数量和计算量,需要耗费越来越多的硬件资源,也给模型在移动端的部署带来了新的挑战. 能不能像哆啦A梦一样,变出一条缩小隧道,不管再大的模型,塞进去后就能变小变轻,在寸土寸金的AI硬件资源上身轻如燕- 答案是:当然可以! 通常来说,想要构建深度学习领域的模型缩小隧道,加速模型推理部署,一般需要借助量化…

Albert是A Lite Bert的缩写,确实Albert通过词向量矩阵分解,以及transformer block的参数共享,大大降低了Bert的参数量级.在我读Albert论文之前,因为Albert和蒸馏,剪枝一起被归在模型压缩方案,导致我一直以为Albert也是为了优化Bert的推理速度,但其实Albert更多用在模型参数(内存)压缩,以及训练速度优化,在推理速度上并没有提升.如果说蒸馏任务是把Bert变矮瘦,那Albert就是把Bert变得矮胖.最近写的文本分类库里加入了Albert预…