ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构 本文翻译自ResNet, AlexNet, VGG, Inception: Understanding various architectures of Convolutional Networks,原作者保留版权 卷积神经网络在视觉识别任务上的表现令人称奇.好的CNN网络是带有上百万参数和许多隐含层的“庞然怪物”.事实上,一个不好的经验规则是:网络越深,效果越好.AlexNet,VGG,Inceptio

论文总结 - 模型剪枝 Model Pruning  发表于 2018-10-03 模型剪枝是常用的模型压缩方法之一.这篇是最近看的模型剪枝相关论文的总结. Deep Compression, Han Song 抛去LeCun等人在90年代初的几篇论文,HanSong是这个领域的先行者.发表了一系列关于模型压缩的论文.其中NIPS 2015上的这篇Learning both weights and connections for efficient neural network着重讨论了对模型进

论文地址:HetConv 一.现有网络加速技术 1.卷积加速技术 作者对已有的新型卷积划分如下:标准卷积.Depthwise 卷积.Pointwise 卷积.群卷积(相关介绍见『高性能模型』深度可分离卷积和MobileNet_v1),后三种卷积可以取代标准卷积,使用方式一般是 Depthwise + Pointwise 或者是 Group + Pointwise 这样的两层取代(已有网络架构中的)标准卷积的一层,成功的在不损失精度的前提下实现了 FLOPs 提升,但是带来副作用是提高了网络延迟(

我们刚接到一个项目时,一开始并不是如何设计模型,而是去先跑一个现有的模型,看在项目需求在现有模型下面效果怎么样.当现有模型效果不错需要深入挖掘时,仅仅时跑现有模型是不够的,比如,如果你要在嵌入式里面去实现,目前大多数模型大小和计算量都不满足,这就产生了模型压缩和剪枝. 模型压缩常做的是将模型从float变为int8,这不仅带来了模型参数空间上的减少,同时,是的很多较小的参数直接变为0,是的模型压缩可以变得比较小(一般是缩小到原来的20),但是这种方式下,压缩后的模型不一定能work,还得调整.

对抗性鲁棒性与模型压缩:ICCV2019论文解析 Adversarial Robustness vs. Model Compression, or Both? 论文链接: http://openaccess.thecvf.com/content_ICCV_2019/papers/Ye_Adversarial_Robustness_vs._Model_Compression_or_Both_ICCV_2019_paper.pdf Code is available at https://githu

​  前言  由于内存和计算资源有限,在嵌入式设备上部署卷积神经网络 (CNN) 很困难.特征图中的冗余是那些成功的 CNN 的一个重要特征,但在神经架构设计中很少被研究. 论文提出了一种新颖的 Ghost 模块,可以从廉价操作中生成更多的特征图.提出的 Ghost 模块可以作为即插即用的组件来升级现有的卷积神经网络.堆叠Ghost Module建立了轻量级的 GhostNet. GhostNet 可以实现比 MobileNetV3 更高的识别性能(例如 75.7% 的 top-1 准确率),并

作者:朱建平 腾讯云技术总监,腾讯TEG架构平台部专家工程师 1.关于人工智能的若干个错误认知 人工智能是AI工程师的事情,跟我没有什么关系 大数据和机器学习(AI) 是解决问题的一种途径和手段,具有通用性,是一个基础的技能.当前我们工作中还有很多决策,是基于经验和预定的规则,未来这部分决策可以通过AI让我们做得更合理更好一些. 人工智能太厉害了,未来会取代人类 随着人工智能的发展,特别去年谷歌的AlphaGo围棋战胜代表人类的顶级棋手李世石,更是引爆了整个互联网.于是,网上不少人开始了很多担忧

0. 算法概述 决策树(decision tree)是一种基本的分类与回归方法.决策树模型呈树形结构(二分类思想的算法模型往往都是树形结构) 0x1:决策树模型的不同角度理解 在分类问题中,表示基于特征对实例进行分类的过程,它可以被看作是if-then的规则集合:也可以被认为是定义在特征空间与类空间上的条件概率分布 1. if-then规则集合 决策树的属性结构其实对应着一个规则集合:由决策树的根节点到叶节点的每条路径构成的规则组成:路径上的内部特征对应着if条件,叶节点对应着then结论. 决

为了实现迁徙学习,首先是数据集的下载 #利用curl下载数据集 curl -o flower_photos.tgz http://download.tensorflow.org/example_images/flower_photos.tgz #在当前路径下对下载的数据集进行解压 tar xzf flower_photos.tgz 下载谷歌提供的训练好的Inception-v3模型 wget -P /Volumes/Cu/QianXi_Learning --no-check-certificat

在做迁徙学习的过程中,需要下载已经训练好的Inception_v3模型,首先我们为了将下载的模型保存到指定的地方,我们需要利用 wget -P 想要保存的目录 模型的网址,例如 wget -P /Volumes/Cu/QianXi_Learning https://storage.googleapis.com/download.tensorflow.org/models/inception_dec_2015.zip 在终端中运行以上代码,会报错:无法建立 SSL 连接 查阅资料之后发现,这是因为

导读 喵喵的,一个大坑.本文分为吐槽和干货两部分. 一.吐槽 大周末的,被导师扣下加班,嗨气,谁叫本狗子太弱鸡呢,看起来很简单的任务倒腾了两天还没完,不扣你扣谁? 自己刚接到微调Inception-v3的任务时,也是觉得小意思不是,不就下载预训练模型然后finetune? 当然,本狗子是不可能自己写代码的,毕竟弱鸡自己造轮胎从来都漏气.打开网页,眼花缭乱,选定了个看起来算比较简单的博客开始动手,嗯就这个. 事实证明,该博客的方法不仅该说的没说不该说的瞎说还最后有巨坑. 此处截出来进行diss,博

转自:https://zhuanlan.zhihu.com/p/35394369 YOLOv3的前世今生 2013年,R-CNN横空出世,目标检测DL世代大幕拉开. 各路豪杰快速迭代,陆续有了SPP,fast,faster版本,至R-FCN,速度与精度齐飞,区域推荐类网络大放异彩. 奈何,未达实时检测之基准,难获工业应用之青睐. 此时,凭速度之长,网格类检测异军突起,先有YOLO,继而SSD,更是摘实时检测之桂冠,与区域推荐类二分天下.然准确率却时遭世人诟病. 遂有JR一鼓作气,并coco,推v

对于深度卷积神经网络而言,准确度和计算成本往往难以得兼,研究界也一直在探索通过模型压缩或设计新型高效架构来解决这一问题.印度理工学院坎普尔分校的一篇 CVPR 论文则给出了一个新的思路——使用异构的卷积过滤器:实验表明这种方法能在保证准确度的同时显著降低计算成本. 选自arXiv,作者:Pravedra Singh等,机器之心编译,参与:熊猫. 论文:https://arxiv.org/abs/1903.04120 摘要:我们提出了一种全新的深度学习架构,其中的卷积运算利用了异构核.相比于标准的

深度学习要想落地实践,一个少不了的路径即是朝着智能终端.嵌入式设备等方向发展.但终端设备没有GPU服务器那样的强大性能,那如何使得终端设备应用上深度学习呢? 所幸谷歌已经推出了TFMobile,去年又更进一步,推出了TFLite,其应用思路为在GPU服务器上利用迁移学习训练自己的模型,然后将定制化模型移植到TFLite上, 终端设备仅利用模型做前向推理,预测结果.本文基于以下三篇文章而成: 理论篇:https://www.tensorflow.org/hub/tutorials/image_re

目录 1. 流程概述 2. 准备数据集 2.1 Satellite数据集介绍 3. Inception V3网络 4. 训练 4.1 基于Keras微调Inception V3网络 4.2 Keras实时生成批量增强数据 4.3 配置transfer learning & finetune 4.4 执行训练 5. 测试 5.1 对单张图片进行测试 6. 可视化分类界面 6.1 交互界面设计 6.2 后台核心代码:模型加载并分类 6.3 交互界面效果   这篇博客主要是使用Keras框架微调Inc

目录 1. 动机详述和方法简介 2. 相关工作 3. 方法 3.1 Formulation 3.2 实现 3.3 弱监督学习 4. 实验 4.1 基本实验 4.2 深入实验 [算法和公式很simple,甚至有点naive,但文章的写作不错] 为了让小网络具有大能力,我们通常使用蒸馏.这篇文章提出了一种新方法:深度相互学习(deep mutual learning, DML).与蒸馏法不同,相互学习中存在多个学生共同学习,并且每个学生之间要互相学习.实验还发现了一个惊人的结果:我们不需要piror

Learning Efficient Convolutional Networks through Network Slimming 简介 这是我看的第一篇模型压缩方面的论文,应该也算比较出名的一篇吧,因为很早就对模型压缩比较感兴趣,所以抽了个时间看了一篇,代码也自己实现了一下,觉得还是挺容易的.这篇文章就模型压缩问题提出了一种剪枝针对BN层的剪枝方法,作者通过利用BN层的权重来评估输入channel的score,通过对score进行threshold过滤到score低的channel,在连接的

import glob import os.path import numpy as np import tensorflow as tf from tensorflow.python.platform import gfile import tensorflow.contrib.slim as slim # 因为slim.nets包在 tensorflow 1.3 中有一些问题,所以这里为了方便 # 我们将slim.nets.inception_v3中的代码拷贝到了同一个文件夹下. # imp

import glob import os.path import numpy as np import tensorflow as tf from tensorflow.python.platform import gfile # 原始输入数据的目录,这个目录下有5个子目录,每个子目录底下保存这属于该 # 类别的所有图片. INPUT_DATA = 'F:\\TensorFlowGoogle\\201806-github\\datasets\\flower_photos\\' # 输出文件地址

import glob import os.path import numpy as np import tensorflow as tf from tensorflow.python.platform import gfile import tensorflow.contrib.slim as slim # 加载通过TensorFlow-Slim定义好的inception_v3模型. import tensorflow.contrib.slim.python.slim.nets.incepti

import glob import os.path import numpy as np import tensorflow as tf from tensorflow.python.platform import gfile import tensorflow.contrib.slim as slim # 加载通过TensorFlow-Slim定义好的inception_v3模型. import tensorflow.contrib.slim.python.slim.nets.incepti