deeplearning搜索空间

搜索空间是神经网络搜索中的一个概念。搜索空间是一系列模型结构的汇集, SANAS主要是利用模拟退火的思想在搜索空间中搜索到一个比较小的模型结构或者一个精度比较高的模型结构。

paddleslim.nas 提供的搜索空间

根据初始模型结构构造搜索空间:

  1. MobileNetV2Space

      MobileNetV2的网络结构
  2. MobileNetV1Space

      MobilNetV1的网络结构
  3. ResNetSpace

      ResNetSpace的网络结构

根据相应模型的block构造搜索空间:

  1. MobileNetV1BlockSpace

      MobileNetV1Block的结构
  2. MobileNetV2BlockSpace

      MobileNetV2Block的结构
  3. ResNetBlockSpace

      ResNetBlock的结构
  4. InceptionABlockSpace

      InceptionABlock的结构
  5. InceptionCBlockSpace

      InceptionCBlock结构

搜索空间使用示例

  1. 使用paddleslim中提供用初始的模型结构来构造搜索空间的话,仅需要指定搜索空间名字即可。例如:如果使用原本的MobileNetV2的搜索空间进行搜索的话,传入SANAS中的configs直接指定为[(‘MobileNetV2Space’)]。
  2. 使用paddleslim中提供的block搜索空间构造搜索空间:

    2.1 使用input_size, output_size和block_num来构造搜索空间。例如:传入SANAS的configs可以指定为[(‘MobileNetV2BlockSpace’,
    {‘input_size’: 224, ‘output_size’: 32, ‘block_num’: 10})]。

    2.2 使用block_mask构造搜索空间。例如:传入SANAS的configs可以指定为[(‘MobileNetV2BlockSpace’,
    {‘block_mask’: [0, 1, 1, 1, 1, 0, 1, 0]})]。

自定义搜索空间(search space)

自定义搜索空间类需要继承搜索空间基类并重写以下几部分:

  1. 初始化的tokens(init_tokens函数),可以设置为自己想要的tokens列表, tokens列表中的每个数字指的是当前数字在相应的搜索列表中的索引。例如本示例中若tokens=[0, 3, 5],则代表当前模型结构搜索到的通道数为[8, 40, 128]。

  2. tokens中每个数字的搜索列表长度(range_table函数),tokens中每个token的索引范围。

  3. 根据tokens产生模型结构(token2arch函数),根据搜索到的tokens列表产生模型结构。

以新增reset block为例说明如何构造自己的search space。自定义的search space不能和已有的search space同名。

### 引入搜索空间基类函数和search space的注册类函数

from .search_space_base import SearchSpaceBase

from .search_space_registry import SEARCHSPACE

import numpy as np

### 需要调用注册函数把自定义搜索空间注册到space space

@SEARCHSPACE.register

### 定义一个继承SearchSpaceBase基类的搜索空间的类函数

class ResNetBlockSpace2(SearchSpaceBase):

def __init__(self, input_size, output_size, block_num, block_mask):

### 定义一些实际想要搜索的内容,例如:通道数、每个卷积的重复次数、卷积核大小等等

### self.filter_num
代表通道数的搜索列表

self.filter_num = np.array([8, 16, 32, 40, 64, 128, 256, 512])

### 定义初始化token,初始化token的长度根据传入的block_num或者block_mask的长度来得到的

def init_tokens(self):

return [0] * 3 * len(self.block_mask)

### 定义tokenindex的取值范围

def range_table(self):

return [len(self.filter_num)] * 3 * len(self.block_mask)

### token转换成模型结构

def token2arch(self, tokens=None):

if tokens == None:

tokens = self.init_tokens()

self.bottleneck_params_list = []

for i in range(len(self.block_mask)):

self.bottleneck_params_list.append(self.filter_num[tokens[i * 3 + 0]],

self.filter_num[tokens[i * 3 + 1]],

self.filter_num[tokens[i * 3 + 2]],

2 if self.block_mask[i] == 1 else 1)

def net_arch(input):

for i, layer_setting in enumerate(self.bottleneck_params_list):

channel_num, stride = layer_setting[:-1], layer_setting[-1]

input = self._resnet_block(input, channel_num, stride, name='resnet_layer{}'.format(i+1))

return input

return net_arch

### 构造具体block的操作

def _resnet_block(self, input, channel_num, stride, name=None):

shortcut_conv = self._shortcut(input, channel_num[2], stride, name=name)

input = self._conv_bn_layer(input=input, num_filters=channel_num[0], filter_size=1, act='relu', name=name + '_conv0')

input = self._conv_bn_layer(input=input, num_filters=channel_num[1], filter_size=3, stride=stride, act='relu', name=name + '_conv1')

input = self._conv_bn_layer(input=input, num_filters=channel_num[2], filter_size=1, name=name + '_conv2')

return fluid.layers.elementwise_add(x=shortcut_conv, y=input, axis=0, name=name+'_elementwise_add')

def _shortcut(self, input, channel_num, stride, name=None):

channel_in = input.shape[1]

if channel_in != channel_num or stride != 1:

return self.conv_bn_layer(input, num_filters=channel_num, filter_size=1, stride=stride, name=name+'_shortcut')

else:

return input

def _conv_bn_layer(self, input, num_filters, filter_size, stride=1, padding='SAME', act=None, name=None):

conv = fluid.layers.conv2d(input, num_filters, filter_size, stride, name=name+'_conv')

bn = fluid.layers.batch_norm(conv, act=act, name=name+'_bn')

return bn

deeplearning搜索空间的更多相关文章

  1. deeplearning算法优化原理

    deeplearning算法优化原理目录· 量化原理介绍 · 剪裁原理介绍 · 蒸馏原理介绍 · 轻量级模型结构搜索原理介绍 1. Quantization Aware Training量化介绍1.1 ...

  2. deeplearning模型库

    deeplearning模型库 1. 图像分类 数据集:ImageNet1000类 1.1  量化 分类模型Lite时延(ms) 设备 模型类型 压缩策略 armv7 Thread 1 armv7 T ...

  3. DeepLearning之路(三)MLP

    DeepLearning tutorial(3)MLP多层感知机原理简介+代码详解 @author:wepon @blog:http://blog.csdn.net/u012162613/articl ...

  4. DeepLearning之路(二)SoftMax回归

    Softmax回归   1. softmax回归模型 softmax回归模型是logistic回归模型在多分类问题上的扩展(logistic回归解决的是二分类问题). 对于训练集,有. 对于给定的测试 ...

  5. 用中文把玩Google开源的Deep-Learning项目word2vec

    google最近新开放出word2vec项目,该项目使用deep-learning技术将term表示为向量,由此计算term之间的相似度,对term聚类等,该项目也支持phrase的自动识别,以及与t ...

  6. Deeplearning原文作者Hinton代码注解

    [z]Deeplearning原文作者Hinton代码注解 跑Hinton最初代码时看到这篇注释文章,很少细心,待研究... 原文地址:>http://www.cnblogs.com/BeDPS ...

  7. Google开源的Deep-Learning项目word2vec

    用中文把玩Google开源的Deep-Learning项目word2vec   google最近新开放出word2vec项目,该项目使用deep-learning技术将term表示为向量,由此计算te ...

  8. DeepLearning.ai学习笔记(一)神经网络和深度学习--Week3浅层神经网络

    介绍 DeepLearning课程总共五大章节,该系列笔记将按照课程安排进行记录. 另外第一章的前两周的课程在之前的Andrew Ng机器学习课程笔记(博客园)&Andrew Ng机器学习课程 ...

  9. DeepLearning.ai学习笔记汇总

    第一章 神经网络与深度学习(Neural Network & Deeplearning) DeepLearning.ai学习笔记(一)神经网络和深度学习--Week3浅层神经网络 DeepLe ...

随机推荐

  1. 『动善时』JMeter基础 — 3、JMeter插件管理

    JMeter是一个Java开发的开源软件,开源的软件有一个好处,就是会有很多第三方开发出来的插件,使得JMeter在处理某一些功能的时候更加的方便.并且这些插件拿过来就可以使用,完全免费的. 我们安装 ...

  2. hdu3234 带权并查集(XOR)

    题意:       给你n个未知的正整数,有三总操作       I P V            P的值是V       I P Q V          P XOR Q = V       Q K ...

  3. hdu1316 大数

    题意:      给你一个区间,问这个区间有多少个斐波那契数. 思路:      水的大数,可以直接模拟,要是懒可以用JAVA,我模拟的,打表打到1000个就足够用了... #include<s ...

  4. SEO优化技术的简介

    严格来讲,seo技术没有所谓的严格的黑帽与白帽之分.即使是正常的301重定向,在某些情况下也能作用于黑帽seo技术.我们能判定一个人是真正的好人还是坏人么?答案是否定的.之所以解密所谓的黑帽seo,是 ...

  5. 12.PHP_PDO数据库抽象层

    PDO数据库抽象层 其实也就是说,为了方便PHP项目各种数据库切换的方便以及代码兼容性,再各种数据库上又封装了一层,做成了统一的接口,方便数据库使用和切换. PDO链接mysql数据库: <?p ...

  6. XCTF-mfw

    mfw mfw是什么东西??? 看题: 进来只有几个标签,挨着点一遍,到About页面 看到了Git,猜测有git泄露,访问/.git/HEAD成功 上Githack,但是会一直重复 按了一次ctrl ...

  7. (邹博ML)矩阵和线性代数

    主要内容 矩阵 特征值和特征向量 矩阵求导 矩阵 SVD的提法 奇异值分解(Singular Value Decomposition)是一种重要的矩阵分解方法,可以看做对称方阵在任意矩阵上的推广. 假 ...

  8. 【js】Leetcode每日一题-数组异或操作

    [js]Leetcode每日一题-数组异或操作 [题目描述] 给你两个整数,n 和 start . 数组 nums 定义为:nums[i] = start + 2*i(下标从 0 开始)且 n == ...

  9. jdk8-stream-api

    1.stream简介 stream 是一个用来处理集合个数组的api jdk 8 引入strream的原因:1.去掉for循环,使编程变的更加简单(实际运行效率可能没有for循环高)2.paralle ...

  10. 使用TK框架中updateByPrimaryKey与updateByPrimaryKeySelective区别

    int updateByPrimaryKey(T var1); int updateByPrimaryKeySelective(T var1); updateByPrimaryKeySelective ...