深度学习面试题25：分离卷积(separable卷积)

【深度学习面试题25：分离卷积(separable卷积)】的更多相关文章

深度学习面试题25：分离卷积(separable卷积)

目录举例单个张量与多个卷积核的分离卷积参考资料举例分离卷积就是先在深度上分别卷积,然后再进行卷积,对应代码为: import tensorflow as tf # [batch, in_height, in_width, in_channels] input =tf.reshape(tf.constant([2,5,3,3,8,2,6,1,1,2,5,4,7,9,2,3,-1,3], tf.float32),[1,3,3,2]) # [filter_height, filter_wid…

深度学习面试题10：二维卷积（Full卷积、Same卷积、Valid卷积、带深度的二维卷积）

目录二维Full卷积二维Same卷积二维Valid卷积三种卷积类型的关系具备深度的二维卷积具备深度的张量与多个卷积核的卷积参考资料二维卷积的原理和一维卷积类似,也有full卷积.same卷积和valid卷积. 举例:3*3的二维张量x和2*2的二维张量K进行卷积二维Full卷积 Full卷积的计算过程是:K沿着x从左到右,从上到下移动,每移动到一个固定位置,对应位置的值相乘再求和,计算过程如下: Full卷积的过程记为Cfull=x★K: 返回目录二维Same卷积假设卷积核…

深度学习面试题27：非对称卷积(Asymmetric Convolutions)

目录产生背景举例参考资料产生背景之前在深度学习面试题16:小卷积核级联卷积VS大卷积核卷积中介绍过小卷积核的三个优势: ①整合了三个非线性激活层,代替单一非线性激活层,增加了判别能力. ②减少了网络参数. ③减少了计算量在<Rethinking the Inception Architecture for Computer Vision>中作者还想把小卷积核继续拆解,从而进一步增强前面的优势返回目录举例一个3*3的卷积可以拆解为:一个3*1的卷积再串联一个1*3的卷积,实验证…

深度学习面试题29：GoogLeNet(Inception V3)

目录使用非对称卷积分解大filters 重新设计pooling层辅助构造器使用标签平滑参考资料在<深度学习面试题20:GoogLeNet(Inception V1)>和<深度学习面试题26:GoogLeNet(Inception V2)>中对前两个Inception版本做了介绍,下面主要阐述V3版本的创新点使用非对称卷积分解大filters InceptionV3中在网络较深的位置使用了非对称卷积,他的好处是在不降低模型效果的前提下,缩减模型的参数规模,在<深度学…

深度学习面试题13：AlexNet(1000类图像分类)

目录网络结构两大创新点参考资料第一个典型的CNN是LeNet5网络结构,但是第一个引起大家注意的网络却是AlexNet,Alex Krizhevsky其实是Hinton的学生,这个团队领导者是Hinton,于2012年发表论文. AlexNet有60 million个参数和65000个神经元,五层卷积,三层全连接网络,最终的输出层是1000通道的softmax.AlexNet利用了两块GPU进行计算,大大提高了运算效率,并且在ILSVRC-2012竞赛中获得了top-5测试的15.3%…

深度学习面试题24：在每个深度上分别卷积(depthwise卷积)

目录举例单个张量与多个卷积核在深度上分别卷积参考资料举例如下张量x和卷积核K进行depthwise_conv2d卷积结果为: depthwise_conv2d和conv2d的不同之处在于conv2d在每一深度上卷积,然后求和,depthwise_conv2d没有求和这一步,对应代码为: import tensorflow as tf # [batch, in_height, in_width, in_channels] input =tf.reshape( tf.constant([…

深度学习面试题16：小卷积核级联卷积VS大卷积核卷积

目录感受野多个小卷积核连续卷积和单个大卷积核卷积的作用相同小卷积核的优势参考资料感受野在卷积神经网络中,感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小.再通俗点的解释是,特征图上的一个点对应输入图上的区域,如下图所示: 返回目录多个小卷积核连续卷积和单个大卷积核卷积的作用相同像LeNet.AlexNet网络,都是用了较大的卷积核,目的是提取出输入图像更大邻域范围的信息,一般是卷积与池化操…

深度学习面试题09：一维卷积（Full卷积、Same卷积、Valid卷积、带深度的一维卷积）

目录一维Full卷积一维Same卷积一维Valid卷积三种卷积类型的关系具备深度的一维卷积具备深度的张量与多个卷积核的卷积参考资料一维卷积通常有三种类型:full卷积.same卷积和valid卷积,下面以一个长度为5的一维张量I和长度为3的一维张量K(卷积核)为例,介绍这三种卷积的计算过程一维Full卷积 Full卷积的计算过程是:K沿着I顺序移动,每移动到一个固定位置,对应位置的值相乘再求和,计算过程如下: 将得到的值依次存入一维张量Cfull,该张量就是I和卷积核K的ful…

深度学习面试题26：GoogLeNet(Inception V2)

目录第一层卷积换为分离卷积一些层的卷积核的个数发生了变化多个小卷积核代替大卷积核一些最大值池化换为了平均值池化完整代码参考资料第一层卷积换为分离卷积 net = slim.separable_conv2d( inputs, depth(64), [7, 7], depth_multiplier=depthwise_multiplier, stride=2, padding='SAME', weights_initializer=trunc_normal(1.0), scope=en…

【深度学习系列】手写数字识别卷积神经--卷积神经网络CNN原理详解(一)

上篇文章我们给出了用paddlepaddle来做手写数字识别的示例,并对网络结构进行到了调整,提高了识别的精度.有的同学表示不是很理解原理,为什么传统的机器学习算法,简单的神经网络(如多层感知机)都可以识别手写数字,我们要采用卷积神经网络CNN来进行别呢?CNN到底是怎么识别的?用CNN有哪些优势呢?我们下面就来简单分析一下.在讲CNN之前,为避免完全零基础的人看不懂后面的讲解,我们先简单回顾一下传统的神经网络的基本知识. 神经网络的预备知识为什么要用神经网络? 特征提取的高效性.…