【ASPLOS'17论文导读——SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing】的更多相关文章

ASPLOS'17论文导读——SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing

今年去参加了ASPLOS 2017大会,这个会议总体来说我感觉偏系统和偏软一点,涉及硬件的相对少一些,对我这个喜欢算法以及硬件架构的菜鸟来说并不算非常契合.中间记录了几篇相对比较有趣的paper,今天简单写一篇. SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing 单位作者: 我们知道在神经网络计算中,最主要的计算就是乘加,本篇重点就是解释了什么是Stochastic Comp…

论文笔记《ImageNet Classification with Deep Convolutional Neural Network》

一.摘要 了解CNN必读的一篇论文,有些东西还是可以了解的. 二.结构 1. Relu的好处: 1.在训练时间上,比tanh和sigmod快,而且BP的时候求导也很容易 2.因为是非饱和函数,所以基本不会出现梯度消失的情况 Relu只要控制好learing rate,可以说是完胜之前的激活函数,也因此可以帮助我们训练更深层次的网络. 现在对Relu的进一步增强还有研究,有兴趣可以了解. 2.GPU并行计算在当时是个很好思路,不过作者的trick就有点...虽然说是通过cross-validati…

ISSCC 2017论文导读 Session 14 Deep Learning Processors，A 2.9TOPS/W Deep Convolutional Neural Network

最近ISSCC2017大会刚刚举行,看了关于Deep Learning处理器的Session 14,有一些不错的东西,在这里记录一下. A 2.9TOPS/W Deep Convolutional Neural Network SoC in FD-SOI 28nm for Intelligent Embedded Systems 单位:STMicroelectronics(意法半导体) 这是一篇很综合芯片SOC设计,总体架构如下: 本文采用的DSP簇作为加速阵列,包含8个DSP簇,每簇内含2个3…

ISSCC 2017论文导读 Session 14 Deep Learning Processors，A 2.9TOPS/W Deep Convolutional Neural Network SOC

最近ISSCC2017大会刚刚举行,看了关于Deep Learning处理器的Session 14,有一些不错的东西,在这里记录一下. A 2.9TOPS/W Deep Convolutional Neural Network SoC in FD-SOI 28nm for Intelligent Embedded Systems 单位:STMicroelectronics(意法半导体) 这是一篇很综合芯片SOC设计,总体架构如下: 本文采用的DSP簇作为加速阵列,包含8个DSP簇,每簇内含2个3…

论文笔记：（CVPR2019）Relation-Shape Convolutional Neural Network for Point Cloud Analysis

目录 摘要 一.引言 二.相关工作 基于视图和体素的方法 点云上的深度学习 相关性学习 三.形状意识表示学习 3.1关系-形状卷积 建模 经典CNN的局限性 变换:从关系中学习 通道提升映射 3.2性质 置换不变性 对刚性变换鲁棒 点相互作用 权重共享 3.3再讨论2D网格卷积 3.4用于点云分析的RS-CNN 3.5应用细节 四.实验 4.1点云分析 形状分类 形状部件分割 法向量估计 4.2 RS-CNN设计分析 消融研究 聚合函数A 映射函数M 低级关系h 点置换和刚性变换的鲁棒性 4.3…

论文翻译：2020_FLGCNN: A novel fully convolutional neural network for end-to-end monaural speech enhancement with utterance-based objective functions

论文地址:FLGCNN:一种新颖的全卷积神经网络,用于基于话语的目标函数的端到端单耳语音增强 论文代码:https://github.com/LXP-Never/FLGCCRN(非官方复现) 引用格式:Zhu Y, Xu X, Ye Z. FLGCNN: A novel fully convolutional neural network for end-to-end monaural speech enhancement with utterance-based objective funct…

【转载】论文笔记系列-Tree-CNN: A Deep Convolutional Neural Network for Lifelong Learning

一. 引出主题¶ 深度学习领域一直存在一个比较严重的问题——“灾难性遗忘”,即一旦使用新的数据集去训练已有的模型,该模型将会失去对原数据集识别的能力.为解决这一问题,本文提出了树卷积神经网络,通过先将物体分为几个大类,然后再将各个大类依次进行划分.识别,就像树一样不断地开枝散叶,最终叶节点得到的类别就是我们所要识别的类. 二.网络结构及学习策略¶ 1. 网络结构 Tree-CNN模型借鉴了层分类器,树卷积神经网络由节点构成,和数据结构中的树一样,每个节点都有自己的ID.父亲(Parent)及孩子…

论文解读《ImageNet Classification with Deep Convolutional Neural Networks》

这篇论文提出了AlexNet,奠定了深度学习在CV领域中的地位. 1. ReLu激活函数 2. Dropout 3. 数据增强 网络的架构如图所示 包含八个学习层:五个卷积神经网络和三个全连接网络,并且使用了最大池化. RELU非线性层 传统的神经网络的输出包括$tanh$ 和 $ y = (1+e^{-x})^{-1}$,namely sigmoid. 在训练阶段的梯度下降的过程中, 饱和的非线性层比非饱和的非线性层下降得更慢. -- RELU 可以加快训练的速度,与饱和非线性函数相比达到相同…

【论文阅读】ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

ShuffleNet: An Extremely Efficient Convolutional Neural Network for MobileDevices…

AlexNet论文翻译-ImageNet Classification with Deep Convolutional Neural Networks

ImageNet Classification with Deep Convolutional Neural Networks 深度卷积神经网络的ImageNet分类 Alex Krizhevsky University of Toronto 多伦多大学 kriz@cs.utoronto.ca Ilya Sutskever University of Toronto 多伦多大学 ilya@cs.utoronto.ca Geoffrey E. Hinton University of Toront…

论文笔记之《Event Extraction via Dynamic Multi-Pooling Convolutional Neural Network》

1. 文章内容概述 本人精读了事件抽取领域的经典论文<Event Extraction via Dynamic Multi-Pooling Convolutional Neural Network>,并作出我的读书报告.这篇论文由中科院自动化所赵军.刘康等人发表于ACL2015会议,提出了用CNN模型解决事件抽取任务. 在深度学习没有盛行之前,解决事件抽取任务的传统方法,依赖于较为精细的特征设计已经一系列复杂的NLP工具,并且泛化能力较低.针对此类问题,这篇论文提出了一个新颖的事件抽取方法,能…

论文翻译：2019_TCNN: Temporal convolutional neural network for real-time speech enhancement in the time domain

论文地址:TCNN:时域卷积神经网络用于实时语音增强 论文代码:https://github.com/LXP-Never/TCNN(非官方复现) 引用格式:Pandey A, Wang D L. TCNN: Temporal convolutional neural network for real-time speech enhancement in the time domain[C]//ICASSP 2019-2019 IEEE International Conference on Ac…

论文阅读（Weilin Huang——【TIP2016】Text-Attentional Convolutional Neural Network for Scene Text Detection）

Weilin Huang--[TIP2015]Text-Attentional Convolutional Neural Network for Scene Text Detection) 目录 作者和相关链接 方法概括 创新点和贡献 方法细节 实验结果 问题讨论 总结与收获点 作者补充信息 参考文献 作者和相关链接 论文下载 作者: tong he, 黄伟林,乔宇,姚剑 方法概括 使用改进版的MSER(CE-MSERs,contrast-enhancement)提取候选字符区域: 使用新的CN…

论文翻译：2020_RESIDUAL ACOUSTIC ECHO SUPPRESSION BASED ON EFFICIENT MULTI-TASK CONVOLUTIONAL NEURAL NETWORK

论文翻译:https://arxiv.53yu.com/abs/2009.13931 基于高效多任务卷积神经网络的残余回声抑制 摘要 在语音通信系统中,回声会降低用户体验,需要对其进行彻底抑制.提出了一种利用卷积神经网络实现实时残余回声抑制(RAES)的方法.在多任务学习的背景下,采用双语音检测器作为辅助任务来提高性能.该训练准则基于一种新的损失函数,我们称之为抑制损失,以平衡残余回声的抑制和近端信号的失真.实验结果表明,该方法能有效抑制不同情况下的残余回声. 关键字:残余回声抑制,卷积神经网络…

【论文阅读】Sequence to Sequence Learning with Neural Network

Sequence to Sequence Learning with NN <基于神经网络的序列到序列学习>原文google scholar下载. @author: Ilya Sutskever (Google)and so on 一.总览 DNNs在许多棘手的问题处理上取得了瞩目的成绩.文中提到用一个包含2层隐藏层神经网络给n个n位数字排序的问题.如果有好的学习策略,DNN能够在监督和反向传播算法下训练出很好的参数,解决许多计算上复杂的问题.通常,DNN解决的问题是,算法上容易的而计算上困难…

论文解读（DFCN）《Deep Fusion Clustering Network》

Paper information Titile:Deep Fusion Clustering Network Authors:Wenxuan Tu, Sihang Zhou, Xinwang Liu, Xifeng Guo, Zhiping Cai, En Zhu, Jieren Cheng Sources:2020, AAAI Code:Download Paper:Download Others:4 Citations, 41 References Abstract The disadva…

（六）6.17 Neurons Networks convolutional neural network（cnn）

之前所讲的图像处理都是小 patchs ,比如28*28或者36*36之类,考虑如下情形,对于一副1000*1000的图像,即106,当隐层也有106节点时,那么W(1)的数量将达到1012级别,为了减少参数规模,加快训练速度,CNN应运而生.CNN就像辟邪剑谱一样,正常人练得很挫,一旦自宫后,就变得很厉害.CNN有几个重要的点:局部感知.参数共享.池化.  局部感知 局部感知野.一般认为人对外界的认知是从局部到全局的,而图像的空间联系也是局部的像素联系较为紧密,而距离较远的像素相关性则较弱.因…

CS229 6.17 Neurons Networks convolutional neural network（cnn）

之前所讲的图像处理都是小 patchs ,比如28*28或者36*36之类,考虑如下情形,对于一副1000*1000的图像,即106,当隐层也有106节点时,那么W(1)的数量将达到1012级别,为了减少参数规模,加快训练速度,CNN应运而生.CNN就像辟邪剑谱一样,正常人练得很挫,一旦自宫后,就变得很厉害.CNN有几个重要的点:局部感知.参数共享.池化.  局部感知 局部感知野.一般认为人对外界的认知是从局部到全局的,而图像的空间联系也是局部的像素联系较为紧密,而距离较远的像素相关性则较弱.因…

ImageNet Classification with Deep Convolutional Neural Networks 论文解读

这个论文应该算是把深度学习应用到图片识别(ILSVRC,ImageNet large-scale Visual Recognition Challenge)上的具有重大意义的一篇文章.因为在之前,人们一直质疑深度学习的强大有能力. 大家看看它的引用数目就知道它很厉害了,,9000多的引用.. 作者为:Hinton的学生与Hioton: Krizhevsky ASutskever IHinton GE 要想训练好一个深层的神经网络,需要 :很大的 datasets, 很强大的硬件,很好的抵制ove…

论文笔记之：Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking

Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking  arXiv Paper Project Page:http://guanghan.info/projects/ROLO/ GitHub:https://github.com/wangxiao5791509/ROLO 摘要:本文提出了一种新的方法进行空间监督 RCNN 来进行目标跟踪.我们通过深度神经网络来学习到  loc…

论文笔记（7）：Constrained Convolutional Neural Networks for Weakly Supervised Segmentation

UC Berkeley的Deepak Pathak 使用了一个具有图像级别标记的训练数据来做弱监督学习.训练数据中只给出图像中包含某种物体,但是没有其位置信息和所包含的像素信息.该文章的方法将image tags转化为对CNN输出的label分布的限制条件,因此称为 Constrained convolutional neural network (CCNN). 该方法把训练过程看作是有线性限制条件的最优化过程: 其中是一个隐含的类别分布,是CNN预测的类别分布.目标函数是KL-divergen…

[论文阅读] ImageNet Classification with Deep Convolutional Neural Networks(传说中的AlexNet)

这篇文章使用的AlexNet网络,在2012年的ImageNet(ILSVRC-2012)竞赛中获得第一名,top-5的测试误差为15.3%,相比于第二名26.2%的误差降低了不少. 本文的创新点: 1) 训练了(当时)最大的一个卷积神经网络,在ImageNet数据集上取得(当时)最好的结果: 2) 写了一个高度优化的GPU实现的2维卷积: 3) 包含了一些新的特点,来提高网络的泛化能力和减少网络的训练时间 4) 使用了一些有效的方法来减轻过拟合: 5) 网络使用了5层卷积层和3层全连接层,如果…

论文笔记(Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration)

这是CVPR 2019的一篇oral. 预备知识点:Geometric median 几何中位数 \begin{equation}\underset{y \in \mathbb{R}^{n}}{\arg \min } \sum_{i=1}^{m}\left\|x_{i}-y\right\|\end{equation} 可以理解为距离给定点集欧式距离之和最近的点.这篇博客中有关于几何中位数的介绍:https://www.cnblogs.com/ybiln/p/4175695.html. 文中指出之…

论文阅读笔记二-ImageNet Classification with Deep Convolutional Neural Networks

分类的数据大小:1.2million 张,包括1000个类别. 网络结构:60million个参数,650,000个神经元.网络由5层卷积层,其中由最大值池化层和三个1000输出的(与图片的类别数相同)全链接层组成. 选用非饱和神经元和高性能的GPU来增强卷积操作.为防止在全链接层发生过拟合,我们进行规则化 'dropout'操作,效果明显. 1.说明: 通过改变卷积神经网络的深度和宽度可以控制网络自身的容量.卷积网络可以更准确的预测图片的本质(图像统计上的不变性和像素级的局部性). 相比具有相…

论文阅读-(CVPR 2017) Kernel Pooling for Convolutional Neural Networks

在这篇论文中,作者提出了一种更加通用的池化框架,以核函数的形式捕捉特征之间的高阶信息.同时也证明了使用无参数化的紧致清晰特征映射,以指定阶形式逼近核函数,例如高斯核函数.本文提出的核函数池化可以和CNN网络联合优化. Network Structure Overview Kernel Pooling Method The illustration of the tensor product A summary of pooling strategies Experiment Evaluation…

论文解读《Understanding the Effective Receptive Field in Deep Convolutional Neural Networks》

感知野的概念尤为重要,对于理解和诊断CNN网络是否工作,其中一个神经元的感知野之外的图像并不会对神经元的值产生影响,所以去确保这个神经元覆盖的所有相关的图像区域是十分重要的:需要对输出图像的单个像素进行预测的任务,使每一个输出像素具有一个比较大的感知野是十分重要的,在做预测试时,每一个关键的信息就不会被遗漏. 增大感知野的方法: 理论上可以通过搭建更多的层的网络实现感知域的线性增加,靠着卷积过滤器的增加: 也可以使用下采样的方法,池化,增加感知域,目前通常都结合了这两种技术: 堆叠不同层的con…

VGGNet论文翻译-Very Deep Convolutional Networks for Large-Scale Image Recognition

Very Deep Convolutional Networks for Large-Scale Image Recognition Karen Simonyan[‡] & Andrew Zisserman[§] Visual Geometry Group, Department of Engineering Science, University of Oxford {karen,az}@robots.ox.ac.uk 用于大规模图像识别的深度卷积网络 Karen Simonyan[‡] &am…

论文翻译：2020_WaveCRN: An efficient convolutional recurrent neural network for end-to-end speech enhancement

论文地址:用于端到端语音增强的卷积递归神经网络 论文代码:https://github.com/aleXiehta/WaveCRN 引用格式:Hsieh T A, Wang H M, Lu X, et al. WaveCRN: An efficient convolutional recurrent neural network for end-to-end speech enhancement[J]. IEEE Signal Processing Letters, 2020, 27: 2149…

论文阅读笔记十：DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

论文链接:https://arxiv.org/pdf/1606.00915.pdf 摘要 该文主要对基于深度学习的分割任务做了三个贡献,(1)使用空洞卷积来进行上采样来进行密集的预测任务.空洞卷积可以在不增加参数量的基础上增大filter的感受野,从而可以得到更多的语义信息.(2)空洞空间金字塔池化结构(ASPP)从而以多尺寸来分割目标物体.通过不同sample rates的filters及不同大小的感受野,来获得多尺寸下的语义信息.(3)结合DCNN与概率模型提高物体的检测边界.DCNNs+C…

论文翻译：XNOR-Net: ImageNet Classification Using BinaryConvolutional Neural Networks

目录 Abstract 1 Introduction 2 Related Work 3 Binary Convolutional Neural Network 3.1 Binary-Weight-Networks 3.2 XNOR-Networks 4 Experiments 4.1 Efficiency Analysis 4.2 Image Classification 4.3 Ablation Studies 5 Conclusion 参考资料 论文地址:http://ai2-website…