开源脉冲神经网络深度学习框架--惊蛰(SpikingJelly) 背景 近年来神经形态计算芯片发展迅速,大量高校企业团队跟进,这样的芯片运行SNN的能效比与速度都超越了传统的通用计算设备.相应的,神经形态感知芯片也发展迅速.目前已有各种模态的感知芯片,其中如北京大学黄铁军教授团队的Vidar相机,功能上仿照视网膜中央凹,能输出脉冲信号,高速情况下实现比传统相机更清晰的采样.脉冲网络研究领域顶会文章与Nature Science刊物文章也在逐年增长(如下图).通过ANN转换SNN,SNN首次达到媲

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract 在生物和人工系统的学习研究之间,已经有富有成果的概念和想法流.Bush and Mosteller,Rescorla and Wagner首先在生物中开发的学习规则启发了许多早期的工作,从而导致了针对人工系统的强化学习(RL)算法的开发.最近,为在人工智能体中学习而开发的时序差分RL为解释多巴胺神经元的活动提供了基础框架. 在本综述中,我们描述了有关生物和人工智能体中RL的最新技术.我们专注于这些学科之间的联系点,并

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:1903.11012v3 [cs.LG] 19 Aug 2019 Neural Networks, 25 November 2019 Abstract 深度强化学习(RL)在可以通过训练过的策略解决的任务上表现了出色的性能.在使用多层神经网络(NN)的前沿机器学习方法中,它起着主导作用.同时,深度RL要求对噪声的高灵敏度,不完整和误导输入数据.遵循生物学直觉,我们将使用脉冲神经网络(SNN)来解决深度RL解决方案的一些不足

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract 尽管存在神经元变异性,但是群体编码被广泛认为是实现可靠行为响应的重要机制.但是,随着全局奖励信号与任何单独神经元的性能越来越不相关,标准的强化学习随着群体规模的增长而减慢.我们发现,如果除了全局奖励之外,有关群体响应的反馈能够调节突触可塑性,则学习会随着群体规模的增加而加快. 已经深入研究了神经元群体在编码感觉刺激中的作用1,2.但是,大多数带有脉冲神经元的强化学习模型都只关注单独神经元或小的神经元组件3-6.此外,

SNN对抗攻击笔记: 1. 解决SNN对抗攻击中脉冲与梯度数据格式不兼容性以及梯度消失问题: G2S Converter.Gradient Trigger[1] 2. 基于梯度的对抗攻击方式: FGSM[1-3] R-FGSM[3] I-FGSM[3] BIM[1] PGD[2] 3. 图像转化到脉冲序列的采样方式: Poisson事件生成过程[1-9] 4. SNN类型: SNN-conv(ANN-SNN Conversion)[2-7, 9] 采用的神经元模型 IF神经元模型[2-7, 9]

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:2001.01587v1 [cs.NE] 1 Jan 2020 Abstract 脉冲神经网络(SNN)被广泛应用于神经形态设备中,以模拟大脑功能.在这种背景下,SNN的安全性变得重要但缺乏深入的研究,这与深度学习的热潮不同.为此,我们针对SNN的对抗攻击,确认了与ANN攻击不同的几个挑战:i)当前的对抗攻击是基于SNN中以时空模式呈现的梯度信息,这在传统的学习算法中很难获得:ii)在梯度累积过程中,输入的连续梯度与二值脉

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:2003.10399v2 [cs.CV] 23 Jul 2020 ECCV 2020 1 https://github.com/ssharmin/spikingNN-adversarial-attack Abstract 在最近对可信任的神经网络的探索中,我们提出了一个潜在的候选,即脉冲神经网络(SNN)之于对抗攻击的内在鲁棒性.在这项工作中,我们证明对CIFAR数据集上的深度VGG和ResNet结构,在基于梯度的攻击下,

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! 原文链接:https://arxiv.org/pdf/2005.05941.pdf Contents: Abstract Introduction 1 Reinforcement learning with a network of spiking agents 2 Related Work 2.0.1 Hedonism 2.0.2 Learning by reinforcement in spiking neural network

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract 我们提出了一个基于生物学的神经模型,能够在复杂的任务中执行强化学习.该模型的独特之处在于,它能够在一个动作.状态转换和奖励之间存在未知且可变的时间延迟的环境中,解决需要智能体执行一系列未得到奖励的动作以达到目标的任务.具体来说,这是第一个能够在半马尔可夫决策过程(Semi-Markov Decision Process,SMDP)框架内发挥作用的强化学习神经模型.我们认为,当前建模工作的这种扩展为人类决策的日益复杂的

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Contents: ABSTRACT 1. Introduction 2. Biological background 2.1. Spiking neuron models 2.2. Synaptic plasticity 2.2.1. Unsupervised learning 2.2.2. Supervised learning 2.2.3. Reinforcement learning 2.2.4. Delay learning

搬地方了,其他的部分看知乎:https://zhuanlan.zhihu.com/p/22114481 直到50年代,perceptron被Frank Rosenblatt搞了出来.perceptron的想法和pitts的路子就不大一样,perceptron关注MP神经元(MPN)本身的,而不是神经元在大脑中存在的复杂拓扑,所以其中除了MPN以外,没有其他的生物学含义. 按照Pitts的证明,一个开环的正向网络是可以满足所有的计算需求的.Rosenblatt沿着这条思路挖下去,发明了一套直接使用

出处: Michael Nielsen的<Neural Network and Deep Leraning>,点击末尾“阅读原文”即可查看英文原文. 本节译者:哈工大SCIR硕士生 徐伟 (https://github.com/memeda) 声明:我们将在每周一,周四,周日定期连载该书的中文翻译,如需转载请联系wechat_editors@ir.hit.edu.cn,未经授权不得转载. “本文转载自[哈工大SCIR]微信公众号,转载已征得同意.” 使用神经网络识别手写数字 感知机 sigmo

美德科学家独立进行的两项最新研究表明,单个神经元的激发就足以影响学习和行为.这一结论挑战了人们长期以来的认识,即数千个神经元的有序排列才能够产生一个行为反应.这两篇论文12月19日在线发表于<自然>杂志上. 进行最新研究的是美国霍华德•休斯医学院的神经生物学家Karel Svoboda和同事,以及洪堡大学Michael Brecht领导的一个独立研究小组.他们的研究结论为一项饱受争议的神经理论---神经元“稀疏编码”假说(sparse-coding hypothesis)提供了依据和支持,该理

神经网络是模拟人脑思维方式的数学模型.神经网络是智能控制的一个重要分支,人们针对控制过程提供了各种实现方式,在本节我们主要讨论一下采用单神经元实现PID控制器的方式. 1.单神经元的基本原理 单神经元作为构成神经网络的基本单位,具有自学习和自适应能力,且结构简单而易于计算.接下来我们讨论一下单神经元模型的基本原理. (1).单神经元模型 所谓单神经元模型,是对人脑神经元进行抽象简化后得到一种称为McCulloch-Pitts模型的人工神经元,如下图所示. 根据上图所示,对于第i个神经元,x1.x

尽管我们有很多经验丰富的软件开发人员,但是利用hard code的方法,要解决一些问题,我们的程序员还是优点捉襟见肘,这些问题包括,识别手写数字照片上的数字:分辨一张彩色照片上是否有一只猫咪:准确理解老婆说的“男人说话要是算数,母猪也会上树”这句话的真实含义,等等.这些我们人类处理起来得心应手的问题,计算机程序处理起来却显得很笨拙. 当然,有问题就要去寻找解决方案.其实在很早的时候,我们的计算机科学家前辈们就开始做了这方面的研究,提出的理论和算法有SVM,神经网络等.但是在那个GPU还没有发明,

今天找到一个比较好的deep learning的教材:Neural Networks and Deep Learning 对神经网络有详细的讲解,鉴于自己青年痴呆,还是总结下笔记吧=.= Perceptron感知器 Perceptron的输入的一组binary变量xi,对这些binary变量求出加权和后,如果这个和大于某个阈值threshold,就输出1:否则输出0. 所以perceptron的输入输出都是binary的,我们可以把一个perceptron的输入看成一组“evidences”(证

神经网络结构设计指导原则 原文   http://blog.csdn.net/ybdesire/article/details/52821185   下面这个神经网络结构设计指导原则是Andrew NG在coursera的ML课程中提到的: 输入层:神经元个数=feature维度 输出层:神经元个数=分类类别数 隐层: 默认只用一个隐层 如果用多个隐层,则每个隐层的神经元数目都一样 隐层神经元个数越多,分类效果越好,但计算量会增大

交叉熵代价函数 machine learning算法中用得很多的交叉熵代价函数. 1.从方差代价函数说起 代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为: 其中y是我们期望的输出,a为神经元的实际输出[ a=σ(z), where z=wx+b ]. 在训练神经网络过程中,我们通过梯度下降算法来更新w和b,因此需要计算代价函数对w和b的导数: 然后更新w.b: w <—— w - η* ∂C/∂w = w - η *

前几个CNN检测的框架要求网络的图像输入为固定长宽,而SPP-Net在CNN结构中添加了一个实现图像金字塔功能的卷积层SPP层,用于在网络中实现多尺度卷积,由此对应多尺度输入,以此应对图像的缩放变换和仿射变换. 原文链接:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 原文链接: http://zhangliliang.com/2014/09/13/paper-note-sppnet/ 作

AlexNet将LeNet的思想发扬光大,把CNN的基本原理应用到了很深很宽的网络中.AlexNet主要使用到的新技术点如下. (1)成功使用ReLU作为CNN的激活函数,并验证其效果在较深的网络超过了Sigmoid,成功解决了Sigmoid在网络较深时的梯度弥散问题.虽然ReLU激活函数在很久之前就被提出了,但是直到AlexNet的出现才将其发扬光大. (2)训练时使用Dropout随机忽略一部分神经元,以避免模型过拟合.Dropout虽有单独的论文论述,但是AlexNet将其实用化,通过实践

深度学习网络大杀器之Dropout——深入解析Dropout  转自:https://yq.aliyun.com/articles/68901 摘要: 本文详细介绍了深度学习中dropout技巧的思想,分析了Dropout以及Inverted Dropout两个版本,另外将单个神经元与伯努利随机变量相联系让人耳目一新. 过拟合是深度神经网(DNN)中的一个常见问题:模型只学会在训练集上分类,这些年提出的许多过拟合问题的解决方案:其中dropout具有简单性并取得良好的结果: Dropout 上图