SNN_文献阅读_Recent Advances and New Frontiers in Spiking Neural Networks

Recent Advances and New Frontiers in Spiking Neural Networks

• 基本要素：包括神经元模型、神经元中脉冲序列的编码方法、神经网络中每个基本层的拓扑结构
• 神经形态数据集：N-MNIST、DVS-CIFAR10
• 优化算法：为了理解生物系统——STDP、为了提高计算性能——BP
• 软件和硬件架构：软件——BindsNET+Spyketorch、硬件——IBM TrueNorth+Intel Loihi

基本要素：

模型

H-H：

\(\frac{d V}{d t}=-g_{N_{a}}\left(V-V_{N_{a}}\right)-g_{K}\left(V-V_{K}\right)+I\)

LIF：

\(\tau_{m} \frac{d V}{d t}=V_{\text {rest }}-V+R_{m} I\)

Izhivevich：

\(\frac{d V}{d t}=0.04 V^{2}+5 V+140-u+I\)

\(\frac{d u}{d t}=a(b V-u)\)

前沿：目前广泛使用的为LIF模型。

编码方法

速率编码、时态编码、总体编码

速率编码：使用时间窗口中脉冲序列的发射速率来编码信息。

时间编码：利用单个脉冲的相对时间进行编码，包含脉冲第一次发射的时间和脉冲发射的顺序。

总体编码：结合前两个的特点，既有精确时间，也结合与其他神经元的关系。

前沿：适合高信息密度时态编码算法。

拓扑结构

与DNN类似，包括全联接层、循环层、卷积层，相应的神经网络为MLP、RNN、CNN。MLP和RNN处理一维特征，CNN处理二维特征。

前沿：多点最小模体网络可用作分析复杂网络系统功能的主要网络结构单元。

神经形态数据集

受生物视觉处理机制启发的神经形态视觉传感器（NVS）：包括动态视觉传感器（DVS）和动态主动成像传感器（DAVIS）

捕捉视野中的光强变化，根据信息变化方向记录正负方向的脉冲序列信息，使NVS低延迟、异步、稀疏。

神经形态数据集的特点：

• SNN可以自然地处理异步的、事件驱动的信息，使其与神经形态数据集的数据特点很好地匹配；
• 嵌入在神经形态数据集中的时间特征（如精确的触发时间和帧间的时间相关性）提供了一个极好的平台，用以证明脉冲神经元利用时空动力学处理信息的能力。

目前有三类数据集：

• 从现场直接捕获的数据集
• 转换数据集（由静态图像生成，是最常用的数据集）N-MNIST、DVS-CIFAR10
• 生成数据集（通过特定的差异算法和基于相邻帧的生成算法从现有的图像或者视频流信息中生成的数据集）

优化算法

优化算法的研究可以分为两类：

• 为了理解生物系统，使用了详细的生物现实模型，没有考虑计算效率。
• 为了获得更高的计算性能，只保留SNN的有限特性。

第一种为：基于微观尺度、中尺度和宏观尺度的塑性优化算法。

其中，微观尺度和中尺度算法是自组织、无监督局部算法，宏观尺度算法是有监督全局算法。

微观尺度：单个神经元，STDP、短期可塑性STP、奖励STDP、Dale rule等。

中尺度：多个突触和多个神经元之间的关系，侧向抑制、自反向传播

宏观尺度：全局信息分布的上下变化。

第二种为：基于BP的不同变体进行SNN的优化，包括伪BP算法、DNN转化的SNN等。伪BP的关键特征是在BP过程中将脉冲神经元的非差分部分替换为预定义的梯度数。DNN转换SNN的基本思想是，在使用ReLU激活函数的DNN中，SNN中速率编码下的平均激活速率可以近似于后续激活值。

前沿：生物稳定性和性能的有机结合。

软件和硬件框架

软件框架

Pytork、BindsNET、SpykeTorch

硬件框架

略