神经网络与机器学习 笔记—多层感知器（MLP）

多层感知器（MLP）

Rosenblatt感知器和LMS算法，都是单层的并且是单个神经元构造的神经网络，他们的局限性是只能解决线性可分问题，例如Rosenblatt感知器一直没办法处理简单异或问题。然而日常生活中大多数问题不是线性可分的，都是多维度且无法直接进行线性分类。为了增加神经网络对这一类问题的泛化能力，出现了多层感知器（多层神经网络）的概念。

多层感知器基本特征：

网络中每个神经元模型包含一个可微的非线性激活函数。

网络中包括一个或多个隐藏在输入和输出神经节点之间的层。

网络展示出高度的连接性，其强度是由网络的突触权值决定的。

训练多层感知器的一个流行方法是反向传播算法，训练分为如下两个阶段：

1. 前向阶段，网络的突触权值是固定的，输入信号在网络中一层一层传播，直到到达输出端。因此，在这一阶段，输入信号的影响限制在网络中激活隐藏神经元和输出神经元上。
2. 反向阶段，通过比较网络的输出和期望输出产生一个误差信号。得到的误差信号再次通过网络一层一层传播，但是这一次传播是在反方向上进行的。在第二阶段，对于网络的突触权值进行不断的修正。对于输出层权值的修正计算是直接的，但是对于隐藏层来说则更有挑战性。

具有两个隐藏层的多层感知器结构图

1. 函数信号。函数信号是从网络输入端而来的一个输入信号（刺激），通过网络（一个神经元接一个神经元）向前传播，到达网络输出端即成为一个输出信号。
2. 误差信号。一个误差信号产生于网络的一个输出神经元，并通过网络（一层接一层）反向传播。我们称之为“误差信号”是因为网络的每一个神经元对他的计算都以这种或那种形式涉及误差依赖函数。

输出神经元构成网络的输出层。余下的神经元构成网络的隐藏层。因此隐藏层单元并不是网络输出或输入的一部分-因此他们被称为“隐藏”的。第一隐藏层的信号是从由传感单元（源节点）构成的输入馈给的；而第一隐藏层的输出结果又应用于下一个隐藏层；网络的其余部分依此类推。

多层感知器每一个隐藏层或输出层神经元的作用是进行两种计算：

1. 计算一个神经元的输出处出现的函数信号，它表现为关于输入信号以及与该神经元相关的突触权值的一个连续非线性函数。
2. 计算梯度向量（即误差曲面对链接于一个神经元输入的权值的梯度）的一个估计，他需要反向通过网络。

隐藏神经元的功能

隐藏神经元扮演着特征检测算子（feature detector）的角色；他们在多层感知器的运转中起着决定性作用。随着学习过程通过多层感知器不断进行，隐藏神经元开始逐步“发现”刻画训练数据的突出特征。它们是通过将输入数据非线性变换到新的称为特征空间的空间而实现的。例如，在模式分类问题中，感兴趣的类在这个新的空间中可能比原始输入数据空间中更容易分隔开。甚至，正事通过监督学习形成的这一特种空间将多层感知器和Rosenblatt感知器区分开来。

多层感知器监督学习的两种不同方式 批量学习和在线学习

批量学习（离线学习）

在监督学习的批量方法中，多数感知器的突触权值的调整在训练样本集合的所有样例都出现后进行，这构成了训练的一个回合（epoch）。换句话说，批量学习的代价函数是由平均误差能量定义的。多层改制器的突触权值的调整是以回合-回合为基础的。批量学习的有点是 对梯度向量的精确估计；学习过程的并行性。然而从实际观点看，批量学习有着存储需求。从统计的角度看，批量学习可以看成是某种形式的统计推断。因此它很适合于解非线性回归问题。

在线学习

在监督学习的在线方法下，对于多层感知器突触权值的调整是以样例-样例为基础的。用来最小化的代价函数是全体瞬时误差能量。但是这样的过程也违反了在线学习的并行性。在线学习方法被称为随机方法。这一随机性具有所希望的学习过程不容易陷入局部极小值点的效果，这是在线学习好于批量学习的明确意义所在。在线学习的另一个有点在于它比批量学习需要的存储量要少得多。同时它能够追踪训练数据的小的改变，尤其是产生数据的环境是不稳定的情况下。目前在线学习依然是主流方法。