人工神经网络ANNs

参考：

　　1. Stanford前向传播神经网络Wiki

　　2. Stanford后向传播Wiki

　　3. 神经网络CSDN blog

　　4. 感知器

　　5. 线性规划

　　6. Logistic回归模型

内容：

　 1. ANNs又称连接模型（connection model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的数学模型。它是由一系列简单的单元相互密集连接构成的，其中每一个单元有一定数量的实值输入，并产生单一的实数值输出。

　　2. m-of-n函数：要使函数输出为真，那么感知器的n个输入中至少有m个必须为真。OR函数相当于m=1，AND函数相当于m=n。

　　3. 某种类型的ANN系统是以被称为感知器（perception）的单元为基础的。感知器是以一个实数值向量作为输入，计算这些输入的线性组合，然后如果结果大于某个阈值，就输出1，否则输出-1。

　　

　　这里-w0就是阈值。这里的学习任务就是权向量的值。

　　

　　　　　　　　　　图1 单输出神经网络

　　

　　

　　

　　　　　　　　　　　　　　图2 多输出神经网络

　　4. 学习任务算法：感知器法则与delta法则。

　　感知器法则（前提是训练样例线性可分）：为得到可接受的权向量，从随机的权值开始，然后反复地应用这个感知器到每个训练样例，只要它误分类样例就修改感知器的权值。重复这个过程，直到感知器正确分类所有的训练样例。

　　

　　其中，t是当前训练样例的目标输出，o是感知器的输出，η是一个正的常数称为学习速率（learning rate）。

　　delta法则（线性不可分也可以）：使用梯度下降（gradient descent）来搜索可能的权向量的假设空间，以找到最佳拟合训练样例的权向量。

　　把delta训练法则理解为训练一个无阈值的感知器，也就是一个线性单元，它的输出如下：

　　

　　假设（权向量）相对于训练样例的训练误差如下：

　　

　　其中，D是训练样例集合，t_d是训练样例d的目标输出，o_d是线性单元对训练样例d的输出。这里的1/2是为了抵消求导后的2。其梯度如下：

　　

　　当梯度被解释为权空间的一个向量时，它确定了是E最陡峭上升的方向。

　　

　　5. 单个感知器只能表示线性决策面，而反向传播算法所学习的多层网络能表示非线性曲面。多层网络需要这样一种单元，它的输出是输入的非线性函数，并且输出是输入的可微函数。比如sigmoid单元，它的输出如下：

　　

　　误差E如下：

　　

　　其中，outputs是网络输出单元的集合，t_kd和o_kd是与训练样例d和第k个输出单元相关的输出值。

　　➊ 网络中每个结点被赋予一个序号，这里的“结点”要么是网络的输入，要么是网络中某个单元的输出。

　　➋ x_ji表示结点i到单元j的输入，w_ji表示对应的权值。

　　➌ δ_n表示与单元n相关联的误差项。

　　对于网路的每个输出单元k，它的误差项为：

　　

　　对于网络的每个隐藏单元h，它的误差项为：

　　

　　权值更新：