神经网络的 Delta 学习规则（learning rule）

1. δ 学习规则

1986 年，由认知心理学家 McClelland 和 Rumellhart 在神经网络训练中引入了 Δ 学习规则，该规则亦可称为连续感知器学习规则（与离散感知器学习规则相并行）。Δ 规则的学习信号规定为：

r=(dj−f(wTjx))f′(wTjx)=(dj−oj))f′(netj)

j 表示不同的迭代过程。上式定义的学习信号称为 δ。显然 δ 规则要求转移函数可导。

2. 由 δ 规则到最小平方误差

定义神经元输出与期望输出之间的平方误差为：

E=12(dj−oj)2=12(dj−f(wTjx))2

欲使误差 E 最小，梯度的变化方向应是负梯度方向：

Δwj=−η∇E

其中：

∇E=−(dj−f(wTjx))f′(wTjx)x

因此：

Δwj=η(dj−f(wTjx))f′(wTjx)x=η(dj−f(wTjx))f′(netj)x