神经网络_线性神经网络 2 (Nerual Network_Linear Nerual Network 2)

1 LMS 学习规则

1.1 LMS学习规则定义

MSE=(1/Q)*Σe²_k=(1/Q)*Σ(t_k-a_k)²，k=1,2,...,Q

式中：Q是训练样本；t(k)是神经元的期望输出；a(k)是神经元的实际输出。

线性神经网络的目标是寻找最适合的权值W，使得均方差MSE最小，只要对MSE求ω得偏导数，然后让偏导数等于0，那么就可以计算出MSE的极值。

for example：

原始输入：X₁=[0 0]^T、t₁=0，X₂=[1 0]^T、t₂=0，X₃=[0 1]^T、t₃=0，X₄=[1 1]^T、t₄=1。

更改后的输入：X₁=[0 0 1]、t₁=0，X₂=[1 0 1]、t₂=0，X₃=[0 1 1]、t₃=0，X₄=[1 1 1]、t₄=1。

(1) 初始化权值 W=[ω₁，ω₂]，偏置值 b=b；

(2) 设ω₃=b，则W=[ω₁，ω₂，ω₃]，更改后的输入如上；

(3) 求解每一个输入的偏差；

(4) 偏差相加求平均；

(5) 对每个权值求偏导数；

(6) 解方程组。

e₁=t₁-a₁=0-X¹W=-ω₃；

e₂=t₂-a₂=0-X²W=-ω₁-ω₃；

e₃=t₃-a₃=0-X³W=-ω₂-ω₃；

e₄=t₄-a₄=1-X⁴W=1-ω₁-ω₂-ω₃。

MSE=((ω₃)²+(ω₁+ω₃)²+(ω₂+ω₃)²+(1-ω₁-ω₂-ω₃)²)/4

对MSE的ω₁求偏导数，得：∂MSE/∂ω₁=ω₁+0.5ω₂+ω₃-0.5；

对MSE的ω₂求偏导数，得：∂MSE/∂ω₂=0.5ω₁+ω₂+ω₃-0.5；

对MSE的ω₃求偏导数，得：∂MSE/∂ω₃=ω₁+ω₂+2ω₃-0.5。

使偏导数等于0，可得方程组：

[2 1 2;1 2 2;2 2 4]^T*[ω₁ ω₂ ω₃]^T=[1 1 1]^T。解该方程，可得

ω₁= 0.5；

ω₂=0.5；

ω₃=-0.25。

因此，可得 0.5x₁+0.5x₂-0.25=0.5 (0.5是因为期望输出为0和1，取其中间值(0+1)/2=0.5)

计算到这步，则可以使用该几何图形将输入的数据在图形上分开，同时得到最佳权值。除用此方法求权值外，还可以使用迭代法计算权值。将在神经网络_线性神经网络 3中讲解 (Nerual Network_Linear Nerual Network)。