神经网络_线性神经网络 3 (Nerual Network_Linear Nerual Network 3)

1 LMS 学习规则_解方程组

1.1 LMS学习规则举例

X¹=[0 0 1]^T，t¹=0；X²=[1 0 1]^T，t²=0；X³=[0 1 1]^T，t³=0；X¹=[1 1 1]^T，t¹=1。

设权值分别为ω₁，ω₂，ω₃。

将输入和权值组合得方程组：

ω_1*0+ω_2*0+ω_3*1=0；

ω_1*1+ω_2*0+ω_3*1=0；

ω_1*0+ω_2*1+ω_3*1=0；

ω_1*1+ω_2*1+ω_3*1=0。

可将该线性方程组写成矩阵的形式：

[0 0 1;1 0 1;0 1 1;1 1 1]  _* [ω₁ ω₂ ω₃]^T=[0 0 0 1]^T。

则[ω₁ ω₂ ω₃]^T=pinv([0 0 1;1 0 1;0 1 1;1 1 1])_{*[0 0 0 1]^T}=_{[0.5 0.5 -0.25]}T_。

1.2 LMS学习规则迭代更新公式推导

在实际运算中，经常通过迭代的方式求解W权值，迭代方式通常采用梯度下降法：

给定代价函数      E(ω) = 0.5*e²(n)

式中，e(n) = t(n) - X^T(n)*ω(n) ，e(n)表示误差，t(n)表示期望（目标）值，X^T(n)*ω(n)表示实际值。

上式两边对ω求偏导数   ∂E/∂ω = e(n)*∂e(n)/∂ωωωω∂