02(b)多元无约束优化问题-最速下降法

此部分内容接02(a)多元无约束优化问题的内容！

第一类：最速下降法(Steepest descent method)

\[f({{\mathbf{x}}_{k}}+\mathbf{\delta })\approx f({{\mathbf{x}}_{k}})+{{\nabla }^{T}}f({{\mathbf{x}}_{k}})\cdot \mathbf{\delta }\]

要使新找到的一点${{\mathbf{x}}_{k}}+\mathbf{\delta }$的函数值小于原来点${{\mathbf{x}}_{k}}$的函数值，即：

\[f({{\mathbf{x}}_{k}}+\mathbf{\delta })-f({{\mathbf{x}}_{k}})={{\nabla }^{T}}f({{\mathbf{x}}_{k}})\cdot \mathbf{\delta }=\left\| \nabla f({{\mathbf{x}}_{k}}) \right\|\cdot \left\| \mathbf{\delta } \right\|\cos \theta <0\]

其中$\theta $为梯度向量$\nabla f({{\mathbf{x}}_{k}})$和方向向量$\mathbf{\delta }$的夹角，由上式可见当$\theta =\pi $时$f({{\mathbf{x}}_{k}}+\mathbf{\delta })$

与$f({{\mathbf{x}}_{k}})$的差值在满足(8)式的情况下达到最大，即$\mathbf{\delta }$应取与梯度向量相反的方向$-\nabla f({{\mathbf{x}}_{k}})$。故此时使函数$f(\mathbf{x})$在点${{\mathbf{x}}_{k}}$下降速度最快的方向为：

${{d}_{k}}=-\nabla f({{\mathbf{x}}_{k}})$。

Step3：通过Step2确定下降方向${{\mathbf{d}}_{k}}$之后，$f({{\mathbf{x}}_{k}}+{{\alpha }_{k}}{{\mathbf{d}}_{k}})$可以看成${{\alpha }_{k}}$的一维函数，这一步的主要方法有(Dichotomous search, Fibonacci search, Goldensection search, quadratic interpolation method, and cubic interpolation method)；所确定一个步长${{\alpha }_{k}}>0$，${{\mathbf{x}}_{k+1}}={{\mathbf{x}}_{k}}+{{\alpha }_{k}}{{\mathbf{d}}_{k}}$；

Step4： if走一步的距离$\left\| {{\alpha }_{k}}{{\mathbf{d}}_{k}} \right\|<\varepsilon $，则停止并且输出解${{\mathbf{x}}_{k+1}}$；else $k:=k+1$并返回Step2，继续迭代。