【原创】回溯线搜索 Backtracking line search

机器学习中很多数值优化算法都会用到线搜索（line search)。线搜索的目的是在搜索方向上找到是目标函数\(f(x)\)最小的点。然而，精确找到最小点比较耗时，由于搜索方向本来就是近似，所以用较小的代价找到最小点的近似就可以了。 Backtracking Line Search(BLS)就是这么一种线搜索算法。

BLS算法的思想是，在搜索方向上，先设置一个初始步长\({\alpha _0}\)，如果步长太大，则缩减步长，知道合适为止。

上面的想法要解决两个问题：

1. 如何判断当前步长是否合适 (Armijo–Goldstein condition)

\[f({\bf{x}} + \alpha {\mkern 1mu} {\bf{p}}) \le f({\bf{x}}) + \alpha {\mkern 1mu} c{\mkern 1mu} m{\mkern 1mu} \]

\[m = {{\bf{p}}^{\rm{T}}}{\mkern 1mu} \nabla f({\bf{x}}){\mkern 1mu} \]

其中，\({\bf{p}}\)是当前搜寻方向，\(\alpha \)是步长，\({\mkern 1mu} c{\mkern 1mu} \)是控制参数，需要根据情况人工核定。

从上式可以看出，当前点的斜率越小，\(f({\bf{x}} + \alpha {\mkern 1mu} {\bf{p}}) - f({\bf{x}})\)的要求越小，步长就越小。对于一般的凸问题，搜寻点越接近最优点，原函数的斜率越较小，因此步长越小，这也是符合直觉的。

2. 如何则缩减步长

搜索步长的缩减通过\(\tau {\mkern 1mu} \)参数来控制，主要通过人工核定，既\({\alpha _j} = \tau {\mkern 1mu} {\alpha _{j - 1}}\)

总结一下BLS算法的流程如下：

1. 设置初始步长\({\alpha _0}\)

2. 判断\(f({\bf{x}} + \alpha {\mkern 1mu} {\bf{p}}) \le f({\bf{x}}) + \alpha {\mkern 1mu} c{\mkern 1mu} m{\mkern 1mu} \)是否满足，如果满足，停止；否则3：

3. \({\alpha _j} = \tau {\mkern 1mu} {\alpha _{j - 1}}\)，重复2