拟牛顿法——DFP、BFGS、L-BFGS
DFP
该算法的核心是：通过迭代的方法，对Hk+1(-1)近似。迭代方式：
其中D0通常取为单位矩阵，关键是每一步构造矫正矩阵△Dk。
考虑△Dk 的待定形式为
拟牛顿的条件
这里插播一下拟牛顿的条件。
前面有讲到，拟牛顿法是想找到一个近似矩阵D来近似海森矩阵H的逆。显然D的选择是必须有条件的。为了表示清楚，下文B≈H,D≈H-1
设经过k+1次迭代后得到Xk+1,此时将目标函数在Xk+1附近作泰勒展开，取二阶近似，得到
对其两边作用一个梯度算子▽，可得
在上式中取X=Xk,并整理得到
若引入记号
则有
或者
这就是所谓的拟牛顿条件对于我们的近似矩阵B或D则有
有了这个拟牛顿条件我们就能开始构造D了
构造矩阵D
结合两式：
则有
并且可以写成
由于
和
是两个数，且里面α和β在里面起到类似放缩的作用，不妨假设
即
其中u，v仍是待定的
可以得到
不妨直接取
则有
至此则有
注：这里的（1.13）公式为
这里gk表示一阶导。
待更新！！
拟牛顿法——DFP、BFGS、L-BFGS的更多相关文章
- 牛顿法与拟牛顿法，DFP法，BFGS法，L-BFGS法
牛顿法 考虑如下无约束极小化问题: $$\min_{x} f(x)$$ 其中$x\in R^N$,并且假设$f(x)$为凸函数,二阶可微.当前点记为$x_k$,最优点记为$x^*$. 梯度下降法用的是 ...
- 牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法
一直记不住这些算法的推导,所以打算详细点写到博客中以后不记得就翻阅自己的笔记. 泰勒展开式 最初的泰勒展开式,若 在包含 的某开区间(a,b)内具有直到n+1阶的导数,则当x∈(a,b)时,有: ...
- 牛顿法/拟牛顿法/DFP/BFGS/L-BFGS算法
在<统计学习方法>这本书中,附录部分介绍了牛顿法在解决无约束优化问题中的应用和发展,强烈推荐一个优秀博客. https://blog.csdn.net/itplus/article/det ...
- 拟牛顿法/Quasi-Newton，DFP算法/Davidon-Fletcher-Powell，及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno
拟牛顿法/Quasi-Newton,DFP算法/Davidon-Fletcher-Powell,及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno 转载须注明出处:htt ...
- 最优化算法【牛顿法、拟牛顿法、BFGS算法】
一.牛顿法 对于优化函数\(f(x)\),在\(x_0\)处泰勒展开, \[f(x)=f(x_0)+f^{'}(x_0)(x-x_0)+o(\Delta x) \] 去其线性部分,忽略高阶无穷小,令\ ...
- 牛顿法与拟牛顿法学习笔记（四）BFGS 算法
机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题.在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BF ...
- 牛顿法与拟牛顿法学习笔记（三）DFP 算法
机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题.在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BF ...
- 牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法
机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题.在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BF ...
- <转>牛顿法与拟牛顿法
转自:http://blog.csdn.net/itplus/article/details/21896619 机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要 ...
随机推荐
- mysql select *... where id in (select 字符串 from ... )查询结果问题？
SQL中的写法为 ); 查询结果为: id TypeName 1 新手 2 手机 在MYSQL中 ); 查询结果为: id TypeName 1 新手 少了一条数据. 其中 查询结果为 Newcard ...
- Atitit.nosql api 标准化 以及nosql数据库的实现模型分类差异
Atitit.nosql api 标准化 以及nosql数据库的实现模型分类差异 1. 常用的nosql数据库MongoDB Cassandra1 1.1. 查询> db.blogposts. ...
- 初识WatiN
WatiN —— Web Application Testing In .Net 为什么会有WatiN? 给用户提供一个.Net平台下,将Web测试自动化的便捷途径. 如何通过WatiN来进行自动化测 ...
- 看好你的门-攻击服务端(3)-SOAP注入攻击
首先须要声明,本文纯属一个毫无远见和真才实学的小小开发者的愚昧见解.仅供用于web系统安全方面的參考. 1.SOAP注入攻击 server端的XML解析引擎从client接收输入信息.这里指的clie ...
- Django的自定义标签
Django提供了自定义标签功能,可以方便常用方法的重复使用. 标签的本质就是函数,标签名就是函数名. 注意点: 1.需要到django.template对象. 2.register = templa ...
- jsdoc — js注释
官方文档 http://usejsdoc.org/ - sublime插件 https://github.com/spadgos/sublime-jsdocs - 生成文档 生成html: (1)安装 ...
- Java并发编程（二）为什么需要多线程
如果不考虑多线程的话,那么在程序只有一条执行路径,代码串行执行:顺序执行.选择或者循环.单线程就像你用你惯常的手去写字,多线程编程就要求你左手画圆,右手画方.一不留神就会手忙脚乱,圆不是圆,方也不像方 ...
- openWRT自学---对官方的开发指导文档的解读和理解 记录3：一些常用方法
1.约定 configuration files follow the convention: <name>.conf init files follow the convention: ...
- int abs(int number)函数有感: 求补码和通过补码求对应的整数 C++(增加：数字的二进制表示中1的个数)
#include "limits.h" #include "math.h" int abs(int number) { int const mask = num ...
- 【LeetCode】 Rotate List 循环链表
题目:rotate list 解法1: <span style="font-size:18px;">/**LeetCode Rotate List:Given a li ...