机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。






目录链接


(1) 牛顿法


(2) 拟牛顿条件


(3) DFP 算法


(4) BFGS 算法


(5) L-BFGS 算法












作者: peghoty


出处: http://blog.csdn.net/itplus/article/details/21896981


欢迎转载/分享, 但请务必声明文章出处.









												


											
牛顿法与拟牛顿法学习笔记（三）DFP 算法的更多相关文章
	

    
								
  1. 牛顿法与拟牛顿法学习笔记（四）BFGS 算法
		
    机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题.在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BF ...
    
		
    2. 
						
  2. 牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法
		
    机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题.在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BF ...
    
		
    3. 
						
  3. 学习笔记(三)--->《Java 8编程官方参考教程（第9版）.pdf》:第十章到十二章学习笔记
		
    回到顶部 注:本文声明事项. 本博文整理者:刘军 本博文出自于: <Java8 编程官方参考教程>一书 声明:1:转载请标注出处.本文不得作为商业活动.若有违本之,则本人不负法律责任.违法 ...
    
		
    4. 
						
  4. Oracle学习笔记三 SQL命令
		
    SQL简介 SQL 支持下列类别的命令: 1.数据定义语言(DDL) 2.数据操纵语言(DML) 3.事务控制语言(TCL) 4.数据控制语言(DCL)  
    
		
    5. 
						
  5. [Firefly引擎][学习笔记三][已完结]所需模块封装
		
    原地址:http://www.9miao.com/question-15-54671.html 学习笔记一传送门学习笔记二传送门 学习笔记三导读:        笔记三主要就是各个模块的封装了,这里贴 ...
    
		
    6. 
						
  6. JSP学习笔记(三):简单的Tomcat Web服务器
		
    注意:每次对Tomcat配置文件进行修改后,必须重启Tomcat 在E盘的DATA文件夹中创建TomcatDemo文件夹,并将Tomcat安装路径下的webapps/ROOT中的WEB-INF文件夹复 ...
    
		
    7. 
						
  7. java之jvm学习笔记三(Class文件检验器)
		
    java之jvm学习笔记三(Class文件检验器) 前面的学习我们知道了class文件被类装载器所装载,但是在装载class文件之前或之后,class文件实际上还需要被校验,这就是今天的学习主题,cl ...
    
		
    8. 
						
  8. VSTO学习笔记(三) 开发Office 2010 64位COM加载项
		
    原文:VSTO学习笔记(三) 开发Office 2010 64位COM加载项 一.加载项简介 Office提供了多种用于扩展Office应用程序功能的模式,常见的有: 1.Office 自动化程序(A ...
    
		
    9. 
						
  9. Java IO学习笔记三
		
    Java IO学习笔记三 在整个IO包中,实际上就是分为字节流和字符流,但是除了这两个流之外,还存在了一组字节流-字符流的转换类. OutputStreamWriter:是Writer的子类,将输出的 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. AndroidStudio学习笔记-第一个安卓程序
			
    要带一个本科生做一部分跟安卓有点关系的项目,于是趁着机会学习一下编写安卓程序. 第一篇材料来自谷歌官方,传送门:https://developer.android.com/training/basic ...
    
			
    2. 
						
  2. C#的winform编程入门简单介绍
			
    C#中事件.事件委托.事件的订阅 例子: using System.Timers; Timer t1 = new Timer(); t1.Tick += new EventHandler(XX); p ...
    
			
    3. 
						
  3. MongoDB for C#基础入门
			
    笔者这里采用的是mongoDB官网推荐使用.net驱动: http://mongodb.github.io/mongo-csharp-driver/2.0/getting_started/quick_ ...
    
			
    4. 
						
  4. phpmyadmin Wrong permissions on configuration file, should not be world writable!
			
    巴拉巴拉,实际场景是这样,因为有需要,所以想用django 做个rest服务给其他平台提供服务,发现以前正常的页面都无法运行,奇怪发现有一个页面提示连接不上mysql 难道mysql挂了,打开phpm ...
    
			
    5. 
						
  5. Blend 2015 教程 （三） 模板
			
    前一篇讲述了一些基本样式的修改方法,并搭建了Style层的基本框架,本篇将进一步修改ListBox的样式. 1. 首先选中ListBox控件,在美工板导航栏中点击ListBox,选择 编辑其他模板-编 ...
    
			
    6. 
						
  6. 如何将Icon转成Bitmap
			
    最近工作中有个需求是将Icon转成带Alpha通道的Bitmap, 虽然网上有不少这方面的文章,但很多都是错的, 这里记录下,或许对后来人有用. 要实现这个功能,我们首先需要理解Icon的格式,我们可 ...
    
			
    7. 
						
  7. telnet小结
			
    几百年前就开始听说telnet了,却直到最近才真正完全搞懂!... http://www.cnblogs.com/wusthjp/archive/2012/01/05/2312975.html 可能要 ...
    
			
    8. 
						
  8. swift 加载 storyboard 里的UIViewController
			
    let storyBoard:UIStoryboard! = UIStoryboard(name: "Main", bundle: nil) let deskVC:DeskView ...
    
			
    9. 
						
  9. ios NSLog常见使用
			
    NSLog常见输出格式 Table 1  Format specifiers supported by the NSString formatting methods and CFString for ...
    
			
    10. 
						
  10. 我心中的核心组件（可插拔的AOP）~第十三回 实现AOP的拦截组件Unity.Interception
			
    回到目录 说在前 本节主要说一下Unity家族里的拦截组件,对于方法拦截有很多组件提供,基本上每个Ioc组件都有对它的实现,如autofac,它主要用在orchard项目里,而castle也有以拦截的 ...
    
			
    11.