用ADMM求解大型机器学习问题
[本文链接:http://www.cnblogs.com/breezedeus/p/3496819.html,转载请注明出处]
从等式约束的最小化问题说起:
上面问题的拉格朗日表达式为:
也就是前面的最小化问题可以写为:
\(
\min\limits_{x} \max\limits_{y} L(x, y)
\) 。
它对应的对偶问题为:
\(
\max\limits_{y} \min\limits_{x} L(x, y)
\) 。
下面是用来求解此对偶问题的对偶上升迭代方法:
这个方法在满足一些比较强的假设下可以证明收敛。
为了弱化对偶上升方法的强假设性,一些研究者在上世纪60年代提出使用扩展拉格朗日表达式(augmented Lagrangian)代替原来的拉格朗日表达式:
其中\(\rho > 0\)。对应上面的对偶上升方法,得到下面的乘子法(method of multipliers):
注意,乘子法里把第二个式子里的\(\alpha^k\)改成了扩展拉格朗日表达式中引入的\(\rho\)。这不是一个随意行为,而是有理论依据的。利用\(L(x, y)\)可以导出上面最小化问题对应的原始和对偶可行性条件分别为(\( \frac{\partial L} {\partial y} = 0\),\( \frac{\partial L} {\partial x} = 0\)):
既然\(x^{k+1}\) 最小化 \( L_{\rho}(x, y^{k})\),有:
上面最后一个等式就是利用了\( y^{k+1} = y^{k} + \rho(A x^{k+1}-b) \)。从上面可知,这种\(y^{k+1}\)的取法使得\( (x^{k+1}, y^{k+1}) \)满足对偶可行条件\( \frac{\partial L} {\partial x} = 0 \)。而原始可行条件在迭代过程中逐渐成立。
乘子法弱化了对偶上升法的收敛条件,但由于在x-minimization步引入了二次项而导致无法把x分开进行求解(详见[1])。而接下来要讲的Alternating Direction Method of Multipliers (ADMM)就是期望结合乘子法的弱条件的收敛性以及对偶上升法的可分解求解性。ADMM求解以下形式的最小化问题:
其对应的扩展拉格朗日表达式为:
ADMM包括以下迭代步骤:
ADMM其实和乘子法很像,只是乘子法里把\(x\)和\(z\)放一块求解,而ADMM是分开求解,类似迭代一步的Gauss-Seidel方法。其中(3.4)中的推导类似于乘子法,只是使用了\(z^{k+1}\)最小化\( L_{\rho}(x^{k+1}, z, y^k) \):
其中用到了\(z\)对应的对偶可行性式子:
\(
\frac{\partial L} {\partial z} = \nabla g(z) + B^Ty = 0
\)
定义新变量\( u=\frac{1}{\rho}y \),那么(3.2-3.4)中的迭代可以变为以下形式:
在真正求解时通常会使用所谓的over-relaxation方法,也即在\(z\)和\(u\)中使用下面的表达式代替其中的\( Ax^{k+1} \):
\(
\alpha^k A x^{k+1} - (1-\alpha^k)(B z^k - c)
\),
其中\(\alpha^k\)为relaxation因子。有实验表明\(\alpha^k \in [1.5, 1.8]\)可以改进收敛性([2])。
下面让我们看看ADMM怎么被用来求解大型的机器学习模型。所谓的大型,要不就是样本数太多,或者样本的维数太高。下面我们只考虑第一种情况,关于第二种情况感兴趣的读者可以参见最后的参考文献[1, 2]。样本数太多无法一次全部导入内存,常见的处理方式是使用分布式系统,把样本分块,使得每块样本能导入到一台机器的内存中。当然,我们要的是一个最终模型,它的训练过程利用了所有的样本数据。常见的机器学习模型如下:
\(
\text{minimize }_{x} \sum_{j=1}^{J} f_j(x) + g(x)
\),
其中\(x\)为模型参数,\(f_j(x)\)对应第\(j\)个样本的损失函数,而\(g(x)\)为惩罚系数,如\(g(x) = ||x||_1\)。
假设把\(J\)个样本分成\(N\)份,每份可以导入内存。此时我们把上面的问题重写为下面的形式:
除了把目标函数分成\(N\)块,还额外加了\(N\)个等式约束,使得利用每块样本计算出来的模型参数\(x_i\)都相等。那么,ADMM中的求解步骤(3.2)-(3.4)变为:
例如求解L1惩罚的LR模型,其迭代步骤如下(\( u=\frac{1}{\rho}y \),\(g(z)=\lambda ||z||_1\)):
其中\(\bar{x} \doteq \frac1N \sum_{i}^N x_i\),\(\bar{y}\)的定义类似。
在分布式情况下,为了计算方便通常会把\(u\)的更新步骤挪在最前面,这样\(u\)和\(x\)的更新可以放在一块:
ADMM的框架确实很牛逼,把一个大问题分成可分布式同时求解的多个小问题。理论上,ADMM的框架可以解决大部分实际中的大尺度问题。我自己全部实现了一遍这个框架,主要用于求解LR问题,下面说说我碰到的一些问题:
1. 收敛不够快,往往需要迭代几十步。整体速度主要依赖于\(x_i\)更新时所使用的优化方法,个人建议使用liblinear里算法,但是不能直接拿来就用,需要做一些调整。
2. 停止准则和\(\rho\)的选取:停止准则主要考量的是\(x_i\)和\(z\)之间的差异和它们本身的变动情况,但这些值又受\(\rho\)的取值的影响。它们之间如何权衡并无定法。个人建议使用模型在测试集上的效果来确定是否停止迭代。
3. 不适合MapReduce框架实现:需要保证对数据的分割自始至终都一致;用MPI实现的话相对于其他算法又未必有什么优势(如L-BFGS、OwLQN等)。
4. relaxation步骤要谨慎:\(\alpha\)的取值依赖于具体的问题,很多时候的确可以加快收敛速度,但对有些问题甚至可能带来不收敛的后果。用的时候不论是用x -> z -> u的更新步骤,还是用u -> x -> z的更新步骤,在u步使用的x_hat要和在z步使用的相同(使用旧的z),而不是使用z步刚更新的z重算。
5. warm start 和子问题求解逐渐精确的策略可以降低\(x_i\)更新时的耗时,但也使得算法更加复杂,需要设定的参数也增加了。
[References]
[1] S. Boyd. Alternating Direction Method of Multipliers (Slides).
[2] S. Boyd et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers, 2010.
用ADMM求解大型机器学习问题的更多相关文章
- {转}用ADMM求解大型机器学习问题
[本文链接:http://www.cnblogs.com/breezedeus/p/3496819.html] 从等式约束的最小化问题说起: ...
- 协同ADMM求解考虑碳排放约束直流潮流问题的对偶问题(A Distributed Dual Consensus ADMM Based on Partition for DC-DOPF with Carbon Emission Trading)
协同ADMM求解考虑碳排放约束直流潮流问题的对偶问题 (A Distributed Dual Consensus ADMM Based on Partition for DC-DOPF with Ca ...
- 100个大型机器学习数据集汇总(CV/NLP/音频方向)
网站首页: 网址:数据集
- ADMM与one-pass multi-view learning
现在终于开始看论文了,机器学习基础部分的更新可能以后会慢一点了,当然还是那句话宁愿慢点,也做自己原创的,自己思考的东西.现在开辟一个新的模块----多视图学习相关论文笔记,就是分享大牛的paper,然 ...
- 对偶上升法到增广拉格朗日乘子法到ADMM
对偶上升法 增广拉格朗日乘子法 ADMM 交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)是一种解决可分解凸优化问题的简单方法,尤其在 ...
- cuda并行编程之求解ConjugateGradient(共轭梯度迭代)丢失dll解决方式
在进行图像处理过程中,我们常常会用到梯度迭代求解大型线性方程组.今天在用cuda对神秘矩阵进行求解的时候.出现了缺少dll的情况: 报错例如以下图: watermark/2/text/aHR0cDov ...
- MapReduce: 一种简化的大规模集群数据处理法
(只有文字没有图,图请参考http://research.google.com/archive/mapreduce.html) MapReduce: 一种简化的大规模集群数据处理法 翻译:风里来雨里去 ...
- MATLAB学习笔记(七)——MATLAB解方程与函数极值
(一)线性方程组求解 包含n个未知数,由n个方程构成的线性方程组为: 其矩阵表示形式为: 其中 一.直接求解法 1.左除法 x=A\b; 如果A是奇异的,或者接近奇异的.MATLAB会发出警告信息的. ...
- [Reinforcement Learning] Value Function Approximation
为什么需要值函数近似? 之前我们提到过各种计算值函数的方法,比如对于 MDP 已知的问题可以使用 Bellman 期望方程求得值函数:对于 MDP 未知的情况,可以通过 MC 以及 TD 方法来获得值 ...
随机推荐
- 对dijkstra算法的自我理解,c#例子
dijkstra该算法主要应用在求解最短路径,从最近点开始,广度搜索. 假设有向图中有10个顶点,求其中某个顶点a到其它顶点的最短路径..满足贪心算法的2个标准.时间复杂度为O(N2) 此问题可以进行 ...
- HAProxy学习笔记
HAProxy:著名的负载均衡器,工作于用户空间的服务程序,其有两种工作模式: TCP mode:四层调度(模拟实现,依赖于socket进行通信) HTTP mode:七层调度 目前维护的稳定版本分支 ...
- iOS10 的适配问题,你遇到了吗?导航栏标题和返回按钮神奇的消失了
苹果系统升级后好多应用都发了新版本来适配,今天就来分享一下我的适配历程. 首先是出现的问题: 1.push一个控制器,返回按钮和标题神奇的消失了,打开三维视图(比较坑的是有的版本老到打不开三维视图 ) ...
- C#获得客户端IP
代码: /// <summary> /// 获得当前页面客户端的IP /// </summary> /// <returns>当前页面客户端的IP</retu ...
- 【转】Win7 64bit Oracle 11g 使用PL/SQL Developer 连接时提示“SQL*Net not properly installed”
转载:http://www.cnblogs.com/xihuaodc/p/3189257.html 因为之前的Oracle不能用了,所以重新安装了64位的Oracle,安装一路正常 完了之后安装了P ...
- PHP向mysql中插入数据的方法
require "database.php"; $po_code = "YMWF2015-6-25-1"; $customer = "youmei&q ...
- 几个开源XMPP Android客户端简单比较
想做个基于xmpp的即时通讯工具,服务端已经基本成型了.当然需要客户端需要配合,PC端基于spark进行改造,手机端先从Android入手(IOS估计一个人是搞不过来了). 原本Android开发 ...
- 服务器Linux系统安全维护基础知识介绍
事先规划好Linux操作系统的分区 Linux操作系统的分区规划跟微软操作系统的分区规划不同.后者分区规划对于其性能的影响很小.但是Linux操作系统的分区规划则不同,其对服务器的性能影响很大.其实我 ...
- easyui datagrid 加载两次请求,触发两次ajax 请求 问题
datagrid初始化的时候请求两次URL 两种情况 1. <table id="gridview" class="easyui-datagrid"> ...
- vpython初探
vpython 是python默认的3D模块,和python有一样的风格.与PyOpenGL相比,容易上手. vpython下载:vpython的官网(www.vpython.org).顺便说一句,官 ...