最近读一个代码发现用了一个梯度更新方法, 刚开始还以为是什么奇奇怪怪的梯度下降法, 最后分析一下是用一阶梯度及其二次幂做的梯度更新。网上搜了一下, 果然就是称为Adam的梯度更新算法, 全称是:自适应矩估计(adaptive moment estimation)

国际惯例, 参考博文:

一文看懂各种神经网络优化算法:从梯度下降到Adam方法

Adam:一种随机优化方法

An overview of gradient descent optimization algorithms

梯度下降优化算法综述

Hinton的神经网络课程第六课

理论
由于参考博客介绍的很清晰, 我就直接撸公式了:

假设tt时刻, 目标函数对于参数的一阶导数是gtgt,那么我们可以先计算
mtvt=β1mt−1+(1−β1)gt=β2vt−1+(1−β2)g2t
mt=β1mt−1+(1−β1)gtvt=β2vt−1+(1−β2)gt2

接下来计算
mt^=mt1−βt1vt^=vt1−βt2
mt^=mt1−β1tvt^=vt1−β2t

最后我们的梯度更新方法就是
θt+1=θt−η⋅mt^vt^−−√+ϵ
θt+1=θt−η⋅mt^vt^+ϵ

注意几个量, ηη是学习步长, 剩下的三个参数取值的建议是β1=0.9,β2=0.999,ϵ=10−8β1=0.9,β2=0.999,ϵ=10−8, 分母中的ϵϵ是为了防止除零. 其实这个步长的话,一般来说是建议选η=0.001η=0.001之类的, 注意βt1,βt2β1t,β2t中的tt是参与指数运算的
其实再看一下公式,其实就是当前时刻的梯度更新利用了上一时刻的平方梯度vtvt的指数衰减均值vt^vt^和上一时刻的梯度mtmt的指数衰减均值mt^mt^
代码实现
以下非一个神经网络的完整实现, 主要在于看看定义网络参数以后怎么去使用Adam去更新每一时刻的梯度, 在theano中的实现方法如下:

先看看神经网络的参数

self.layers = [
self.W0, self.W1, self.W2,
self.b0, self.b1, self.b2]

self.params = sum([layer.params for layer in self.layers], [])
1
2
3
4
5
然后初始化一开始时候的mt,vtmt,vt,分别对应代码中的m0params,m1paramsm0params,m1params
self.params = network.params
self.m0params = [theano.shared(np.zeros(p.shape.eval(), dtype=theano.config.floatX), borrow=True) for p in self.params]
self.m1params = [theano.shared(np.zeros(p.shape.eval(), dtype=theano.config.floatX), borrow=True) for p in self.params]
self.t = theano.shared(np.array([1], dtype=theano.config.floatX))
1
2
3
4
定义目标函数=损失函数+正则项:

cost = self.cost(network, input, output) + network.cost(input)
1
计算当前梯度

gparams = T.grad(cost, self.params)
1
计算m0params,m1paramsm0params,m1params
m0params = [self.beta1 * m0p + (1-self.beta1) * gp for m0p, gp in zip(self.m0params, gparams)]
m1params = [self.beta2 * m1p + (1-self.beta2) * (gp*gp) for m1p, gp in zip(self.m1params, gparams)]
1
2
使用Adam梯度更新

params = [p - self.alpha *
((m0p/(1-(self.beta1**self.t[0]))) /
(T.sqrt(m1p/(1-(self.beta2**self.t[0]))) + self.eps))
for p, m0p, m1p in zip(self.params, m0params, m1params)]
1
2
3
4
然后更新下一时刻网络中的梯度值,m0paramsm0params,m1paramsm1params,tt
updates = ([( p, pn) for p, pn in zip(self.params, params)] +
[(m0, m0n) for m0, m0n in zip(self.m0params, m0params)] +
[(m1, m1n) for m1, m1n in zip(self.m1params, m1params)] +
[(self.t, self.t+1)])
---------------------
作者:风翼冰舟
来源:CSDN
原文:https://blog.csdn.net/zb1165048017/article/details/78392623
版权声明:本文为博主原创文章,转载请附上博文链接!

梯度优化算法Adam的更多相关文章

  1. 梯度优化算法总结以及solver及train.prototxt中相关参数解释

    参考链接:http://sebastianruder.com/optimizing-gradient-descent/ 如果熟悉英文的话,强烈推荐阅读原文,毕竟翻译过程中因为个人理解有限,可能会有谬误 ...

  2. 深度学习必备:随机梯度下降(SGD)优化算法及可视化

    补充在前:实际上在我使用LSTM为流量基线建模时候,发现有效的激活函数是elu.relu.linear.prelu.leaky_relu.softplus,对应的梯度算法是adam.mom.rmspr ...

  3. zz:一个框架看懂优化算法之异同 SGD/AdaGrad/Adam

    首先定义:待优化参数:  ,目标函数: ,初始学习率 . 而后,开始进行迭代优化.在每个epoch  : 计算目标函数关于当前参数的梯度:  根据历史梯度计算一阶动量和二阶动量:, 计算当前时刻的下降 ...

  4. Adam那么棒,为什么还对SGD念念不忘 (3)—— 优化算法的选择与使用策略

    在前面两篇文章中,我们用一个框架梳理了各大优化算法,并且指出了以Adam为代表的自适应学习率优化算法可能存在的问题.那么,在实践中我们应该如何选择呢? 本文介绍Adam+SGD的组合策略,以及一些比较 ...

  5. DeepLearning.ai学习笔记(二)改善深层神经网络:超参数调试、正则化以及优化--Week2优化算法

    1. Mini-batch梯度下降法 介绍 假设我们的数据量非常多,达到了500万以上,那么此时如果按照传统的梯度下降算法,那么训练模型所花费的时间将非常巨大,所以我们对数据做如下处理: 如图所示,我 ...

  6. Coursera Deep Learning笔记 改善深层神经网络:优化算法

    笔记:Andrew Ng's Deeping Learning视频 摘抄:https://xienaoban.github.io/posts/58457.html 本章介绍了优化算法,让神经网络运行的 ...

  7. 数值优化(Numerical Optimization)学习系列-无梯度优化(Derivative-Free Optimization)

    数值优化(Numerical Optimization)学习系列-无梯度优化(Derivative-Free Optimization) 2015年12月27日 18:51:19 下一步 阅读数 43 ...

  8. 改善深层神经网络_优化算法_mini-batch梯度下降、指数加权平均、动量梯度下降、RMSprop、Adam优化、学习率衰减

    1.mini-batch梯度下降 在前面学习向量化时,知道了可以将训练样本横向堆叠,形成一个输入矩阵和对应的输出矩阵: 当数据量不是太大时,这样做当然会充分利用向量化的优点,一次训练中就可以将所有训练 ...

  9. 跟我学算法-吴恩达老师(mini-batchsize,指数加权平均,Momentum 梯度下降法,RMS prop, Adam 优化算法, Learning rate decay)

    1.mini-batch size 表示每次都只筛选一部分作为训练的样本,进行训练,遍历一次样本的次数为(样本数/单次样本数目) 当mini-batch size 的数量通常介于1,m 之间    当 ...

随机推荐

  1. POJ 2031 Building a Space Station (prim裸题)

    Description You are a member of the space station engineering team, and are assigned a task in the c ...

  2. linux源码安装

    以安装xxx.tar.gz为例: 源码存放位置:/usr/local/src/ 安装路径:/usr/local/xxx/ 配置文件存放位置:/usr/local/xxx/etc/ 可执行文件存放位置: ...

  3. 论C#的多继承

    意外中看到这篇博客,很有意思! 本文转自:http://www.cnblogs.com/leotsai/p/csharp-multi-inheritance.html C#多继承的讨论似乎是个古老的问 ...

  4. 在notepad++中tab和空格的区别

    在notepad++中实现tab和空格不通用的问题 方式一: 方式二:

  5. 为什么无法定义1px左右高度的容器

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xht ...

  6. Jmeter压测报错:Non HTTP response code: java.net.ConnectExceptionexception的解决办法

    前一段时间进行jmeter压测时,一直报错,查看了下日志才发现报了一堆Non HTTP response code: java.net.ConnectExceptionexception,直接jmet ...

  7. java jsp j2ee

    1. JavaScript用于编写嵌入在网页文档中的程序,它由浏览器负责解释和执行,可以在网页上产生动态的显示效果和实现与用户交互的功能,譬如,让一串文字跟着鼠标移动,让一个图标在网页漂浮移动,验证用 ...

  8. Docker数据管理-数据卷 data volumes和数据卷容器data volumes containers的使用详解

    此文来源于:https://yq.aliyun.com/ziliao/43471 参考原文件之外,做了些修改. Volume数据卷是Docker的一个重要概念.数据卷是可供一个或多个容器使用的特殊目录 ...

  9. day13 memcache,redis上篇

    memcache memcache简介 Memcached是一个自由开源的,高性能,分布式内存对象缓存系统. Memcached是以LiveJournal旗下Danga Interactive公司的B ...

  10. JavaScript 开发的40个经典技巧

    首次为变量赋值时务必使用var关键字 变量没有声明而直接赋值得话,默认会作为一个新的全局变量,要尽量避免使用全局变量. 使用===取代== ==和!=操作符会在需要的情况下自动转换数据类型.但===和 ...