本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记，重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD。该方法通过分布式地部署多个模型副本和一个“參数server”，同一时候实现了模型并行和数据并行。且对机器失效问题具有非常好的容错性。结合 Adagrad 自适应学习率使用，对非凸优化问题有非常好的效果。




















作者: peghoty


出处: http://blog.csdn.net/itplus/article/details/31831661


欢迎转载/分享, 但请务必声明文章出处.


												


											
DistBelief 框架下的并行随机梯度下降法 - Downpour SGD的更多相关文章
	

    
								
  1. 一种利用 Cumulative Penalty 训练 L1 正则 Log-linear 模型的随机梯度下降法
		
    Log-Linear 模型(也叫做最大熵模型)是 NLP 领域中使用最为广泛的模型之一,其训练常采用最大似然准则,且为防止过拟合,往往在目标函数中加入(可以产生稀疏性的) L1 正则.但对于这种带 L ...
    
		
    2. 
						
  2. Gradient Descent 和 Stochastic Gradient Descent（随机梯度下降法）
		
    Gradient Descent(Batch Gradient)也就是梯度下降法是一种常用的的寻找局域最小值的方法.其主要思想就是计算当前位置的梯度,取梯度反方向并结合合适步长使其向最小值移动.通过柯 ...
    
		
    3. 
						
  3. 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD
		
    排版也是醉了见原文:http://www.cnblogs.com/maybe2030/p/5089753.html 在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练.其实,常用的梯度 ...
    
		
    4. 
						
  4. 随机梯度下降法（Stochastic gradient descent, SGD）
		
    BGD(Batch gradient descent)批量梯度下降法:每次迭代使用所有的样本(样本量小)    Mold 一直在更新 SGD(Stochastic gradientdescent)随机 ...
    
		
    5. 
						
  5. Stochastic Gradient Descent 随机梯度下降法-R实现
		
    随机梯度下降法  [转载时请注明来源]:http://www.cnblogs.com/runner-ljt/ Ljt 作为一个初学者,水平有限,欢迎交流指正. 批量梯度下降法在权值更新前对所有样本汇总 ...
    
		
    6. 
						
  6. 谷歌机器学习速成课程---降低损失 (Reducing Loss)：随机梯度下降法
		
    在梯度下降法中,批量指的是用于在单次迭代中计算梯度的样本总数.到目前为止,我们一直假定批量是指整个数据集.就 Google 的规模而言,数据集通常包含数十亿甚至数千亿个样本.此外,Google 数据集 ...
    
		
    7. 
						
  7. 线性回归（最小二乘法、批量梯度下降法、随机梯度下降法、局部加权线性回归） C++
		
    We turn next to the task of finding a weight vector w which minimizes the chosen function E(w). Beca ...
    
		
    8. 
						
  8. 机器学习---用python实现最小二乘线性回归算法并用随机梯度下降法求解 （Machine Learning Least Squares Linear Regression Application SGD）
		
    在<机器学习---线性回归(Machine Learning Linear Regression)>一文中,我们主要介绍了最小二乘线性回归算法以及简单地介绍了梯度下降法.现在,让我们来实践 ...
    
		
    9. 
						
  9. optim.SDG 或者其他、实现随机梯度下降法
		
    optim.SDG 或者其他.实现随机梯度下降法 待办 实现随机梯度下降算法的参数优化方式 另外还有class torch.optim.ASGD(params, lr=0.01, lambd=0.00 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. Swift学习笔记（2）：错误处理
			
    目录: Error do-catch 断言 Error 在 Swift 中,错误用符合 Error 协议的类型的值来表示.这个空协议表明该类型可以用于错误处理异常. Swift 的枚举类型尤为适合构建 ...
    
			
    2. 
						
  2. 服务器http处理流程
			
    网络请求.处理的组织: context Facade模式/指令处理引擎/简单处理机: 响应码: 只要有响应码就代表服务器已经接收到请求:无响应代表网络层出现问题,与服务器无关. 处理步骤: 1)模块( ...
    
			
    3. 
						
  3. 图像处理是用的数据类型uint8,double
			
    将原图像的灰度值转换成double的作用主要是考虑计算过程中的精度的问题,double 的数据是有小数点的,而uint8是0-255的整数,如果直接用uint8计算,会在计算过程中产生舍入误差,这种误 ...
    
			
    4. 
						
  4. [国家集训队]整数的lqp拆分 数学推导 打表找规律
			
    题解: 考场上靠打表找规律切的题,不过严谨的数学推导才是本题精妙所在:求:$\sum\prod_{i=1}^{m}F_{a{i}}$ 设 $f(i)$ 为 $N=i$ 时的答案,$F_{i}$ 为斐波 ...
    
			
    5. 
						
  5. linux驱动编译时候出现的问题
			
    1.在编译驱动的时候,提示错误,找不到<asm/xxxx.h>这些类的头文件? 答:因为在内核编译的时候,会在内核目录的include中创建一个asm文件再软链接到对应的一些架构.比如我当 ...
    
			
    6. 
						
  6. 【Appium】每次启动是提示安装setting和unlock app的解决办法
			
    进入appium安装目录,C:\Program Files (x86)\Appium\node_modules\appium\lib\devices\android,编辑android.js文件,注释 ...
    
			
    7. 
						
  7. Unity 设置窗体透明
			
    设置窗口透明.窗口置顶.鼠标穿透    方法一. 缺点:边缘不平滑,有毛边 参考博客: 1.https://alastaira.wordpress.com/2015/06/15/creating-wi ...
    
			
    8. 
						
  8. 【Henu ACM Round#18 F】Arthur and Walls
			
    [链接] 我是链接,点我呀:) [题意] 在这里输入题意 [题解] 考虑,为什么一个连通块里面的空格没有变成一个矩形? 如果不是形成矩形的话. 肯定是因为某个2x2的单张方形里面. 只有一个角是墙.其 ...
    
			
    9. 
						
  9. POJ——T 2449 Remmarguts' Date
			
    http://poj.org/problem?id=2449 Time Limit: 4000MS   Memory Limit: 65536K Total Submissions: 30754    ...
    
			
    10. 
						
  10. hdoj--1342--Lotto(dfs)
			
    Lotto Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others) Total Subm ...
    
			
    11.