pytorch 为了节省显存,在反向传播的过程中只针对计算图中的叶子结点(leaf variable)保留了梯度值(gradient).但对于开发者来说,有时我们希望探测某些中间变量(intermediate variable) 的梯度来验证我们的实现是否有误,这个过程就需要用到 tensor的register_hook接口.一段简单的示例代码如下,代码主要来自pytorch开发者的回答,笔者稍作修改使其更符合最新版的pytorch 语法(v1.2.0). grads = {} def save

在用pdb debug的时候,有时候需要看一下特定layer的权重以及相应的梯度信息,如何查看呢? 1. 首先把你的模型打印出来,像这样 2. 然后观察到model下面有module的key,module下面有features的key, features下面有(0)的key,这样就可以直接打印出weight了,在pdb debug界面输入p model.module.features[0].weight,就可以看到weight,输入 p model.module.features[0].weig

记得在tensorflow的入门里,介绍梯度下降算法的有效性时使用的例子求一个二次曲线的最小值. 这里使用pytorch复现如下: 1.手动计算导数,按照梯度下降计算 import torch #使用梯度下降法求y=x^2+2x+1 最小值 从x=3开始 x=torch.Tensor([3]) for epoch in range(100): y=x**2+2*x+1 x-=(2*x+2)*0.05 #导数是 2*x+2 print('min y={1:.2}, x={0:.2}'.format

参考https://github.com/chenyuntc/pytorch-book/tree/v1.0 希望大家直接到上面的网址去查看代码,下面是本人的笔记 torch.autograd就是为了方便用户使用,专门开发的一套自动求导引擎,她能够根据输入和前向传播过程自动构建计算图,并执行反向传播 1.Variable 深度学习算法的本质是通过反向函数求导数,pytorch的Autograd模块实现了此功能.在Tensor上的所有操作,Autograd都能够为他们自动提供微分,避免手动计算的复杂

在学习的过程中遇见了一个问题,就是当使用backward()反向传播时传入参数的问题: net.zero_grad() #所有参数的梯度清零 output.backward(Variable(t.ones(1, 10))) #反向传播 这里的backward()中为什么需要传入参数Variable(t.ones(1, 10))呢?没有传入就会报错: RuntimeError: grad can be implicitly created only for scalar outputs 这个错误的

参考https://github.com/chenyuntc/pytorch-book/tree/v1.0 希望大家直接到上面的网址去查看代码,下面是本人的笔记 pytorch的设计遵循tensor-> variable(autograd)-> nn.Module三个由低到高的抽象层次,分别代表高维数组(张量).自动求导(变量)和神经网络(层/模块).这三个抽象之间联系紧密,可以同时进行修改和操作 在IPython和Jupyter notebook两个工具中使用了Jupyter noteboo

本章代码:https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/computational_graph.py 计算图 深度学习就是对张量进行一系列的操作,随着操作种类和数量的增多,会出现各种值得思考的问题.比如多个操作之间是否可以并行,如何协同底层的不同设备,如何避免冗余的操作,以实现最高效的计算效率,同时避免一些 bug.因此产生了计算图 (Computational Graph). 计算图是用来描述运算的有向无环

本章代码: https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/hook_fmap_vis.py https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/hook_methods.py https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/weight_fma

VisualPytorch beta发布了! 功能概述:通过可视化拖拽网络层方式搭建模型,可选择不同数据集.损失函数.优化器生成可运行pytorch代码 扩展功能:1. 模型搭建支持模块的嵌套:2. 模型市场中能共享及克隆模型:3. 模型推理助你直观的感受神经网络在语义分割.目标探测上的威力:4.添加图像增强.快速入门.参数弹窗等辅助性功能 修复缺陷:1.大幅改进UI界面,提升用户体验:2.修改注销不跳转.图片丢失等已知缺陷:3.实现双服务器访问,缓解访问压力 访问地址:http://sunie

VisualPytorch beta发布了! 功能概述:通过可视化拖拽网络层方式搭建模型,可选择不同数据集.损失函数.优化器生成可运行pytorch代码 扩展功能:1. 模型搭建支持模块的嵌套:2. 模型市场中能共享及克隆模型:3. 模型推理助你直观的感受神经网络在语义分割.目标探测上的威力:4.添加图像增强.快速入门.参数弹窗等辅助性功能 修复缺陷:1.大幅改进UI界面,提升用户体验:2.修改注销不跳转.图片丢失等已知缺陷:3.实现双服务器访问,缓解访问压力 访问地址:http://sunie

Google研究员Ilya Sutskever:成功训练LDNN的13点建议 摘要:本文由Ilya Sutskever(Google研究员.深度学习泰斗Geoffrey Hinton的学生.DNNresearch联合创始人)所写,讲述了有关深度学习的见解及实用建议,包括深度学习为什么强大,如何强大,以及训练深度神经网络的tricks. [编者按]本文由Ilya Sutskever(Google研究员.深度学习泰斗Geoffrey Hinton的学生.DNNresearch的联合创始人)受Yiso

原文:<A trip through the Graphics Pipeline 2011> 翻译:往昔之剑   转载请注明出处   欢迎回来.上个部分是关于vertex shader的,还带有一些GPU shader通用单元的概念.重要的是,它们仅仅是向量处理器,但是它们需要访问不在向量架构上的资源:纹理采样器.它们是GPU管线的一部分,并且十分复杂(还很有趣!)足以保障它们自己的协议约束,那么就开始讲解吧.   纹理状态(Texture state)   在我们开始实际的纹理操作之前,让我

翻译自:CFD-online 帖子地址:http://www.cfd-online.com/Forums/openfoam-solving/82581-i-need-explanations-about-fixedfluxpressure.html Cyp: 大家好! 我看了一下fixedFluxPressure边界条件并且我不确定我能很好的理解这个边界条件. 如果我想要根据进入的速度估算压力,我猜我需要使用这个边界条件. 更进一步,在源代码中,有一段可以读到: Code: gradient()

前言 这一节将讲述如何使用Caffe2的特征进行简单的线性回归学习.主要分为以下几步: - 生成随机数据作为模型的输入 - 用这些数据创建网络 - 自动训练模型 - 查看梯度递减的结果和学习过程中网络参数的变化 ipython notebook教程请看这里 译者注:如果图片看不清,可以保存到本地查看. 这是一个快速的例子,展示如何使用前面的基础教程进行快速的尝试用CNN进行回归.我们要解决的问题非常简单,输入是二维的x,输出是一维的y,权重w=[2.0,1.5],偏置b=0.5.所以生成grou

在开始之前,我们很感激你对Caffe2感兴趣,希望Caffe2在你的机器学习作品中是一个高性能的框架.Caffe2致力于模块化,促进深度学习想法和原型的实现. 选择你的学习路线   1. 使用一个现成的预训练模型(容易)   2. 编写自己的神经网络(中等)   3. 移动应用.做一个应用深度学习技术的移动端APP(高级)   选择1,点击链接,有几个使用预训练模型的例子,我们将会展示如何在几分钟内跑起demo   选择2,你需要一些深度学习的背景知识.后面会给出一些资料的链接.   选择3,你

PyTorch环境配置 本文档用于记录PyTorch环境配置过程中的要点. PyTorch环境配置 安装Miniconda 安装PyTorch 配置远程开发工具 基于CUDA的张量 导入警告问题 参考资料 安装Miniconda 下载Miniconda安装包:Miniconda3-latest-Linux-x86_64.sh 修改安装包的文件权限属性,使得Miniconda安装包能够执行:chmod u+x Miniconda3-latest-Linux-x86_64.sh 安装Minicond

前言:最近研究深度学习,安装了好多环境,记录一下,方便后续查阅. 1. Anaconda软件安装 1.1 Anaconda Anaconda是一个用于科学计算的Python发行版,支持Linux.Mac.Windows,包含了众多流行的科学计算.数据分析的Python包.请自行到官网下载安装,下载速度太慢的话可移步清华源. 官网:https://repo.anaconda.com/archive/ 清华源:https://mirrors.tuna.tsinghua.edu.cn/anaconda

torch.nn.utils.clip_grad_norm(parameters, max_norm, norm_type=2) 1.梯度裁剪原理(http://blog.csdn.net/qq_29340857/article/details/70574528) 既然在BP过程中会产生梯度消失/爆炸(就是偏导无限接近0,导致长时记忆无法更新),那么最简单粗暴的方法,设定阈值,当梯度小于/大于阈值时,更新的梯度为阈值,如下图所示: 优点:简单粗暴 缺点:很难找到满意的阈值 2.nn.utils.

重写函数 我们使用torch实现我们自己的ReQU模块.在实现一个新的layer之前,我们必须了解,我们并不是重写forward和backward方法,而是重写里面调用的其它方法. 1)又一次updataOutput方法.从而实现forward方法. 2)重写updataGradInput方法实现部分backward,计算loss函数相对于layer输入的导数,dloss/dx, 依据loss函数相对于layer输出的导数dloss: 3)重写accGradParameters方法实现backw

torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type=2) 1.(引用:[深度学习]RNN中梯度消失的解决方案(LSTM) ) 梯度裁剪原理:既然在BP过程中会产生梯度消失(就是偏导无限接近0,导致长时记忆无法更新),那么最简单粗暴的方法,设定阈值,当梯度小于阈值时,更新的梯度为阈值,如下图所示: P.S.在原博中,评论中有提到,常用的梯度裁剪的方法是限制上限,针对梯度爆炸不收敛的情况,和作者写的相反.我理解的大概是“梯度裁