在学习的过程中遇见了一个问题,就是当使用backward()反向传播时传入参数的问题:

net.zero_grad() #所有参数的梯度清零
output.backward(Variable(t.ones(1, 10))) #反向传播

这里的backward()中为什么需要传入参数Variable(t.ones(1, 10))呢?没有传入就会报错:

RuntimeError: grad can be implicitly created only for scalar outputs

这个错误的意思就是梯度只能为标量(即一个数)输出隐式地创建

比如有一个例子是:

1)

#使用Tensor新建一个Variable
x = Variable(t.ones(2, 2),requires_grad = True)
x

返回:

tensor([[1., 1.],
[1., 1.]], requires_grad=True)

此时查看该值的grad和grad_fn是没有返回值的,因为没有进行任何操作

x.grad_fn
x.grad

进行求和操作,查看梯度

y = x.sum()
y

返回:

tensor(4., grad_fn=<SumBackward0>)

这时候可查看:

y.grad_fn

返回:

<SumBackward0 at 0x122782978>

可知y是变量Variable x进行sum操作求来的,但是这个时候y.grad是没有返回值的,因为没有使用y进行别的操作

这个时候的x.grad也是没有值的,虽然使用x进行了sum操作,但是还没有对y反向传播来计算梯度

y.backward()#反向传播,计算梯度

然后再查看:

#因为y = x.sum() = (x[0][0] + x[0][1] + x[1][0] + x[1][1])
#每个值的梯度都为1
x.grad

返回:

tensor([[1., 1.],
[1., 1.]])

在这里我们可以看见y能够求出x的梯度,这里的y是一个数,即标量

如果这里我们更改一下y的操作,将y设置为一个二维数组:

from __future__ import print_function
import torch as t
from torch.autograd import Variable
x = Variable(t.ones(, ),requires_grad = True)
y = x +
y.backward()

然后就会报上面的错误:

RuntimeError: grad can be implicitly created only for scalar outputs

总结:

因此当输出不是标量时,调用.backwardI()就会出错

解决办法:

显示声明输出的类型作为参数传入,且参数的大小必须要和输出值的大小相同

x.grad.data.zero_() #将之前的值清零
x.grad

返回:

tensor([[., .],
[., .]])

进行反向传播:

y.backward(y.data)
x.grad

也可以写成,因为Variable和Tensor有近乎一致的接口

y.backward(y)
x.grad

返回:

tensor([[., .],
[., .]])

但是这里返回值与预想的1不同,这个原因是得到的梯度会与参数的值相乘,所以最好传入值为1,如:

y.backward(Variable(t.ones(, )))
x.grad

这样就能够成功返回想要的值了:

tensor([[., .],
[., .]])

更加复杂的操作:

在上面的例子中,x和y都是(2,2)的数组形式,每个yi都只与对应的xi相关

1)如果每个yi都与多个xi相关时,梯度又是怎么计算的呢?

比如x = (x1 = 2, x2 = 4), y = (x12+2x2, 2x1+3x22)

(i,j)的值就是传入.backward()的参数的值

x = Variable(t.FloatTensor([[, ]]),requires_grad = True)
y = Variable(t.zeros(, ))
y[,] = x[,]** + * x[,]
y[,] = * x[,] + * x[,]**
y.backward(Variable(t.ones(, ))) #(i,j)= (,)
x.grad

返回:

tensor([[ ., .]])

2)如果x和y不是相同的数组形式,且每个yi都与多个xi相关时,梯度又是怎么计算的呢?

比如x = (x1 = 2, x2 = 4, x3=5), y = (x12+2x2+4x3, 2x1+3x22+x32)

x = Variable(t.FloatTensor([[, , ]]),requires_grad = True)
y = Variable(t.zeros(, ))
y[,] = x[,]** + * x[,] + * x[,]
y[,] = * x[,] + * x[,]** + x[,]**
y.backward(Variable(t.ones(, )))
x.grad

返回:

tensor([[ ., ., .]])

如果(i, j) = (2,2),结果是否为(12, 52, 28)呢?

x = Variable(t.FloatTensor([[, , ]]),requires_grad = True)
y = Variable(t.zeros(, ))
y[,] = x[,]** + * x[,] + * x[,]
y[,] = * x[,] + * x[,]** + x[,]**
y.backward(Variable(t.FloatTensor([[, ]])))
x.grad

返回:

tensor([[., ., .]])

3)如果你想要分别得到y1,y2对x1,x2,x3的求导值,方法是:

x = Variable(t.FloatTensor([[, , ]]),requires_grad = True)
y = Variable(t.zeros(, ))
y[,] = x[,]** + * x[,] + * x[,]
y[,] = * x[,] + * x[,]** + x[,]**
j = t.zeros(,)#用于存放求导的值
#(i,j)=(,)这样就会对应只求得y1对x1,x2和x3的求导
#retain_variables=True的作用是不在反向传播后释放内存,这样才能够再次反向传播
y.backward(Variable(t.FloatTensor([[, ]])),retain_variables=True)
j[:,] = x.grad.data
x.grad.data.zero_() #将之前的值清零
#(i,j)=(,)这样就会对应只求得y2对x1,x2和x3的求导
y.backward(Variable(t.FloatTensor([[, ]])))
j[:,] = x.grad.data
print(j)

报错:

TypeError: backward() got an unexpected keyword argument 'retain_variables'

原因是新版本使用的参数名为retain_graph,改了即可:

x = Variable(t.FloatTensor([[, , ]]),requires_grad = True)
y = Variable(t.zeros(, ))
y[,] = x[,]** + * x[,] + * x[,]
y[,] = * x[,] + * x[,]** + x[,]**
j = t.zeros(,)#用于存放求导的值
#(i,j)=(,)这样就会对应只求得y1对x1,x2和x3的求导
#retain_graph=True的作用是不在反向传播后释放内存,这样才能够再次反向传播
y.backward(Variable(t.FloatTensor([[, ]])),retain_graph=True)
j[:,] = x.grad.data
x.grad.data.zero_() #将之前的值清零
#(i,j)=(,)这样就会对应只求得y2对x1,x2和x3的求导
y.backward(Variable(t.FloatTensor([[, ]])))
j[:,] = x.grad.data
print(j)

返回:

tensor([[ .,  .],
[ ., .],
[ ., .]])

pytorch的backward的更多相关文章

  1. Pytorch 之 backward

    首先看这个自动求导的参数: grad_variables:形状与variable一致,对于y.backward(),grad_variables相当于链式法则dz/dx=dz/dy × dy/dx 中 ...

  2. ARTS-S pytorch中backward函数的gradient参数作用

    导数偏导数的数学定义 参考资料1和2中对导数偏导数的定义都非常明确.导数和偏导数都是函数对自变量而言.从数学定义上讲,求导或者求偏导只有函数对自变量,其余任何情况都是错的.但是很多机器学习的资料和开源 ...

  3. Pytorch autograd,backward详解

    平常都是无脑使用backward,每次看到别人的代码里使用诸如autograd.grad这种方法的时候就有点抵触,今天花了点时间了解了一下原理,写下笔记以供以后参考.以下笔记基于Pytorch1.0 ...

  4. pytorch autograd backward函数中 retain_graph参数的作用,简单例子分析,以及create_graph参数的作用

    retain_graph参数的作用 官方定义: retain_graph (bool, optional) – If False, the graph used to compute the grad ...

  5. Pytorch中torch.autograd ---backward函数的使用方法详细解析,具体例子分析

    backward函数 官方定义: torch.autograd.backward(tensors, grad_tensors=None, retain_graph=None, create_graph ...

  6. 关于Pytorch中autograd和backward的一些笔记

    参考自<Pytorch autograd,backward详解>: 1 Tensor Pytorch中所有的计算其实都可以回归到Tensor上,所以有必要重新认识一下Tensor. 如果我 ...

  7. 深度学习框架PyTorch一书的学习-第三章-Tensor和autograd-2-autograd

    参考https://github.com/chenyuntc/pytorch-book/tree/v1.0 希望大家直接到上面的网址去查看代码,下面是本人的笔记 torch.autograd就是为了方 ...

  8. 深度学习框架PyTorch一书的学习-第一/二章

    参考https://github.com/chenyuntc/pytorch-book/tree/v1.0 希望大家直接到上面的网址去查看代码,下面是本人的笔记 pytorch的设计遵循tensor- ...

  9. TensorFlow2.0初体验

    TF2.0默认为动态图,即eager模式.意味着TF能像Pytorch一样不用在session中才能输出中间参数值了,那么动态图和静态图毕竟是有区别的,tf2.0也会有写法上的变化.不过值得吐槽的是, ...

随机推荐

  1. SQL Server: Datetime,Datetime2

    select CONVERT(nvarchar(50), '2018-10-10 10:13:32.000', 126) select convert(nvarchar(MAX), '2018-10- ...

  2. 【读书笔记】iOS-更新项目前要注意的事情

    在进行永久更改项目的任何现代化操作之前,要问自己几个问题. 1,我还需要返回项目的旧代码吗? 2,我的同事中有没有人无法升级到最新版本的Xcode? 3,  如果我使用了最新的功能,会不会减少用户? ...

  3. PlugNT CMS v4.6.3 调用文章上一页和下一页及点击数加1

    using System; using System.Data; using System.Web; using System.Web.UI; using System.Web.UI.WebContr ...

  4. iOS------Xcode 的clang 扫描器可以检测出所有的内存泄露吗

    在苹果没有出ARC(自动内存管理机制)时,我们几乎有一半的开发时间都耗费在这么管理内存上.后来苹果很人性的出了ARC,虽然在很大程度上,帮助我们开发者节省了精力和时间.但是我们在开发过程中,由于种种原 ...

  5. Testlink1.9.17使用方法( 第三章 初始配置[配置用户、产品] )

    第三章 初始配置(配置用户.产品) 一. 设置用户 QQ交流群:585499566 在TestLink系统中,每个用户都可以维护自己的私有信息.admin可以创建用户,但不能看到其它用户的密码.在用户 ...

  6. 基于pygame实现飞机大战【面向过程】

    一.简介 pygame 顶级pygame包 pygame.init - 初始化所有导入的pygame模块 pygame.quit - uninitialize所有pygame模块 pygame.err ...

  7. MySQL 查看用户授予的权限

      在MySQL中,如何查看一个用户被授予了那些权限呢? 授予用户的权限可能分全局层级权限.数据库层级权限.表层级别权限.列层级别权限.子程序层级权限.具体分类如下: 全局层级 全局权限适用于一个给定 ...

  8. 洗礼灵魂,修炼python(91)-- 知识拾遗篇 —— pymysql模块之python操作mysql增删改查

    首先你得学会基本的mysql操作语句:mysql学习 其次,python要想操作mysql,靠python的内置模块是不行的,而如果通过os模块调用cmd命令虽然原理上是可以的,但是还是不太方便,那么 ...

  9. 洗礼灵魂,修炼python(77)--全栈项目实战篇(5)—— ATM自动存取机系统

    要求: 1.完成常识中的ATM存取款机功能 2.把ATM机故障考虑进去 3.不能直接输入账户名和卡号等等信息,模拟出插银行卡让ATM机自动读取卡信息 4.密码验证超过三次错误即锁定账户 5.操作类型有 ...

  10. hive笔记:转义字符的使用

    hive中的转义符 Hadoop和Hive都是用UTF-8编码的,所以, 所有中文必须是UTF-8编码, 才能正常使用 备注:中文数据load到表里面, 如果字符集不同,很有可能全是乱码需要做转码的, ...