pytorch(02)tensor的概念以及创建
二、张量的简介与创建
2.1张量的概念
张量的概念:Tensor
张量是一个多维数组,它是标量、向量、矩阵的高维拓展Tensor与Variable
Variable是torch.autograd(torch.autograd.Variable)中的数据类型,主要用于封装Tensor
进行自动求导
data:被包装的Tensor
grad:data的梯度
grad_fn:创建Tensor的Function,是自动求导的关键
requires_grad:指示是否需要梯度
is_leaf:指示是否是叶子节点(张量)Tensor:PyTorch 0.4.0版开始,Variable并入Tensor
dtype:张量的数据类型,如torch.FloatTensor,torch.cuda.FloatTensortorch.float32 or torch.float 代表32-bit floating point较为重要,在卷积层的权值和图像预处理后,都默认为32-bit floating point
torch.int64 or torch.int代表64-bit integer(signed)也是较为重要的,图像的标签通常用长整型,在计算交叉熵的损失函数时会用到shape:张量的形状,如(64,3,224,224)
device:张量所在设备,GPU/CPU,是加速的关键
torch.Tensor
data,dtype,shape,device这四个与数据相关
requires_grad,grad,grad_fu,is_leaf这四个与梯度求导相关
2.2张量的创建
2.2.1直接创建
torch.tensor()
功能:从data创建tensor
- data:数据,可以是list,numpy的ndarray
- dtype:数据类型,默认与data的一致,比如输入的data是ndarray,它的数据类型是numpy的64位整型,那tensor也是64位整型
- device:所在设备,cuda/cpu
- requires_grad:是否需要梯度
- pin_memory:是否存于锁页内存,这与转换效率有关,基本行设置为false
例子:
torch.tensor(
data,
dtype=None,
requires_grad=False,
pin_memorty=False)
完整代码如下
# ===============lesson 1 ==============
arr = np.ones((3, 3))
print("ndarray 的数据类型是{}".format(arr.dtype))
# t = torch.tensor(arr)
t = torch.tensor(arr, device="cuda")//用gpu会比较慢,因为需要将数据从CPU转到GPU需要耗时
print(t)
显示如下:
ndarray 的数据类型是 float64
tensor([[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.]], device='cuda:0', dtype=torch.float64)//cuda是用GPU,0是GPU的编号
*torch.from_numpy(ndarray)
功能:从numpy创建tensor
注意事项:从torch.form_numpy创建的tensor于原ndarray共享内存,当修改其中一个的数据,另外一个也将会被改动。这里笔者犯了一个错误,就是一开始在修改arr的时候,直接将arr= np.array,这样的话相当于新赋了一个地址给arr,所以t才不会变。因此他们是共享内存的
flag = True
# flag = False
if flag:
arr = np.array([[1,7,3],[4,5,6]])
t = torch.from_numpy(arr)
print(arr)
print(t)
# 修改arr
print("修改arr")
arr[0,0] = 2
print(arr)
print(t)
# 修改t
print("修改tensor")
t[0,0]=9
print(arr)
print(t)
显示为
[[1 7 3]
[4 5 6]]
tensor([[1, 7, 3],
[4, 5, 6]], dtype=torch.int32)
修改arr
[[2 7 3]
[4 5 6]]
tensor([[2, 7, 3],
[4, 5, 6]], dtype=torch.int32)
修改tensor
[[9 7 3]
[4 5 6]]
tensor([[9, 7, 3],
[4, 5, 6]], dtype=torch.int32)
Process finished with exit code 0
2.2.2依据数值创建
01torch.zeros()
功能:依size创建全0张量
- size:张量的形状,如(3,3)、(3,244,244)
- out:输出的张量
- layout:内存中布局形式,有strided,sparse_coo等,通常我们直接使用默认的strided即可,是稀疏张量的时候用sparse_coo
- device:所在设备,gpu/cpu
- requires_grad:是否需要梯度
例子:
torch.zeros.(*size,
out=None,
dtype=None,
layout=torch.strided,
device=None,
requires_grad=False )
tips:python中用id()来显示数据在内存中的地址
flag = True
# flag = False
if flag:
out_t = torch.tensor([1])
t= torch.zeros([3,3],out=out_t)
print(t)
print(out_t)
print(id(out_t),id(t),id(t)==id(out_t))
输出内容如下:
tensor([[0, 0, 0],
[0, 0, 0],
[0, 0, 0]])
tensor([[0, 0, 0],
[0, 0, 0],
[0, 0, 0]])
1672141164992 1672141164992 True
即表示out属性是给一个变量名而已,地址都是一样的
02torch.zeros_like()
功能:依input形状创建全0张量
- input:创建与input同形状的全0张量
- dtype:数据类型
- layout:内存中布局形式
torch.zeros_like(input,
dtype=None,
layout=None,
device=None,
requires_grad=False)
03torch.ones()
04torch.ones_like()
功能:依input形状创建全1张量
- size:张量的形状,如(3,3),(3,224,224)
- dtype:数据类型
- layout:内存中布局形式
- device:所在设备,gpu/cpu
- requires_grad:是否需要梯度
例子
torch.ones(*size,
out=None,
dtype=None,
layout=torch.strided,
device=None,
requires_grad=False)
torch.ones_like(input,
dtype=None,
layout=None,
device=None,
requires_grad=False)
05torch.full()
06torch.full_like()
功能:依input形状创建指定数据的张量
- size:张量的形状,如(3,3)
- fill_value:张量的值
例子
torch.full(size,
fill_value,
out=None,
dtype=None,
layout=torch.strided,
device=None,
requires_grad=False)
flag = True
# flag = False
if flag:
t= torch.full([3,3],11)
print(t)
显示内容如下
tensor([[11, 11, 11],
[11, 11, 11],
[11, 11, 11]])
07torch.arange()
功能:创建等差的1维张量
注意事项:数值区间维[start,end)这里注意是半闭半开的,也就是end是取不到的
- start:数列的起始值
- end:数列的结束值
- step:数列公差,默认为1
torch.arange(start=0,
end,
step=1,
out=None,
dtype=None,
layout=torch.strided,
device=None,
requires_grad=False)
flag = True
# flag = False
if flag:
t= torch.arange(1,11,2)//11是取不到的,半闭半开
print(t)
tensor([1, 3, 5, 7, 9])//是一维的张量
08torch.linspace()
功能:创建均分的1维张量
注意事项:数值区间为[start,end]//此时是闭合区间
- start:数列起始值
- end:数列结束值
- steps:数列长度
torch.linspace(start,
end,
steps=100,
out=None,
dtype=None,
layout=torch.strided,
device=None,
requires_grad=False)
flag = True
# flag = False
if flag:
t= torch.linspace(1,11,4,dtype=torch.int)
print(t)
tensor([ 1, 4, 7, 11], dtype=torch.int32)
09torch.logspace()
功能:创建对数均分的1维张量
注意事项:长度为steps,底为base
- start:数列起始值
- end:数列结束值
- steps:数列长度
- base:对数函数的底,默认为10
torch.logspace(start,
end,
steps=100,
base=10.0,
out=None,
dtype=None,
layout=torch.strided,
device=None,
requires_grad=False)
10torch.eye()
功能:创建单位对角矩阵(2维张量)
注意事项:默认为方阵
- n:矩阵行数
- m:矩阵列数
torch.eye(n,
m=None,
out=None,
dtype=None,
layout=torch.strided,
device=None,
requires_grad=False)
flag = True
# flag = False
if flag:
t= torch.eye(4)
print(t)
tensor([[1., 0., 0., 0.],
[0., 1., 0., 0.],
[0., 0., 1., 0.],
[0., 0., 0., 1.]])
2.2.3依据概率创建
01torch.normal()
功能:生成正态分布(高斯分布)
- mean:均值
- std:标准差
torch.normal(mean,
std,
out=None)
四种模式
mean为标量,std为标量
mean为标量,std为张量
mean为张量,std为标量
mean为张量,std为张量
torch.normal(mean,
std,
out=None)
torch.normal(mean,
std,
size,
out=None)
02*torch.randn() *
03*torch.randn_like() *
功能:生成标准正态分布
- size : 张量的形状
torch.randn(*size,
out=None,
dtype=None,
layout=torch.strided,
device=None,
requires_grad=False)
flag = True
# flag = False
if flag:
t1 = torch.arange(1,5,dtype=torch.float)
t2 = torch.arange(1,5,dtype=torch.float)
tt=torch.normal(t1,t2)
print("mean = {}\nstd = {}".format(t1,t2))
print(tt)
tt是怎么样生成的呢?是通过mean=1,std=1生成的0.5543的高斯分布的值(正态分布),以此类推
mean = tensor([1., 2., 3., 4.])
std = tensor([1., 2., 3., 4.])
tensor([0.5543, 3.1875, 3.4800, 4.7976])
flag = True
# flag = False
if flag:
# mean:张量,std:张量
# t1 = torch.arange(1,5,dtype=torch.float)
# t2 = torch.arange(1,5,dtype=torch.float)
# tt = torch.normal(t1, t2)
# print("mean = {}\nstd = {}".format(t1, t2))
# print(tt)
'''
mean = tensor([1., 2., 3., 4.])
std = tensor([1., 2., 3., 4.])
tensor([ 2.8870, -0.8132, 4.5278, -3.5147])
'''
# mean:标量,std:标量
# t1 = 1
# t2 = 1
# tt = torch.normal(t1, t2, (4,))# 此时需要加上维数
# print("mean = {}\nstd = {}".format(t1, t2))
# print(tt)
'''
mean = 1
std = 1
tensor([1.5022, 1.5284, 1.2761, 0.5369])
'''
# mean:张量,std:标量
# t1 = torch.arange(1,5,dtype=torch.float)
# t2 = 1
# tt=torch.normal(t1,t2)
# print("mean = {}\nstd = {}".format(t1,t2))
# print(tt)
'''
mean = tensor([1., 2., 3., 4.])
std = 1
tensor([1.0856, 1.3022, 0.3630, 3.4465])
'''
# mean:标量,std:张量
# t1 = 1
# t2 = torch.arange(1,5,dtype=torch.float)
# tt=torch.normal(t1,t2)
# print("mean = {}\nstd = {}".format(t1,t2))
# print(tt)
'''
mean = 1
std = tensor([1., 2., 3., 4.])
tensor([1.8799, 2.3412, 5.7135, 8.4491])
'''
04torch.rand()
05torch.rand_like()
功能:在区间[0, 1)上,生成均匀分布
06torch.randint ()
07torch.randint_like()
功能:区间[low, high)生成整数均匀分布
- size : 张量的形状
torch.rand(*size,
out=None,
dtype=None,
layout=torch.strided,
device=None,
requires_grad=False)
torch.randint(low=0,
high,
size,
out=None,
dtype=None,
layout=torch.strided,
device=None,
requires_grad=False)
08torch.randperm()
功能:生成生成从0到n-1的随机排列
- n : 张量的长度
经常用来设置乱序的索引
09torch.bernoulli()
功能:以input为概率,生成伯努力分布
(0-1分布,两点分布)
- input : 概率值
torch.randperm(n,
out=None,
dtype=torch.int64,
layout=torch.strided,
device=None,
requires_grad=False)
torch.bernoulli(input,
*,
generator=None,
out=None)
pytorch(02)tensor的概念以及创建的更多相关文章
- 对pytorch中Tensor的剖析
不是python层面Tensor的剖析,是C层面的剖析. 看pytorch下lib库中的TH好一阵子了,TH也是torch7下面的一个重要的库. 可以在torch的github上看到相关文档.看了半天 ...
- 神经网络架构PYTORCH-几个概念
使用Pytorch之前,有几个概念需要弄清楚. 什么是Tensors(张量)? 这个概念刚出来的时候,物理科班出身的我都感觉有点愣住了,好久没有接触过物理学的概念了. 这个概念,在物理学中怎么解释呢? ...
- 055 01 Android 零基础入门 01 Java基础语法 06 Java一维数组 02 数组的概念
055 01 Android 零基础入门 01 Java基础语法 06 Java一维数组 02 数组的概念 本文知识点:数组的概念 数组的声明创建.初始化 在学习数组的声明创建.初始化前,我们可以和之 ...
- pytorch之Tensor
#tensor和numpy import torch import numpy as np numpy_tensor = np.random.randn(3,4) print(numpy_tensor ...
- pytorch中tensor数据和numpy数据转换中注意的一个问题
转载自:(pytorch中tensor数据和numpy数据转换中注意的一个问题)[https://blog.csdn.net/nihate/article/details/82791277] 在pyt ...
- python并发编程02 /多进程、进程的创建、进程PID、join方法、进程对象属性、守护进程
python并发编程02 /多进程.进程的创建.进程PID.join方法.进程对象属性.守护进程 目录 python并发编程02 /多进程.进程的创建.进程PID.join方法.进程对象属性.守护进程 ...
- Linux 系统编程 学习:01-进程的有关概念 与 创建、回收
Linux 系统编程 学习:01-进程的有关概念 与 创建.回收 背景 上一讲介绍了有关系统编程的概念.这一讲,我们针对 进程 开展学习. 概念 进程的身份证(PID) 每一个进程都有一个唯一的身份证 ...
- pytorch中tensor张量的创建
import torch import numpy as np print(torch.tensor([1,2,3])) print(torch.tensor(np.arange(15).reshap ...
- [PyTorch 学习笔记] 3.1 模型创建步骤与 nn.Module
本章代码:https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson3/module_containers.py 这篇文章来看下 ...
随机推荐
- python的threading的使用(join方法,多线程,锁threading.Lock和threading.Condition
一.开启多线程方法一 import threading,time def write1(): for i in range(1,5): print('1') time.sleep(1) def wri ...
- C# ArrayList和List的区别
ArrayList存的是object对象,可以装任何类型,但涉及装箱拆箱,效率低,类型转换可能报错 List只能存一种类型,不涉及装箱拆箱,效率高 总结:一般情况用List吧
- 5.PowerShell DSC核心概念之资源
什么是资源? 资源为 DSC 配置提供构建基块. 资源公开可配置的属性,并包含本地配置管理器 (LCM) 调用以"使其如此"的 PowerShell 脚本函数. 系统内置资源 可在 ...
- 国产网络损伤仪SandStorm -- 为什么数据流还是走Bypass链路?
如果你在使用网络损伤仪SandStorm测试移动互联网的应用程序或者在仿真所谓"弱网测试"的时候,发现所有的数据流还是在走Bypass链路,并没有预期地走自己创建的仿真链路,那么你 ...
- 通过修改etcd来设置或修改节点flannel子网信息
在首次启动flannel服务的时候可以手动指定subnet.env文件,配置所在节点的flannel子网网段,如果不指定配置文件,flannel将自动分配一个子网网段并生成配置文件 /var/run/ ...
- kubernetes实战-交付dubbo服务到k8s集群(四)使用blue ocean流水线构建dubbo-demo-service
使用jenkins创建一个新的项目:dubbo-demo,选择流水线构建 勾选保存构建历史和指定项目为参数化构建项目: 添加构建参数:以下配置项,是王导根据多年生产经验总结出来的甩锅大法: 除了bas ...
- Postman查看上传文件过程时出现400 - Required MultipartFile parameter 'files' is not present错误
我在利用postman查看上传图片文件时,出现了如下图的错误,看到之后很懵逼. 图1 上网搜了一下,归结下来就是参数不一致导致的.不过还有一些是由于没加注解,如下图示: 图2 关于参数不一致问题,主要 ...
- Ubuntu第一次使用注意点
第一次装完Ubuntu登录,打开命令行,登录的不是root权限,切换root不成功: 这个问题产生的原因是由于Ubuntu系统默认是没有激活root用户的,需要我们手工进行操作,在命令行界面下,或者在 ...
- HLOD System
1.1 HLOD System简介 首先,HLOD System主要的目标是为了减少Draw Call.然后,进行更多的Batch批处理,从而大大提高渲染性能,减少面数和纹理,这样我们相应地节省了内存 ...
- Object Destructuring Assignment vs Object.assign
Object Destructuring Assignment vs Object.assign // const params = Object.assign({}, this.$route.par ...