pytorch基础教程1

0.迅速入门：根据上一个博客先安装好，然后终端python进入，import torch

************************************************************

1.pytorch数据结构

1）初始化方式：

eg1: 列表初始化：

data = [-1, -2, 1, 2] tensor = torch.FloatTensor(data) # 转换成32位浮点 tensor

data = [[1,2], [3,4]] tensor = torch.FloatTensor(data) # 转换成32位浮点 tensor

data = torch.FloatTensor([1,2,3])

eg2: numpy 到torch

import torch

import numpy as np

np_data = np.arange(6).reshape((2, 3))

torch_data = torch.from_numpy(np_data)

eg3: 直接用自带函数初始化

import torch

a=torch.rand(3,4)

b=torch.eye(3,4)

c=torch.ones(3,4)

d=torch.zeros(3,4)

x = torch.linspace(1, 10, 10)

eg4: 分配和其他相同size的内存，然后fill_

y = dist_an.data.new()
y.resize_as_(dist_an.data)
y.fill_(1)

eg5: 没有初始化，需要对其进行赋值操作

a = torch.Tensor(2,4)
c = torch.IntTensor(2,3);print(c) -- 也可以指定类型

2）数据结构类型转换

eg1: cpu,gpu之间数据转换

d=b.cuda()

e=d.cpu()

net = Net().cuda()

eg2:numpy, torch转换

c=b.numpy()

b = torch.from_numpy(a)

eg3: torch转可导的Variable

y = Variable(y)

eg4: ByteTensor, FloatTensor转换

dtype =  tensor.FloatTensor

# dtype =  tensor.cuda.FloatTensor

x=torch.rand(3,4).type(dtype)

eg5: torch的Variable转tensor

y = y.data

************************************************************

2.哪些基本运算

矩阵乘法：torch.mm(tensor, tensor)

均值：torch.mean(tensor)

三角函数：np.sin(data)

绝对值：torch.abs(tensor)

************************************************************

3.哪些包，哪些函数

1）官网中文api：

2) 官网英文：

************************************************************

4. 反向传播例子：

a=Variable(torch.FloatTensor(torch.randn(2,2)),requires_grad=True)

b=a+2

c=b*b*3

out=c.mean()

out.backward()

a.grad()

************************************************************

5. 网络定义、训练、保存、恢复、打印网络（莫烦）

见下一个博客吧。参考博客1，博客2，博客3，莫烦，自定义function,module（重要）, 自定义examples, （重要）拓新module,一个自定义的解释，自定义解释

1）无参数的：用function足矣

from torch.autograd import Function

 import torch
 from torch.autograd import Function

 class ReLUF(Function)：
     def forward(self, input):
         self.save_for_backward(input)

         output = input.clamp(min=0)
         return output

     def backward(self, output_grad):
         input = self.to_save[0]

         input_grad = output_grad.clone()
         input_grad[input < 0] = 0
         return input_grad

 ## Test
 if __name__ == "__main__":
       from torch.autograd import Variable

       torch.manual_seed(1111)
       a = torch.randn(2, 3)

       va = Variable(a, requires_grad=True)
       vb = ReLUF()(va)
       print va.data, vb.data

       vb.backward(torch.ones(va.size()))
       print vb.grad.data, va.grad.data

2）有参数，先用function,然后用module+参数打包

step 1:

 import torch
 from torch.autograd import Function

 class LinearF(Function):

      def forward(self, input, weight, bias=None):
          self.save_for_backward(input, weight, bias)

          output = torch.mm(input, weight.t())
          if bias is not None:
              output += bias.unsqueeze(0).expand_as(output)

          return output

      def backward(self, grad_output):
          input, weight, bias = self.saved_tensors

          grad_input = grad_weight = grad_bias = None
          if self.needs_input_grad[0]:
              grad_input = torch.mm(grad_output, weight)
          if self.needs_input_grad[1]:
              grad_weight = torch.mm(grad_output.t(), input)
          if bias is not None and self.needs_input_grad[2]:
              grad_bias = grad_output.sum(0).squeeze(0)

          if bias is not None:
              return grad_input, grad_weight, grad_bias
          else:
              return grad_input, grad_weight

step 2:

 import torch
 import torch.nn as nn

 class Linear(nn.Module):

     def __init__(self, in_features, out_features, bias=True):
          super(Linear, self).__init__()
          self.in_features = in_features
          self.out_features = out_features
          self.weight = nn.Parameter(torch.Tensor(out_features, in_features))
          if bias:
              self.bias = nn.Parameter(torch.Tensor(out_features))
          else:
             self.register_parameter('bias', None)

     def forward(self, input):
          return LinearF()(input, self.weight, self.bias)

************************************************************

6.哪些教程

1）官网：

2）github：

3）莫烦的视频：

4）官网中文api：

5) 官网英文：

************************************************************

广告：

np_data = np.arange(6).reshape((2, 3))

start_time = time.time()

end_time = time.time() print("Spend time:", end_time - start_time)