[pytorch学习]2. 官网60分钟教程摘要

https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html

1. Pytorch的基本单元，tensor，本质上和numpy的操作类似；不同的主要在与可以自动计算微分和梯度（Autograd）；

2. 每个tensor的requires_grad设置为True时，就能够自动计算梯度；操作时，只能修改枝叶变量的requires_grad；

3. Pytorch中建立神经网络的基本步骤：

　　1） 在Net(nn.Module)类的__init__中定义网络的基本结构（几层conv，几层fc全连接层），输入数据格式；

　　2） 在forward中定义每层结构的池化和激发函数

　　3） 定义Loss Function（criterion = nn.CrossEntropyLoss）和优化方法(optim.SGD)

　　3） 如果要使用GPU进行计算，需要将net，以及输入数据通过.to(device)的方式送给GPU

　　　　device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

4. Pytorch的神经网络训练步骤：

　　在每个epoch中

　　1） 循环获得一个batch的训练数据

　　2） optimizer.zero_grad()将梯度缓存置零

　　3） 使用forward，获得网络结果 output = net(input)

　　4)   计算结果与目标的差别 loss = criterion(output, label)

　　5)  反向传播梯度 loss.backward()

　　6)  优化并更新 optimizer.step()