pytorch（01）环境配置及安装

pytorch

pytorch定位：深度学习框架

人工智能：多领域交叉科学技术
机器学习：计算机智能决策算法
深度学习：高效的机器学习算法

pytorch实现模型训练需要5个模块

数据
- 将数据从硬盘读进内存
- 组织数据进行训练，图片预处理以及数据增强
  - 裁剪、缩放、翻转
模型
- 构建模型模块，组织复杂网络
- 初始化网络参数，定义网络层
损失函数
- 创建损失函数，设置损失函数超参数
- 选择损失函数（18个），回归、分类
优化器
- 管理模型参数去更新模型参数
- 在进行迁移学习的过程中，希望一部分网络模型的参数大一些，有一部分小一些，因此，根据曲线变化情况来调整学习率，需要管理多个参数组实现不同学习率
- 调整学习率
迭代训练
- 观察训练效果，是否收敛，是否停止，绘制Loss/Accuray曲线
- 使用TensorBoard分析
模型应用
- 图像分类，图像分割，目标检测
- 对抗生成，循环网络

学习路线

Step1. Pytorch基础：环境安装、Tensor、Autograd（自动求导）、计算图（动态图、静态图）

Step2. Pytorch核心：

数据模块：Dataloader,Dataset,Transform
模型模块：Module

LossFunction,Optimizer损失函数和优化器来优化模型

TensorBoard可视化
深度学习模型：应用，图像分类、分割、目标检测

第一周

python工具包：内置包：os,sys,glob,re,math

第三方包:pytorch,tnsorflow,numpy

存放地址

本地磁盘:ProgramData/Anaconda3/envs/pytorch_cpu/Lib

其中，pytorch_cpu是虚拟环境名，Lib是工具包所在文件夹

python环境包括解释器和工具包，不同的项目需要不同的python环境

比如：

虚拟环境1. 解释器为python.exe(python2.7),工具包为pytoch=0.4.0,numpy=1.17.0

虚拟环境2. 解释器为python.exe(python2.7),工具包为pytoch=1.1.0,numpy=1.17.0

如何进行管理，此时就需要Anaconda进行管理。

Anaconda安装

安装步骤：

官网下载安装包 https://www.anaconda.com/products/individual

时间为2020/12/11的地址
运行下载的Python 3.8

64-Bit Graphical Installer (457 MB)
选择路径，勾选Add Anaconda to the system PATH environment variable,等待安装完成
验证安装完成，打开cmd，输入conda，回车（如果出现很长的信息就表示安装成功）
添加中科大镜像

Pycharm安装

安装步骤：

官网下载安装包：https://www.jetbrains.com/pycharm/download/#section=windows
运行下载的exe文件
选择路径，勾选Add launchers dir to the PATH,等待安装完成

PyTorch安装

安装步骤：

检查是否有合适GPU，若有，需安装CUDA与CuDNN
CUDA与CuDNN安装（非必须）
下载whl文件，登录

CUDA安装

安装步骤：

去CUDA官网官网选择合适的版本下载安装即可。下面只赘述验证CUDA是否安装成功：

将cuda的路径复制，打开cmd。笔者这里是

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin

打开命令行cmd

进入到当前目录下

cd C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin

执行nvcc -V指令

即可验证是否正确安装，如果正确安装就会显示版本。

CUDNN安装

安装步骤：

去CUDNN官网下载即可。将下载压缩包解压，前三个文件夹复制粘贴至CUDA的目录下（cuda\bin的上一目录）

验证是否安装成功：

进入到cuda中extras的demo_suite目录，同样在cmd命令行中进入

cd C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\demo_suite

紧接着执行两个程序bandwidthTest.exe,deviceQuery.exe

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\demo_suite>bandwidthTest.exe

如果显示的Result = PASS，则显示CUDNN安装成功

接下来再查看设备

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\demo_suite>deviceQuery.exe

会显示GPU型号同时Result=PASS即表示cuda和cudnn安装成功。

Pytorch的安装

首先进入官网，获得安装的command代码，command中包含了网址，建议通过网址进行下载，这样速度比较快。例如笔者进行下载的是pip install torch===1.7.1+cu110 torchvision===0.8.2+cu110 torchaudio===0.7.2 -f https://download.pytorch.org/whl/torch_stable.html是通过pip进行安装，那笔者访问https://download.pytorch.org/whl/torch_stable.html进行下载。下载时候ctrl+f进行搜索对应的版本。接下来打开pycharm，创建一个项目。

在底部的terminal栏中用conda创建一个虚拟环境，conda create -n pytorch_gpu python=3.7

紧接着采用conda activate pytorch_gpu激活虚拟环境，进入刚刚下载的目录。

再使用 pip install "torch-1.7.1+cu110-cp38-cp38-win_amd64.whl"

此时显示Successfully installed numpy-1.19.4 torch-1.7.1+cu110 typing-extensions-3.7.4.3

此时设置setting，将project Interpreter添加pytorch_gpu的环境。

此时输入

import torch

print("hello pytorch {}".format(torch.__version__))

会显示

hello pytorch 1.7.1+cu110

Process finished with exit code 0

至此全部安装成功。

也许会出现ImportError: numpy.core.multiarray failed to import，是因为numpy的版本不对，如果你的对应Python是3.8的，但是他默认安装1.9太高了，需要把Numpy卸载重新安装。