Linux-非Root用户-配置深度学习环境

1|01 简介

1. Anaconda:是一个开源的Python发行版本，其包含了conda、Python等软件包，numpy，pandas，scipy等科学计算包.
2. Conda:包管理器, venv+pip的作用，也就是虚拟环境+包管理。
3. Nvidia: 显卡制造商。
4. 显卡:承担输出显示图形的任务。
5. GPU:图形处理器,是显卡内部的处理器,
6. cuda:Nvidia推出的运算平台,用于并行计算的框架,使GPU能够解决负责的计算问题。
7. cudnn: 针对深度卷积神经网络的加速库
8. 显卡驱动: 可以调用GPU并行计算能力的驱动程序

2|02 前言

1. 图片中的实例路径为文件夹以sl示例，实际操作中更改为本人用户。
2. 数据和软件存放建议存放于 /data/用户 ,小文件可以存放于 /home/用户,通过df -h命令可以查看磁盘使用情况，data下共有3.6T可用。
   
3. 实际操作通过第四台服务器为例
4. 建议使用MobaXterm连接服务器:具体信息请参考

3|03 Anaconda 安装

1. Anaconda下载

• Anaconda-incividual version-下载地址
  

1. 上传安装包到服务器
   通过MobaXterm工具可以快速将刚才下载的安装包上传到服务器中
   

2. Anaconda安装: 新建一个soft文件夹用于存放下载的软件文件

• 可视化界面中右键可以创建新文件夹(也可以使用mkdir命令),我的软件安装文件都存在/home/sl/soft中,数据和软件都存在/data/sl/中
  
  
  

1. MobaXterm重新连接服务器,这时候命令输入前多了一个base,说明conda已经在环境变量中，可以使用conda命令。

　　　　或者也可以直接使用命令：source ~/.bashrc

　　　　

1. 查看已安装的包
   
2. 其中看到Python版本
   

4|04 配置虚拟环境

１．创建虚拟环境




2. 虚拟环境中安装第三方包

• 方法一:conda install package_name
• 方法二:pip安装,例如安装opencv
  

5|05 安装PyTorch

1. 官网选择对应命令
   
2. 在虚拟环境中安装
   
   
3. 注意: 使用conda命令安装PyTorch会自动安装对应cuda版本
   cuda版本与显卡驱动版本对应
   如果不需要使用ncvv命令，安装PyTorch或者tenserflow后也可以使用GPU加速。

6|06 配置cuda

6|1方法1 使用Root下Cuda

1. 查看cuda是否安装,-> 没有安装
   
2. 查找Root下cuda安装位置
   
3. 配置自己用户下的环境变量,使用MobaXterm工具可以双击打开文件编辑器
   
   
4. 复制以下内容到文件末端

# cuda
export CUDA_HOME=/usr/local/cuda-10.0
export LD_LIBRARY_PATH=/usr/local/cuda-10.0/lib64:$LD_LIBRARY_PATH
export PATH=/usr/local/cuda-10.0/bin:$PATH
# cuda

1. 关闭MobaTextEditor后会询问是否保存到服务器，选择保存。
2. 查看结果
   

至此，已经完成了基本环境的配置，已经可以正常使用GPU计算资源。

6|2方法2 非Root用户安装cuda

1. 回到base环境中
   
2. 查看Linux信息,并记住这些信息
   
   
3. CUDA下载地址
   
   

• 下载完成
  

1. 安装过程
   
   
   

• 取消其他安装项目，只安装CUDA Toolkit
  
• 进入options,修改Toolkit Options
  
  
  
  
• 修改Library install path
  
• 完成后安装
  
• 安装成功显示
  

1. 更改环境变量使用新安装的10.2版本,一下内容添加到.bashrc

# cuda
export CUDA_HOME=/data/sl/cuda-10.2
export LD_LIBRARY_PATH=/data/sl/cuda-10.2/lib/lib64:$LD_LIBRARY_PATH
export PATH=/data/sl/cuda-10.2/bin:$PATH
# cuda

1. 使用source ~/.bashrc命令刷新配置文件,或重新登录服务器
   

7|07 配置cudnn

1. cudnn的下载

• 注册一个Nvidia账户
  
• 下载对应版本
  
  
• 右键复制下载地址，然后在服务器中下载
  
• 下载完成
  

1. 解压下载包
   下载后文件名很长的后缀的话，先修改文件名为xx.tgz
   

2. cudnn安装

• 按照自己目录复制文件
  
• 修改对应权限
  

　　参考

• • Anaconda and conda
  • Runoob-Linux
  • Miniconda3 + Cuda + Cudnn + pytorch-gpu
  • Welcome to MobaXterm
  • 非root用户在服务器上安装CUDA和cudnn到指定目录