Linux和Windows系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含GPU、CPU版本详细安装过程
Linux和Windows系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含GPU、CPU版本详细安装过程
1.下载 Anaconda 的安装包
Anaconda安装:Anaconda是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。使用Anaconda可以通过创建多个独立的Python环境,避免用户的Python环境安装太多不同版本依赖导致冲突。
1.1 Linux下载Anaconda
首先需要在官网上选择需要安装的版本。
官网地址:https://repo.anaconda.com/archive/ 如选择当前最新版本进行安装:
https://repo.anaconda.com/archive/Anaconda3-2023.07-0-Linux-x86_64.sh
然后下载该安装包。
下载命令
wget https://repo.anaconda.com/archive/Anaconda3-2023.07-0-Linux-x86_64.sh
- 进入安装包所在目录,先对安装包进行赋权,再执行安装程序
#查看路径
pwd
赋权命令:
chmod +x Anaconda3-2023.07-0-Linux-x86_64.sh
安装命令:
sh Anaconda3-2023.07-0-Linux-x86_64.sh
- 出现如下画面:
- 点击 Enter(回车键),出现 More,继续按 Enter,最后输入 yes 同意用户许可证就行。
- 直至出现以下画面,就安装成功了!
1.2 Windows下载Anaconda
参考文章:https://blog.csdn.net/sinat_39620217/article/details/115861876
- 第一步 下载
在 Anaconda官网 选择下载Windows Python3.8 64-Bit版本。
确保已经安装Visual C++ Build Tools(可以在开始菜单中找到),如未安装,请点击 下载安装。
- 第二步 安装
运行下载的安装包(以.exe为后辍),根据引导完成安装, 用户可自行修改安装目录(如下图)
- 第三步 使用
点击Windows系统左下角的Windows图标,打开:所有程序->Anaconda3/2(64-bit)->Anaconda Prompt在命令行中执行指令即可
后续框架库包安装同linux
2.环境变量配置
2.1 linux环境变量配置
Linux上成功安装anaconda后-bash: conda: command not found
如题,出现这个问题可能是环境变量配置有问题。
省流请看这里:执行cat ~/.bashrc
命令查看.bashrc
文件内容,若文件中没有export PATH="XXX/anaconda3/bin:$PATH"
说明是环境变量未配置,可以继续往下看了;若文件中有此路径,请退出本文,自行校对一下路径。
- 打开
.bashrc
文件
vim ~/.bashrc
- 在最后一行新增 anaconda 路径
export PATH="XXX/anaconda3/bin:$PATH"
- 保存文件(按
esc
后输入:wq
回车)并使环境变量生效[打开文件后按i进入编辑模式,按Esc退出编辑模式,shift+冒号然后输入wq 保存文件并退出]
注意:这里是anaconda的安装路径,根据自己的安装路径即可
source ~/.bashrc
执行以上三步后,便可在linux上使用conda命令了!
2.2 Windows 环境变量配置
其实,以上的环境变量配置,相当于在window环境下的环境变量加上环境变量。如在window环境下安装anaconda,安装过程中会提示是否将环境变量加入到path中,如果选上该选项,便可省去很多麻烦,安装完后直接在终端使用conda命令;
如果没有选上,是无法直接使用conda命令的,需要在系统的环境变量中加上安装路径才可以使用conda命令。自动添加的安装路径的步骤:此电脑–>属性–>高级系统设置–>环境变量–>系统变量–>Path添加anaconda的安装路径。
3.用 conda 创建虚拟环境
#1.创建指定python版本的环境
conda create --name paddlenlp python=3.8
#2. 激活环境
conda activate paddlenlp
#3.退出环境
conda deactivate
4.安装项目依赖包&深度学习框架
4.1安装项目依赖包
安装项目requirement.txt文件依赖:
pip install -r requirement.txt
生成requirement.txt文件:
pip freeze > requirements.txt
4.2 安装Paddle&Paddlenlp
4.2.1 安装paddle
windows安装使用win下指令即可
- conda安装
conda install paddlepaddle-gpu==2.4.2 cudatoolkit=11.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge
- pip安装
pip install paddlepaddle-gpu==2.4.2.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
- 验证安装
安装完成后您可以使用 python3 进入 python 解释器,输入import paddle ,再输入 paddle.utils.run_check()
import paddle
paddle.utils.run_check()
如果出现PaddlePaddle is installed successfully!,说明您已成功安装。
- 报错:ImportError: libcudart.so.11.0: cannot open shared object file: No such file or directory
解决办法:
- 简约版(省流)
在激活后执行export LD_LIBRARY_PATH="$CONDA_PREFIX/lib"将包括libcudart.so.11.0如果你想让它自动化,将此内容添加到env-prefix/etc/conda/activate.d/env_vars.sh,这将在conda activate上运行脚本并设置LD_LIBRARY_PATH
cd $CONDA_PREFIX
mkdir -p ./etc/conda/activate.d
touch ./etc/conda/activate.d/env_vars.sh
#写入 并保存
vim ./etc/conda/activate.d/env_vars.sh
export LD_LIBRARY_PATH="$CONDA_PREFIX/lib"
详细版
- activate你的虚拟环境,查看虚拟环境路径
echo $CONDA_PREFIX
- 去这个路径下建立这些文件夹和文件。在activate的时候,会自动运行activate.d/env_vars.sh,deactivate的时候,会自动运行deactivate.d/env_vars.sh。你可以设置任何你想设置的变量,这里我们更改LD_LIBRARY_PATH
cd $CONDA_PREFIX
mkdir -p ./etc/conda/activate.d
mkdir -p ./etc/conda/deactivate.d
touch ./etc/conda/activate.d/env_vars.sh
touch ./etc/conda/deactivate.d/env_vars.sh- 编辑activate.d/env_vars.sh,注意换成你的名字,注意=前后不能有空格哦
export OLD_LD_LIBRARY_PATH=${LD_LIBRARY_PATH}
export LD_LIBRARY_PATH=anaconda3/envs/your_name/lib64编辑deactivate.d/env_vars.sh,这样deactivate的时候,会恢复设置
export LD_LIBRARY_PATH=${OLD_LD_LIBRARY_PATH}
unset OLD_LD_LIBRARY_PATH- deactivate虚拟环境,再次activate你的虚拟环境,再查看
echo $CONDA_PREFIX
可以看到已经变成了anaconda3/envs/your_name/lib64。如果这个路径下的gcc已经含有了GLIBCXX_3.4.20,那么就不再会报错了。
4.2.2 安装paddlenlp
环境依赖
- python >= 3.7
- paddlepaddle >= 2.3
pip安装
#创建名为my_paddlenlp的环境,指定Python版本为3.8
conda create -n my_paddlenlp python=3.8
#进入my_paddlenlp环境
conda activate my_paddlenlp
#安装PaddleNLP
pip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.org/simple
pip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.tuna.tsinghua.edu.cn/simple
github代码会跟随开发进度不断更新:或者可通过以下命令安装最新 develop 分支代码:
pip install --pre --upgrade paddlenlp -f https://www.paddlepaddle.org.cn/whl/paddlenlp.html
按如上方式配置后,即可在环境中使用PaddleNLP了,命令行输入python回车后,import paddlenlp试试吧,之后再次使用都可以通过打开'所有程序->Anaconda3/2(64-bit)->Anaconda Prompt',再执行conda activate my_paddlenlp进入环境后,即可再次使用PaddleNLP。
- 相关pip问题默认镜像问题(trusted-host问题),安装设定清华源即可
进入虚拟环境,查看pip安装路径
whereis pip
pip: /usr/bin/pip3.8 /etc/pip.conf /root/anaconda3/envs/paddlenlp/bin/pip
#查看pip.conf,修改成清华源,:wq 保存即可
vim /etc/pip.conf
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple/
[install]
trusted-host=pypi.tuna.tsinghua.edu.cn
- 代码安装
git clone https://github.com/PaddlePaddle/PaddleNLP.git
cd PaddleNLP
git checkout develop
如果遇到:github 报错 Failed to connect to github.com port 443:connection timed out、一般原因:电脑里开启了代理,例如开启了FQ软件等,就会造成这个原因
取消全局代理:
git config --global --unset http.proxy
git config --global --unset https.proxy
4.3 安装pytorch
4.3.1 GPU版本安装
安装 pytorch 需要注意 torch 与 torchvision 的版本对应,参照以下网址对照:
https://github.com/pytorch/vision
windows安装使用win下指令即可
从官网上找到适合自己版本的安装pytorch的指令 https://pytorch.org/get-started/locally/
创建虚拟环境,参考3.用 conda 创建虚拟环境
安装pytorch
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
4.3.2 CPU版本安装
参考:https://blog.csdn.net/sinat_39620217/article/details/115483807
pip install torch torchvision torchaudio
更多优质内容请关注公号&知乎:汀丶人工智能;会提供一些相关的资源和优质文章,免费获取阅读。
Linux和Windows系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含GPU、CPU版本详细安装过程的更多相关文章
- linux 和windows系统下同时可用的UML建模工具(umbrello),超强
原文地址:linux 和windows系统下同时可用的UML建模工具(umbrello),超强 作者:zhangjiakouzf OPEN SOURCE 的 UML建模工具 -- umbrello ...
- ArXiv最受欢迎开源深度学习框架榜单:TensorFlow第一,PyTorch第四
[导读]Kears作者François Chollet刚刚在Twitter贴出最近三个月在arXiv提到的深度学习框架,TensorFlow不出意外排名第一,Keras排名第二.随后是Caffe.Py ...
- os.system('cmd')在linux和windows系统下返回值的差异
今天,用os.system('cmd')分别在windows和linux平台上执行同一ping命令,命令执行失败时返回码不同,windows为1,而linux下返回为256,如下: linux下: & ...
- Windows系统下搭建Appium自动化测试框架
简介 一种开源的测试框架(http://appium.io/) 能够用来测试原生Android/iOS应用.混合应用以及webapp 通过webdriver协议来操作应用,其核心是一个web服务器,接 ...
- 基于Windows,Python,Theano的深度学习框架Keras的配置
1.安装Anaconda 面向科学计算的Python IDE--Anaconda 2.打开Anaconda Prompt 3.安装gcc环境 (1)conda update conda (2)cond ...
- ubuntu 17.04 下搭建深度学习环境
.目前使用CPU即可,先不需要显卡配置 .使用pip3 安装深度学习框架 .要先安装pip3 #sudo apt install python3-pip https://blog.csdn.net/b ...
- windows 系统下git 的安装
在linux系统下,可以直接在命令窗口安装和使用git.但是,在windows系统下,想要达到同样的效果,可以安装git,使用git bash到达效果.具体安装步骤如下: 第一步:官网上下载git 网 ...
- Linux系统挂载Windows系统下的共享文件
声明:本文是小编借鉴大神们的经验,仅供学习使用. 第一步:在Windows系统上选择要共享的文件夹,右击“属性”-“共享”-“高级共享”-勾选“共享此文件”-设置共享名-“权限”-“添加”-“高级”- ...
- Tomcat Windows 系统下安装及注意事项
1 获取Tomcat 安装包 http://tomcat.apache.org/ tar.gz 文件是Linux系统下的安装版本 exe文件是 Windows系统下的安装版本 zip 文件是Wind ...
- 在Linux和Windows系统上安装Nginx服务器的教程
在Linux和Windows系统上安装Nginx服务器的教程 1.在CentOS系统上安装Nginx 在 CentOS6 版本的 EPEL 源中,已经加入了 nginx 的 rpm 包,不过此 RP ...
随机推荐
- Java 网络编程 —— ServerSocket 详解
构造 ServerSocket ServerSocket 的构造方法有以下几种重载形式 ServerSocket() throws IOException ServerSocket(int port) ...
- Go--时间日期相关
1 获取当天零点的时间戳 //当天0点的时间戳 //获取当前时间 t := time.Now() nowTime := time.Date(t.Year(), t.Month(), t.Day(), ...
- OOALV 分割屏幕
1功能说明 需要开发一个报表,分为上下两个部分,下边需要再分割为左右两个部分,点击上边部分的行,下边两个报表信息发生变化. 效果如下: 2代码实现 1.数据查询 分别查询MARA.MARC.MAKT三 ...
- 0x42 数据结构进阶-树状数组
A题 楼兰图腾 链接:https://ac.nowcoder.com/acm/contest/1032/A 树状数组 + 逆序对 #include<bits/stdc++.h> using ...
- Codeforces Round #728 (Div. 2) A~C 补题记录
比赛链接:Here 1541A. Pretty Permutations 给定 \(1,2,3,4,...n\) 序列,让每一个数字都不处于原来的位置,但总的移动距离要最小 \(n\) 为偶数的情况 ...
- AcWing第四场周赛
比赛链接:Here AcWing 3694. A还是B 签到题 void solve() { int n; string s; cin >> n >> s; int t = c ...
- Codeforces Round #712 (Div. 2) 个人题解
这一场打的又很差(掉分预定),D题想不出来. A. Déjà Vu 这题首先判断字符串是否全由 a 组成,如果是的话输出 NO int main() { ios_base::sync_with_std ...
- df -h与df -i的区别
一. df命令详解: linux中df命令的功能是用来检查linux服务器的文件系统的磁盘空间占用情况.可以利用该命令来获取硬盘被占用了多少空间,目前还剩下多少空间等信息 -a 全部文件系统列表 -h ...
- 如何使用Markdown编写笔记
Markdown是什么? Markdown 是一种轻量级标记语言,创始人为约翰·格鲁伯(John Gruber). 它允许人们使用易读易写的纯文本格式编写文档,然后转换成有效的 XHTML(或者HTM ...
- Linux进阶命令-grep
Linux进阶命令----grep 目录 Linux进阶命令----grep grep 命令介绍 grep命令格式 常用选项 模式部分 匹配字符: 匹配次数: 位置锚定: grep 命令介绍 Linu ...