解决auditwheel repair过程rpath被修改的问题
问题背景
AuditWheel是一个用于修复Python的whl包的工具,例如在这个CyFES开源库中,因为使用到了Cython和CUDA编译动态链接库的技术,方便Python调用。但是在编译CUDA算子时如果使用到了运行时库,那么在第一步构建whl包的时候不会自动包含运行时库,而第二步使用auditwheel进行whl包修复的时候,会自动把运行时库相关的动态链接库拷贝到whl包中。首先看一下修复前的whl包的目录树:
$ unzip -l dist/CyFES-2.7-cp37-cp37m-linux_x86_64.whl
Archive: dist/CyFES-2.7-cp37-cp37m-linux_x86_64.whl
Length Date Time Name
--------- ---------- ----- ----
2071 2024-09-02 07:54 CyFES-2.7.data/data/cyfes/FES.cuh
1731 2024-08-27 02:47 CyFES-2.7.data/data/cyfes/FES_f32.cuh
692112 2024-09-02 09:38 CyFES-2.7.data/data/cyfes/libcufes.1.so
55472 2024-09-02 09:38 CyFES-2.7.data/data/cyfes/libcufes.so
1628 2024-09-02 07:54 cyfes/__init__.py
6117 2024-09-02 07:54 cyfes/__main__.py
3632 2024-08-16 06:52 cyfes/utils.py
1457723 2024-09-02 09:38 cyfes/wrapper.c
1545248 2024-09-02 09:38 cyfes/wrapper.cpython-37m-x86_64-linux-gnu.so
1245635 2024-09-02 09:38 cyfes/wrapper_f32.c
1213984 2024-09-02 09:38 cyfes/wrapper_f32.cpython-37m-x86_64-linux-gnu.so
2071 2024-09-02 07:54 cyfes/kernels/FES.cuh
1731 2024-08-27 02:47 cyfes/kernels/FES_f32.cuh
0 2024-08-29 07:45 cyfes/kernels/__init__.py
1063 2024-09-02 09:38 CyFES-2.7.dist-info/LICENSE
5588 2024-09-02 09:38 CyFES-2.7.dist-info/METADATA
104 2024-09-02 09:38 CyFES-2.7.dist-info/WHEEL
6 2024-09-02 09:38 CyFES-2.7.dist-info/top_level.txt
1569 2024-09-02 09:38 CyFES-2.7.dist-info/RECORD
--------- -------
6237485 19 files
这里只有动态编译构建过程中生成的libcufes.so
和wrapper
动态链接库文件。再看看使用auditwheel repair
修复之后的whl包目录树结构:
$ unzip -l fix-dist/CyFES-2.7-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
Archive: fix-dist/CyFES-2.7-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
Length Date Time Name
--------- ---------- ----- ----
0 2024-09-02 09:39 cyfes/
0 2024-09-02 09:39 CyFES-2.7.data/
0 2024-09-02 09:39 CyFES-2.7.dist-info/
0 2024-09-02 09:39 CyFES.libs/
0 2024-09-02 09:39 cyfes/kernels/
1457723 2024-09-02 09:39 cyfes/wrapper.c
1213984 2024-09-02 09:39 cyfes/wrapper_f32.cpython-37m-x86_64-linux-gnu.so
6117 2024-09-02 09:39 cyfes/__main__.py
1564760 2024-09-02 09:39 cyfes/wrapper.cpython-37m-x86_64-linux-gnu.so
1628 2024-09-02 09:39 cyfes/__init__.py
3632 2024-09-02 09:39 cyfes/utils.py
1245635 2024-09-02 09:39 cyfes/wrapper_f32.c
0 2024-09-02 09:39 cyfes/kernels/__init__.py
2071 2024-09-02 09:39 cyfes/kernels/FES.cuh
1731 2024-09-02 09:39 cyfes/kernels/FES_f32.cuh
0 2024-09-02 09:39 CyFES-2.7.data/data/
0 2024-09-02 09:39 CyFES-2.7.data/data/cyfes/
63696 2024-09-02 09:39 CyFES-2.7.data/data/cyfes/libcufes.so
692112 2024-09-02 09:39 CyFES-2.7.data/data/cyfes/libcufes.1.so
2071 2024-09-02 09:39 CyFES-2.7.data/data/cyfes/FES.cuh
1731 2024-09-02 09:39 CyFES-2.7.data/data/cyfes/FES_f32.cuh
150 2024-09-02 09:39 CyFES-2.7.dist-info/WHEEL
1063 2024-09-02 09:39 CyFES-2.7.dist-info/LICENSE
1784 2024-09-02 09:39 CyFES-2.7.dist-info/RECORD
6 2024-09-02 09:39 CyFES-2.7.dist-info/top_level.txt
5588 2024-09-02 09:39 CyFES-2.7.dist-info/METADATA
523312 2024-09-02 09:39 CyFES.libs/libcudart-80664282.so.10.2.89
168192 2024-09-02 09:39 CyFES.libs/libgomp-a34b3233.so.1.0.0
--------- -------
6956986 28 files
在这个新的结构中,auditwheel自动把依赖的cudart运行时库和omp分布式库拷贝到了whl包中。这样在本地安装之后,会在site-packages路径下找到一个CyFES.libs
的目录,其中就存储了相关的两个动态链接库。那么接下来问题就出现了,在使用$ python3 setup.py sdist bdist_wheel --universal
构建的时候,动态链接库libcufes.so
是有rpath的,但是使用auditwheel修复之后,rpath消失了:
$ python3 -m auditwheel lddtree build/cyfes/libcufes.so
INFO:auditwheel.main_lddtree:{
"interp": null,
"path": "build/cyfes/libcufes.so",
"realpath": "build/cyfes/libcufes.so",
"needed": [
"libcudart.so.10.2",
"librt.so.1",
"libpthread.so.0",
"libdl.so.2",
"libstdc++.so.6",
"libm.so.6",
"libgcc_s.so.1",
"libc.so.6"
],
"rpath": [],
"runpath": [],
或者也可以使用$ patchelf --print-rpath xxx.so
来查看动态链接库的rpath路径。
解决方案
首先我们梳理一下思路。如果这个问题不修复,那么导致的直接结果是,使用$ python3 -m pip install xxx.whl
之后,安装过程不报错,但是调用相关函数时会出现段错误的报错。出现这个错误的根本原因是找不到相应的cudart和omp动态链接库。如果不使用auditwheel修复的话,这个包是不完整的,应用在不同版本的cuda上有可能报错。那么解决问题的方向应该是,让libcufes.so能够准确的找到auditwheel拷贝cudart和omp动态链接库文件的位置,也就是site-packages/CyFES.libs/
。有了思路再看怎么实现的问题,首先是可以通过Makefile配置相关的运行时路径。换句话说,就是运行或者调用libcufes.so文件时会索引到的路径,只要把这个路径配置到cudart和omp所在路径,就可以索引到相关的库,也就不会报错。还有一种解决方案是,在编译构建完成后,通过patchelf
工具直接修改libcufes.so
动态链接库的rpath。
因为CyFES毕竟是一个Python库,综合考虑下来,在setup.py
文件中配置patchelf命令是一个不错的选项。还有三个需要注意的点:
- 不同的Python版本,site-packages路径是不一样的;
- 不能使用绝对路径配置rpath;
- auditwheel修复whl包时会同时修改目标文件的rpath列表中的第一个路径。
针对于第一个问题,我们只要把支持的几个Python路径都配置上就可以了,例如把rpath配置为/lib/python3.7/site-packages/CyFES.libs:/lib/python3.8/site-packages/CyFES.libs
,这样就支持了两个版本的Python路径。对于第二个问题,我们可以在rpath中使用$ORIGIN
相对路径,也就是文件所在的当前位置。在安装cyfes时,会产生三个路径下的文件,分别存放data、lib和核心文件。其中lib与核心文件目录都在site-packages/
路径下。因而彼此之间的相对路径索引形式是固定的,也就可以固定写在setup.py中进行配置。第三个问题,也很容易解决,只要在rpath的第一个位置放一个无用路径,随便它怎么改。最终形成的指令是这样的:
$ patchelf --set-rpath $ORIGIN:$ORIGIN/../lib/python3.7/site-packages/CyFES.libs:$ORIGIN/../lib/python3.8/site-packages/CyFES.libs:$ORIGIN/../lib/python3.9/site-packages/CyFES.libs:$ORIGIN/../lib/python3.10/site-packages/CyFES.libs libcufes.so
这样就可以解决libcufes.so动态链接库的rpath被auditwheel修改的问题,经过测试可以正常索引到相关的CUDA运行时和omp的动态链接库。
总结概要
在开源Python项目中,如果使用到了Cython或者CUDA C++等需要编译的后端技术,那么要传到pypi上就需要经过一个PEP标准的审查。要通过审查,就要经过多个版本的Python的构建,以及auditwheel修复的过程。本文解决了一个auditwheel修复过程中有可能出现的rpath路径索引问题。
版权声明
本文首发链接为:https://www.cnblogs.com/dechinphy/p/auditwheel.html
作者ID:DechinPhy
更多原著文章:https://www.cnblogs.com/dechinphy/
请博主喝咖啡:https://www.cnblogs.com/dechinphy/gallery/image/379634.html
解决auditwheel repair过程rpath被修改的问题的更多相关文章
- 解决SQL订阅过程中找不到已经创建的订阅
原文:解决SQL订阅过程中找不到已经创建的订阅 之前有写过一篇博客,主要是图解SQL复制技术:图解SQL 2008数据库复制,当时的测试环境是在我本地同一个服务器上面,所以测试的时候可谓是一帆风顺,最 ...
- vue组件中的样式属性:scoped,解决在父组件中无法修改子组件样式问题
Scoped CSS规范是Web组件产生不污染其他组件,也不被其他组件污染的CSS规范. vue组件中的style标签标有scoped属性时表明style里的css样式只适用于当前组件元素,它是通过使 ...
- 关于解决配置Tomact过程中出现的相关问题
最近在学习JavaWeb, 但是在第一步的时候就出现问题了, 什么问题呢, 就是关于Tomact的配置. 下面我就详细说明一下我配置过程中出现的问题以及怎么解决的, 希望对大家能有所帮助. 首先,我 ...
- Aandroid 解决apk打包过程中出现的“Certificate for <jcenter.bintray.com> doesn't match any of the subject alternative names: [*.aktana.com, aktana.com]”的问题
有时候,apk打包过程中会出现“Certificate for <jcenter.bintray.com> doesn't match any of the subject alterna ...
- log4j 日志信息的引入(通用版)——解决项目运行过程中的日志信息
定义 log4j是Apache的一个开放源代码项目,通过使用Log4j,我们可以控制日志信息输送的目的地是控制台.文件.GUI组件,甚至是套接口服务器.NT的事件记录器.UNIX Syslog守护进程 ...
- 解决docker容器中文乱码,修改docker容器编码格式
前台上传文件到服务器后,服务器返回给前台的文件列表中出现中文乱码,所有的中文文件名全部变成?,英文文件名则正常显示. 问题经过定位,发现后台代码的multipartfile类在执行transterto ...
- 高可用的Spring FTP上传下载工具类(已解决上传过程常见问题)
前言 最近在项目中需要和ftp服务器进行交互,在网上找了一下关于ftp上传下载的工具类,大致有两种. 第一种是单例模式的类. 第二种是另外定义一个Service,直接通过Service来实现ftp的上 ...
- 解决Windows2003的IE安全级别不能修改的问题
默认装完win2k3IE安全级别是不能修改的,不管怎么样修改,系统总提示说 “此域的推荐安全级别是“安全级-高”.您选择的级别较低.还是返回最高级别的.刚才弄voip,在win2k3虚拟机测试,差点气 ...
- 解决SharePoint下载文件时自动修改扩展名的问题
今天,有人告诉了我一个有趣的问题.当用户将一个扩展名为.ai的文件(Adobe illustrator格式的文件)上载到SharePoint 2013文档库中之后,点击它下载时,下载提示栏所显示的文件 ...
- 解决url传递过程中加号变空格的问题
url传递过程中加号变空格 在接收url参数的过程中,会发现如果参数中存在‘+’号,接收后会变成空格. 如11+22接收后变成11 22. 要解决这个问题,需要将加号替换为%2B进行传递. 如11%2 ...
随机推荐
- Win10 内存内存占用过高的一种解决方案
前言 最近win10的电脑一开机,什么都没启动,内存占用率高达90%,笔记本虽然是8G的内存,但不应该如此不堪.在网上找到一个十分有效的解决方案. 正文 使用 win10系统自带内存诊断工具 按下 h ...
- Oracle 存储过程 捕获异常
1.带参数插入并带返回值,异常信息 CREATE OR REPLACE PROCEDURE test_pro (v_id in int,v_name in varchar2,app_code out ...
- 洛谷P5020
水一道绿题... #include<iostream> #include<utility> #include<algorithm> using namespace ...
- 基于vsftpd搭建项目文件服务器
vsftpd 是"very secure FTP daemon"的缩写,安全性是它的一个最大的特点.vsftpd 是一个 UNIX 类操作系统上运行的服务器的名字,它可以运行在诸如 ...
- 图表绘制之RepeatNode的妙用
图表绘制之RepeatNode的妙用 前言 最近接到许多大屏项目,其中有一个智慧大楼的项目,大致是由3d场景+数据图表组成,需要能监控实时数据.安防 监控.出入统计以及消防安全等功能如下图 但是在开发 ...
- 在宝塔上配置打包好的vue3项目
配置文件如下 server{ listen 80; server_name gongchang.365cb.cn; index index.html index.htm default.php def ...
- 基于Java“萌宠之家”宠物综合服务平台设计实现(源码+lw+部署文档+讲解等)
\n文末获取源码联系 感兴趣的可以先收藏起来,大家在毕设选题,项目以及论文编写等相关问题都可以给我加好友咨询 系统介绍: 互联网发展至今,无论是其理论还是技术都已经成熟,而且它广泛参与在社会中的方方面 ...
- Pandas库学习笔记(2)
Pandas 数据结构 Pandas 有三种常用的数据结构 Series DataFrame Panel 这些数据结构建立在Numpy数组之上,这意味着它们运行速度都非常快. Python.Numpy ...
- Python threading实现多线程 基础篇
讲多线程前,先要了解什么是进程,什么是线程,已经知道的请略过. 一.进程与线程: 进程是资源分配的最小单位,一个程序至少有一个进程. 线程是程序执行的最小单位,一个进程至少有一个线程. 进程都有自己独 ...
- mysql面试汇总
最近一直在关注mysql方面的面试题目,并且从最近的面试情况来看,mysql在java后端的面试中,肯定是必问的题目,所以这里有必要对这块的内容进行总结,大家可以根据下面的导图进行重点复习, 引擎 1 ...