Python 2.7 cython cythonize py 编译成 pyd 谈谈那些坑

前言

基于 python27 的 pyc 很容易被反编译,于是想到了pyd,加速运行,安全保护

必要准备

安装cython:pin install cython

下载安装:VCForPython27.msi

Cython document:https://cython.readthedocs.io/en/stable/src/userguide/source_files_and_compilation.html

假如有以下目录结构:

myPackage/

__init__.py

myModule.py

subFolder/

__init__.py

subModule.py

setup.py  --这是用来 build python extension 的,也就是 pyd

setup.py代码:

 import setuptools  # important
from distutils.core import setup
from Cython.Build import cythonize
from distutils.extension import Extension
extensions = []
extensions.append(Extension('myModule',['myModule.py']))
extensions.append(Extension('subFolder.subModule',['subFolder/subModule.py'])) setup(
ext_modules = cythonize(extensions, compiler_directives={'language_level': 2}), )

在 myPackage/ 目录下开启cmd(win系统),编译pyd

python.exe setup.py build_ext --inplace

给 setup.py 添加自定义参数

请参考:Python argparse 模块

额外参考:https://stackoverflow.com/questions/677577/distutils-how-to-pass-a-user-defined-parameter-to-setup-py?noredirect=1&lq=1

编译过程(如果顺利)和 setup.py 代码解析:

cythonize():会在 py 文件所在的相应文件夹生成 .c 或者 .cpp 文件(这个取决于Extension() 的 language 参数,language = 'c' 或者 'c++')

setup.py build_ext:在myPackage/目录下生成一个build文件夹,里面有编译的一些中间产物,最终把 pyd 复制到 py 文件所在的相应位置(pyd最终复制的路径是由Extension()来决定的)

Extension():它有很多参数,只说代码中的参数

参数 1:这个参数就是 pyd 最终被拷贝的路径,在编译成功后,会看到 copying build\lib.win-amd64-2.7\xxx.pyd -> xxx\xxx,后面的 xxx\xxx 就是Extension的第一个参数:'xxx.xxx' (没看错,这里是用点 . 来分隔,简直坑),而且路径的前缀是cmd运行路径,如果第一个参数是'*'(就像官方文档里面的例子一样),它代表cmd运行的当前路径,也就是 myPackage/ ,也就是说,所有 pyd 都会被拷贝到这里来

参数 2:这是 py 或者 pyx(Cython格式)的相对路径,是指 cmd(并非setup.py) 的所在路径(因为我是在 waf 的 wscript 中 执行编译的,waf 会把 cmd 的路径改变到它的 build 路径下,如果单独使用setup.py,应该不会有这个问题)

编译过程中会遇到的一些警告或者错误(如果不顺利或者不完美)和 setup.py 代码解析

error:unresolved external symbol init__init__

没错,__init__.py 似乎在这里不能被编译成 pyd,所以可能要编译成 pyc 或者干脆不编译

error:unable to find vcvarsall.bat

出现这个错误,只会看到 .c 或者 .cpp,看不到 pyd

网上大多数的解决方法:http://www.cnblogs.com/lazyboy/p/4017567.html

下面是我另外找到的方法(链接:https://stackoverflow.com/questions/53172601/error-unable-to-find-vcvarsall-bat-when-compiling-cython-code):

1.确保安装:VCForPython27.msi

2.确保更新或者安装 Python 的 setuptools:

安装或者更新 setuptools:pin install -U setuptools

3.在 setup.py 中的第一行加 import setuptools,最新版的 setuptools 会自动找到 vcvarsall.bat

FutureWarning: Cython directive 'language_level' not set, using 2 for now (Py2). This will change in a later release!

在compiler_directives中指定:cythonize( compiler_directives = {'language_level': 2} )

is not a valid module name...Cython.Compiler.Errors.CompileError:

注意文件的路径文件夹命名,不要有中文,不要是纯数字,不要有非法字符

py 和 pyx 编译成 pyd 的注意点

如果编译的是 .pyx ,而且这些文件中 include 一些自定义的头文件,那么 setup() 还要加 library 相关的参数,就像我们编译 c 语言一样,这里只谈 py ,所以不多说

pyd 的使用

就像 pyc 一样正常使用(如果python安装了 PySide 或者 PyQt,可以到它们的目录下看看,它们的主要模块也是 pyd,而且 __init__.py 没有相应的 pyd)

import xxx

from myPackage import myModule

import myPackage.myModule as m

from myPackage.subFolder import subModule

pyd for maya

似乎用以上的流程编译出来的 pyd 不能在 maya 中 import,似乎要用编译maya的 python.exe 一致的 MSC(微软C编译器) 版本来编译,参考链接:https://stackoverflow.com/questions/53683874/how-to-import-pyd-files-into-maya

这里我们用的是VCForPython27(不清楚这个到底是什么),而 maya2014 的 mayapy.exe 用的是 MSC v.1600

不过 maya 确实是可以 import 的 pyd 的,因为 maya 自身就集成了 PySide 的 pyd 模块,所以,只要接下来要找出怎么编译 maya 的 pyd 方法,或许 maya PySide 是用 C++ 来直接编写,然后编译成 pyd,不过 cythonize 已经把 py 生成了 c 或者 cpp,现在还不确定问题出在哪个阶段。

如何编译 maya 的 pyd ,请参考:Maya mayapy.exe 安装 Cython,编译 pyd

对 Python 的严谨性要求

由于 Cython 会把 py 转为 c 或者 cpp,所以 python 上的一些随性会导致编译的错误,也就是变得和 C 或者 C++ 那样严谨,尤其是一些 QT 事件的槽函数的参数一定要给足等等。

Python 2.7 cython cythonize py 编译成 pyd 谈谈那些坑的更多相关文章

  1. 【转】python:让源码更安全之将py编译成so

    python:让源码更安全之将py编译成so 应用场景 Python是一种面向对象的解释型计算机程序设计语言,具有丰富和强大的库,使用其开发产品快速高效. python的解释特性是将py编译为独有的二 ...

  2. python:让源码更安全之将py编译成so

    应用场景 Python是一种面向对象的解释型计算机程序设计语言,具有丰富和强大的库,使用其开发产品快速高效. python的解释特性是将py编译为独有的二进制编码pyc文件,然后对pyc中的指令进行解 ...

  3. Mac上把python源文件编译成so文件

    把python源文件编译成so文件 前言 实际上属于一种代码混淆/加密的技术,大家知道python的源文件放在那里,大家是都可以看的,不像C语言编译出来可以拿编译后的东西去运行,所以就出现了这种需求. ...

  4. 用python写个简单的小程序,编译成exe跑在win10上

    每天的工作其实很无聊,早知道应该去IT公司闯荡的.最近的工作内容是每逢一个整点,从早7点到晚11点,去查一次客流数据,整理到表格中,上交给素未蒙面的上线,由他呈交领导查阅. 人的精力毕竟是有限的,所以 ...

  5. Python工程编译成跨平台可执行文件(.pyc)

    原文:https://blog.csdn.net/zylove2010/article/details/79593655 在某些场景下,若不方便将python编写的源码工程直接给到其他人员,则可以将p ...

  6. 如何反编译Python写的exe到py

    参考链接: https://blog.csdn.net/qq_44198436/article/details/97314626?depth_1-utm_source=distribute.pc_re ...

  7. python 源代码保护 之 xx.py -> xx.so

    前情提要 之前由于项目的需要,需要我们将一部分“关键代码”隐藏起来. 虽然Python 先天支持 将源代码 编译后 生成 xxx.pyc 文件,但是破解起来相当容易 -_-!! 于是搜罗到了另外一种方 ...

  8. Python 出现需要使用fPIC重新编译的问题

    在已经存在python安装环境的情况下,当安装第三方的包的时候出现报错提示 /usr/bin/ld: .../lib/libpython2.7.a(abstract.o): relocation R_ ...

  9. 简学Python第一章__进入PY的世界

    #cnblogs_post_body h2 { background: linear-gradient(to bottom, #18c0ff 0%,#0c7eff 100%); color: #fff ...

随机推荐

  1. python 安装mysql报错

    原 安装Python mysqlclient出现“OSError: mysql_config not found”错误 2016年06月01日 12:15:11 wangtaoking1 阅读数:11 ...

  2. swift 学习- 12 -- 方法

    // 方法 是与某些特定类型相关的函数.  类, 结构体,枚举 都可以定义实例方法, 实例方法为给类型的实例封装了具体的任务与功能.  类, 结构体, 枚举 也可以定义类型方法,  类型方法与类型本身 ...

  3. JAVA 语言如何进行异常处理,关键字: throws,throw,try,catch,finally分别代表什么意义? 在try块中可以抛 出异常吗?

    Java通过面向对象的方法进行异常处理,把各种不同的异常进行分类, 并提供了良好的接口.        在 Java中,每个异常都是一个对象,它是 Throwable 类或其它子类的实例.当一个方法出 ...

  4. requireJs require.config公共配置

    //场景:让require.config配置文件成一个公共文件,每个页面引用这个公共配置 //方式一样例: require.config({ baseUrl: (function () { var p ...

  5. linux用户

    hen we are travelling, we find ourselves in new places and new spaces, physically and internally; it ...

  6. JSP概述

    一.JSP页面本质上时一个Servlet,然而,用JSP开发比使用Servlet更容易,主要有两个原因,首先不必编译Servlet,其次JSP页面是一个以.jsp为扩展名的文本文件,可以使用任何编辑器 ...

  7. Chrome浏览器常用键盘快捷键介绍

    很多人喜欢使用键盘快捷键来操作电脑,因为在熟练的情况下,使用键盘会比使用鼠标点击更快.更高效.本文对Chrome浏览器常用的快捷键做个说明. 标签页和窗口快捷键 1.  Ctrl + n 打开新窗口 ...

  8. C++ Primer 笔记——语句

    switch 内部的变量定义 1.因为C++语言规定,不允许跨过变量的初始化语句直接跳转到该变量作用域内的另一位置,所以有了如下情况: bool bsuccess = false; switch (b ...

  9. C/C++返回内部静态成员的陷阱(转)

    在我们用C/C++开发的过程中,总是有一个问题会给我们带来苦恼.这个问题就是函数内和函数外代码需要通过一块内存来交互(比如,函数返回字符串),这个问题困扰和很多开发人员.如果你的内存是在函数内栈上分配 ...

  10. The error may exist in com/bjpowernode/dao/StudentDao.xml ### Cause: org.apache.ibatis.builder.BuilderException: Error parsing SQL Mapper Configuration. Cause: org.apache.ibatis.builder.BuilderExcept

    The error may exist in com/bjpowernode/dao/StudentDao.xml### Cause: org.apache.ibatis.builder.Builde ...