Python: C扩展初体验
前言
使用 Python 毋庸置疑减少了很多规则约束和开发成本,让我们能够更加专注于逻辑而非语法。但是得此失彼,开发效率提高了,却带来了运行性能的问题,所以就常常被其他门派追着暴打。
身为一个 pythoner,我们也很忧伤呀,怪我们咯..
万幸的是,虽然上帝关掉了我们一扇门,但是却为我们打开了另一扇窗,正因为底层是用 C语言 写的,所以我们可以将一些性能损耗比较大的功能,或者模块,通过 C语言 重写,然后 import xxxx 来无缝结合。
哪怕工作中比较少机会自己写C扩展, 了解这块的知识,也有利于我们更加深入了解 Python 的运行本质。
网上比较是通过 ctypes 或者 setup.py 的方式实现引用和编译安装,这边想试下最原始的方法~
快速开车
1. 实现接口函数
接口函数是什么意思?可以简单理解成就是 Python 和 C 的对接函数,举个栗子:
我们可以看到这个函数和传统意义上的 C 用法用点不同了,特别是在函数形参那边的PyObject self, PyObject args
第一个参数是 PyObject *self,这个参数是Python内部使用的,可以不用管;
第二个参数是 PyObject *args,这个参数非常重要,因为这个揽括了所有传给函数的参数。它是一个参数列表,把所有的参数都整合到
一个 string, 因此,如果我们需要解析这些参数需要用特定的姿势!我们需要用到 PyArg_ParseTuple 来解开这个扣人心弦的入口!
PyArg_ParseTuple 函数说明:
1.args就是需要转换的参数;
2.ii 就是参数类型的格式符号,这里代表 int init;(更多类型请看官网:https://docs.python.org/2/c-a...)
3.后面的 &arg1, &arg2 就是通过参数解析提取的值,存放的地方,这有点类似 C 的 scanf;
很明显,这三个参数,在数量上存在这一定的联系,也就是,传进去两个 int参数,那么就肯定是对应了两个 ii,然后就会对应存在 两个实际的"容器"内,这里要注意,一不小心就会 Segmentation fault
对应有解析参数的,肯定也有 C模块 值转换成 Python对象 的,那就是 Py_BuildValue。
Py_BuildValue 函数说明:
1.第一个参数 和 PyArg_ParseTuple 的第二个参数一样,都是格式化符号;
2.第二个参数是需要转换的参数,函数 Py_BuildValue 会把所有的返回指都组装成 tuple 给 Python
相关的官方文档:https://docs.python.org/2/c-api/arg.html
2. 定义方法列表
PyMethodDef 是一个 C结构体,用来完成一个映射,也就是便于方法查找,我们把需要被外面调用的方法都记录在这表内。
PyMethodDef 结构体成员说明:
1.第一个字段:在 Python 里面使用的方法名;
2.第二个字段:C 模块内的函数名;
3.第三个字段:方法参数类型,是无参数(METH_NOARGS) , 还是有位置参数(METH_VARARGS), 还是其他等等;
4.第四个字段:方法描述,就是通过 help() 或者 doc 可以看到的;
需要注意的是,这个列表的最后必须以 {NULL, NULL, 0, NULL} 的形式来代表声明结束,也有一些大佬用 {NULL, NULL},不过个人觉得写完整也不会累到哪去, 相反会比较直观。
正因为存在这样的一份记录表,Python 才能够寻找到相应的函数
同样的,如果我们想要找一个模块的 Python 函数 对应什么的 C模块方法,也能通过这地方比较粗暴得知,例如 Python 的 list
3. 实现初始化函数 (关键)
需要特别注意的是,这个函数名不能像上面那样,这是有规定的,必须是 init + 模块名字,比方说,我的最后编译出来的文件是 test.so, 那我的函数名就是 inittest, 这样在 Python 导入 test 模块时,才能找到这个函数并调用。
这里调用了 Py_InitModule 函数来将模块名字和映射表结合在一起。表示 test 这个模块使用 testMethods 这个映射表。
4. 注意对象引用管理和内存泄露
Python 在对象管理、内存管理上面,有引用计数,标记-清除,分代回收等策略,其中引用计数发生的频率会非常非常高,依赖这个通常已经能够解决大部分的对象残留问题了。
所以,在我们编写 C扩展 时,也需要时刻谨记这步.
主要会用到下面两个宏:
1. 增加引用: Py_INCREF 例: Py_INCREF(pObj1)
2. 减少引用: Py_DECREF 例: Py_DECREF(pObj1)
不能直接使用 free/delete 释放,必须使用 Py_DECREF(pObj1), 然后 pObj1 = NULL 即可。
具体可以参考:
官网:https://docs.python.org/2/extending/extending.html#reference-counts
垃圾回收机制: http://www.wklken.me/posts/2015/09/29/python-source-gc.html
编译导出
/ -fpic --shared -o test.so test.c
完整例子
test.c
test.py
import test print test.test(1, 2) # 输出 21
感谢作者:Lin_R
转载自https://segmentfault.com/a/1190000015724170
Python: C扩展初体验的更多相关文章
- python窗体——pyqt初体验
连续两周留作业要写ftp的作业,从第一周就想实现一个窗体版本的,但是时间实在太短,qt零基础选手表示压力很大,幸好又延长了一周时间,所以也就有了今天这篇文章...只是为了介绍一些速成的方法,还有初学者 ...
- Python操作RabbitMQ初体验(一)
由于想用Python实现一套分布式系统,来管理和监控CDN的内容与运行状态,误打误撞认识了RabbitMQ,推荐的人很多,如余锋<我为什么要选择RabbitMQ>等等. 在MQ这个词汇映入 ...
- Python函数之初体验
定义函数 在Python中,定义一个函数要使用def语句,依次写出函数名.括号.括号中的参数和冒号:,然后,在缩进块中编写函数体,函数的返回值用return语句返回. 我们先定义一个求字符串长度的函数 ...
- 菜鸟学IT之python词云初体验
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 1. 下载一长篇中文小说. 2. 从文件读取待分析文本. txt = ...
- Python+Django(Python Web项目初体验)
参考:https://blog.csdn.net/qq_34081993/article/details/79229784 Django是一个开放源代码的Web应用框架,由Python写成. 安装Dj ...
- 简说Python之图形初体验
针对孩子,最容易引起小孩的感官认知的就是图形.因此,系统运用图形编程,可以更好地让孩子喜欢上编程. turtle叫做,Turtle graphics.是python第三方的画图模块工具.可以通过imp ...
- 菜鸟学python之程序初体验
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作: 解析身份证号:生日.性别.出生地等. def id ...
- Python导出Excel为Lua/Json/Xml实例教程(二):xlrd初体验
Python导出Excel为Lua/Json/Xml实例教程(二):xlrd初体验 相关链接: Python导出Excel为Lua/Json/Xml实例教程(一):初识Python Python导出E ...
- ipython及Python初体验
阅读目录: Python环境体验 Python编辑器 ipython安装 Python提示符 Python初体验 print和变量 变量操作 内建函数:方法 数学运算:简单算术.随机数 关于模块 一. ...
随机推荐
- sonar常见
sonar在linux上安装好之后,若之后又更改了sonar的配置,则需要重启服务,重启方法如下: 1.进入到sonar的安装目录下,打开bin目录,会看到所有操作系统的文件夹 2.若操作系统为lin ...
- UNIX高级环境编程(8)进程环境(Process Environment)- 进程的启动和退出、内存布局、环境变量列表
在学习进程控制相关知识之前,我们需要了解一个单进程的运行环境. 本章我们将了解一下的内容: 程序运行时,main函数是如何被调用的: 命令行参数是如何被传入到程序中的: 一个典型的内存布局是怎样的: ...
- Hadoop HBase概念学习系列之数据模型(七)
HBase是一个类似BigTable的分布式数据库, 它是一个稀疏的长期存储的(存在硬盘上).多维度的.排序的映射表.这张表(HBase)的索引是行关键字.列关键字和时间戳. HBase中的数据 ...
- [2018HN省队集训D8T3] 水果拼盘
[2018HN省队集训D8T3] 水果拼盘 题意 给定 \(n\) 个集合, 每个集合包含 \([1,m]\) 中的一些整数, 在这些集合中随机选取 \(k\) 个集合, 求这 \(k\) 个集合的并 ...
- MapReduce实例2(自定义compare、partition)& shuffle机制
MapReduce实例2(自定义compare.partition)& shuffle机制 实例:统计流量 有一份流量数据,结构是:时间戳.手机号.....上行流量.下行流量,需求是统计每个用 ...
- 我在德国做SAP CRM One Order redesign工作的心得
时间过得很快,今天是我到德国工作的第四周,刚好一个月.Prototype的框架已经搭起来了,现在Order能够在新的框架下正常读写,能跑一些简单的scenario,这些scenario对于end us ...
- 一个最简单的WebSocket hello world demo
服务器端代码不超过42行: const WSServer = require("./server.js"); var counter = 0; function createWeb ...
- [转]HBase高可用性的新阶段
From:http://m.csdn.net/article_pt.html?arcid=2823943 Apache HBase是一个面向线上服务的数据库,其原生支持Hadoop的特性,使其成为那些 ...
- SOJ4453 Excel列数 进制转换
描述 我们都知道Excel的列数是用字母表示的,比如第1列对应A,第27列对应AA. 假设给定一个正整数n,你能给出它所对应的字母表示么? 输入格式 程序需要读入多个测试样例,每个测试样例中: 一个正 ...
- 3631. [JLOI2014]松鼠的新家【树形DP】
Description 松鼠的新家是一棵树,前几天刚刚装修了新家,新家有n个房间,并且有n-1根树枝连接,每个房间都可以相互到达,且俩个房间之间的路线都是唯一的.天哪,他居然真的住在“树”上.松鼠想邀 ...