上个月看了篇文章 “SAVING 9 GB OF RAM WITH PYTHON’S __SLOTS__”,原来Python也有类似结构体的东东。拖了一个月才写这篇,是因为太久没看python源码而生疏了,中间又捣鼓了一下tmux神马的。
简单的说,slots提供了一种强制声明对象属性的方法。如果在类定义的时候定义了__slots__的值(string列表),这个类的对象就只能使用列表中属性名。

class A(object):
     def __init__(self):
          self.uuid = 2
          self.word = ‘hello'

变成:

class B(object):
     __slots__ = ( 'value', ‘other')
     def __init__(self):
          self.uuid = 2
          self.word = ‘hello'
          self.other = ‘world'  # AttributeError: ‘B’ object has no attribute ‘other’

是不是很像C的结构体?注意__slots__只是起了限定的作用,属性还是要先赋值才读取。

引入slots的主要目的是节省内存。默认python会为每个对象创建一个dict,通过__dict__索引。脚本中定义的属性其实都存在这个dict中。如果类定义了__slots__,创建对象时就不会创建dict,这也就解释了为什么不能随意增加属性了。

能省多少内存呢?dict对象本身只有248bytes。而dict的容量通常是其中有效entry的2~4倍,使用slots不会减少有效entry的数量,因此大概能省一半的空entry。原文中能从25G内存中省下9G,应该是不仅对象很多,而且每个对象的属性很多。考虑到我们实际的应用环境,似乎达不到这样的量。而且服务端很多类都是在C中定义的,其实效果是一样的。

性能上会有提高吗?实测结果几乎没有,从实现上可以看出,其实还是需要做一次dict查找。

目前想到的一个用处是提高可维护性:虽然作为动态语言,允许随意增删对象的属性是个很方便的设定。但是也会对可维护性造成一定的影响。比如一不小心写错属性名。如果是赋值,python会默默的以为是一个新的,导致真正要改的数据没改到,如果是读取,一直到运行时跑到这段代码才会报错。通过定义slots,可以一定程度上避免错误赋值,但是对于错误读取就作用不大了。

关于slots的使用有一些规则和限制,在python自带的文档里有详细说明。

最后是实现的一些细节。代码主要在Objects/typeobject.c。下面两张图是普通类和使用slots的类的区别(红色部分)。

对于普通类A,我们可以看到,它的tp_dictoffset的值是一个偏移量,对应于这个类所创建的对象(比如a)内存中的从头部数到这个偏移量的内存地址,其实是一个PyObject指针。这个指针指向一个dict对象,也就是我们在运行期可以访问到的a.__dict__。脚本中定义的所有属性就保存在这个dict当中。由于这两个指针分别有8字节,因此整个对象a的大小是基本大小16加上8*2,总共32字节。

而对于使用了slots的类B,它的tp_dictoffset就变成了0。换句话说就是没有分配dict对象。那怎么索引到属性呢?其实是上升到了类的层次。在Python中,所有东西都是对象,包括类型本身也是对象,类型对象的类型是PyType_Type(脚本中的type)。听起来很绕,其实这里只是想说明,类型对象是变长对象,包括基本信息加上若干PyMemberDef对象。每个PyMemberDef对象其实就对应于slots中个每个属性声明。而这个类所创建的对象中,也会为每个属性声明分配一个PyObject指针的内存。在初始化类型的时候(PyType_Ready函数),系统会为每个PyMemberDef创建一个descriptor,并在类的__dict__(不是对象的__dict__,从类的tp_dict指向)中建立从属性名到descriptor的映射。

因此,无论哪种方法,都需要进行一次hash查找,区别只是在类的__dict__还是对象的__dict__中。

最后的最后,推荐一下这个不需要安装的在线画图工具:lucidchart

 
 
 
 
阅读(755)| 评论(0)

slots - Python的结构体 转的更多相关文章

  1. python 传递结构体指针到 c++ dll

    CMakeLists.txt # project(工程名) project(xxx) # add_library(链接库名称 SHARED 链接库代码) add_library(xxx SHARED ...

  2. python 实现结构体

    # python 使用类创建结构体 class Myclass(object): class Struct(object): def __init__(self, name, age, job): s ...

  3. c++调用python系列(1): 结构体作为入参及返回结构体

    最近在打算用python作测试用例以便对游戏服务器进行功能测试以及压力测试; 因为服务器是用c++写的,采用的TCP协议,当前的架构是打算用python构造结构体,传送给c++层进行socket发送给 ...

  4. Python与C++结构体交互

    需求:根据接口规范,实现与服务端的数据交互 服务端结构体分包头.包体.包尾 包头C++结构体示例如下 typedef struct head { BYTE string1; BYTE string2; ...

  5. ctypes 操作 python 与 c++ dll 互传结构体指针

    CMakeLists.txt # project(工程名) project(blog-3123958139-1) # add_library(链接库名称 SHARED 链接库代码) add_libra ...

  6. python如何将指定路径下的某类型文件,返回一个树形结构体,让前端显示为树形的目录结构

    最近遇到一个问题就是某个linux的目录下有各种文件现在的要求是只需要返回.kml格式的文件,并根据前端要求返回如下结构体即:[{'children': [{'children': [{'title' ...

  7. 『Python CoolBook』C扩展库_其四_结构体操作与Capsule

    点击进入项目 一.Python生成C语言结构体 C语言中的结构体传给Python时会被封装为胶囊(Capsule), 我们想要一个如下结构体进行运算,则需要Python传入x.y两个浮点数, type ...

  8. Python 定义及使用结构体

    Python中没有专门定义结构体的方法,但可以使用class标记定义类来代替结构体,其成员可以在构造函数__init__中定义,具体方法如下. class seqNode: def __init__( ...

  9. python调用c/c++时传递结构体参数

    背景:使用python调用linux的动态库SO文件,并调用里边的c函数,向里边传递结构体参数.直接上代码 //test1.c # include <stdio.h> # include ...

随机推荐

  1. HDU 3333-Turing Tree(BIT好题)

    题意: 给你n个数的序列a,q个询问,每个询问给l,r,求在下标i在[l,r]的区间内不含重复数的和 分析: 这类题目觉得很好,很练思维,觉得不太好做. 用BIT维护和,我们可以从前向后扫一遍序列,当 ...

  2. 【STL】帮你复习STL泛型算法 一

    STL泛型算法 #include <iostream> #include <vector> #include <algorithm> #include <it ...

  3. 学习笔记——XSLT转换器的使用(Xalan和Saxon) .(转)

    转自:http://blog.csdn.net/crystalbruce/article/details/7401602 XSLT分为两类: 1:客户端转换:需要浏览器的支持. 2:服务器转换:需要使 ...

  4. 关于webpack最好的文档

    这几天研究webpack打包工具,在网上搜了无数的资料,鱼龙混杂.看了几十份资料,依然没有一个可以完整的描述的. 折腾了那么久,还是放弃治疗了.回到官网,一字一句的阅读,一个小时就彻底明白了. 学习新 ...

  5. Google Maps API显示地图的小示例

    来源:http://www.ido321.com/1089.html 效果(新版Firefox中测试): 代码: <!DOCTYPE> <html> <head> ...

  6. 软件开发杂谈之从需求到上线---valen

    背景 IT已经成为当代企业必不可少的竞争手段,从无到有到标配,可以说以后不懂IT的就是文盲这句一点也不过,而软件开发是个复杂工程,零零碎碎各种理论工具和技巧,一言难尽. 本文意在言简意赅,简述软件开发 ...

  7. Spring MVC MultiActionController example

    In Spring MVC application, MultiActionController is used to group related actions into a single cont ...

  8. 自定义控件和XControl控件

    (1)LabVIEW的自定义控件,实际上就是对LabVIEW自带的控件的一种修改,但是这种修改只能改变它的外观,即大小.颜色.位置等等,但是功能是改变不了的.如你对一个按钮进行自定义控件,无论怎么改, ...

  9. [iOS 多线程 & 网络 - 3.0] - 在线动画Demo

    A.需求 所有数据都从服务器下载 动画列表包含:图片.动画名标题.时长副标题 点击打开动画观看   code source: https://github.com/hellovoidworld/Vid ...

  10. UVa 10900 So you want to be a 2n-aire? (概率DP,数学)

    题意:一 个答题赢奖金的问题,玩家初始的金额为1,给出n,表示有n道题目,t表示说答对一道题目的概率在t到1之间,每次面对一道题,可以选择结束游戏, 获得当 前奖金:回答下一道问题,答对的概率p在t到 ...