转:从pickle看python类成员的动态加载和类的定位

  pickle是Python轻便的对象序列化工具。使用pickle可以方便地把python对象写入文件对象中，或者像soap那样在socket间传送。

 

  按照python的一贯作风，类的成员在使用前不会分配和占用内存空间。这一点使用pickle可以看得很清楚。

 

  例如有类矩形Rect

 

#文件Rect_Module.py 

class Rect: 

    def __init__(self, a_width , a_height): 

        self.m_width    = a_width 

        self.m_height = a_height 

    def get_area (self): 

        return self.m_width * self.m_height 

    def set_color(self,color): 

        self.m_color = color 

 

 

 

  该矩形类定义在__init__ 时候了两个成员高度m_height和m_width宽度，如果被设置颜色后，则又生成了m_color成员。

 

  使用pickle来dump一个Rect对象：

#pickle_dump.py

import pickle 

import Rect_Module 

 

#生成一个3*4的矩形，然后pickle之 

if __name__ == "__main__": 

     

    myrect = Rect_Module.Rect(3,4) 

    print "area is :" ,myrect.get_area() 

    

    fout = open("myrect.pkl","w") 

    pickle.dump(myrect,fout) 

    fout.close()    

 

   运行pickle_dump.py后，生成myrect.pkl文件，我们可以打开来看看：

 

(iRect_Module 

Rect 

p0 

(dp1 

S'm_height' 

p2 

I4 

sS'm_width' 

p3 

I3 

sb.

 

  Pickle文件简单剖析

 

  在pickle生成的文件中，很容易看到最前面红色和土黄色的分别是模块名和类名；

后面不远处是属性m_height和m_width，属性的后面是它的值：I4、I3是不是表示Integer的前缀？改变一下参数就知道了。

 

 

#pickle_dump.py 

 

import pickle    

import Rect_Module    

 

if __name__ == "__main__":    

            

        myrect = Rect_Module.Rect(3.99999,4)    

        print "area is :" ,myrect.get_area()    

         

        fout = open("myrect.pkl","w")    

        pickle.dump(myrect,fout)    

        fout.close()

 

  上面代码改变了传入参数的类型，希望dump出来的文件中有不同的类型前缀。dump出来的文件如下：

 

(iRect_Module 

Rect 

p0 

(dp1 

S'm_height' 

p2 

I4 

sS'm_width' 

p3 

F3.9999899999999999 

sb.

 

  果不其然，传入3.99999构造Rect时，pickle文件中的值的字段变成了F3.9999****，这里F明显是Float的意思。实际上，如果需要pickle的对象成员为一个自定义类的类型，pickle文件里也会保留类名信息，以及类成员的内部结构。

 

  Python的类属性动态加载

 

  看了上面几个例子，我们会留意到Rect的set_color中涉及到了m_color成员实际上并没有生成，因为我们没有调用set_color方法。这是python的一个特性：成员只有在初次被引用的时候才会初始化。没有调用过的set_color对象是没有m_color属性的，如果你希望它一定有，那么只好在__init__中引用它了。这是python一个重要特点，是优是劣就见仁见智了。

 

  下面设置一下颜色

 

#pickle_dump.py 

 

import pickle    

import Rect_Module    

 

if __name__ == "__main__":    

            

        myrect = Rect_Module.Rect(3.99999,4)    

        print "area is :" ,myrect.get_area()    

        myrect.set_color("RED") 

        fout = open("myrect.pkl","w")    

        pickle.dump(myrect,fout)    

        fout.close()         

 

  得到的pickle文件

 

(iRect_Module 

Rect 

p0 

(dp1 

S'm_height' 

p2 

I4 

sS'm_color' 

p3 

S'RED' 

p4 

sS'm_width' 

p5 

F3.9999899999999999 

sb.

 

  上文件的阴影部分清楚地指示了m_color文件被生成了。这里pickle生动地验证了python的“惰性”加载策略。

 

 

  对象序列化有个重要的问题是：从文件中还原对象如何得到它的类信息。从上面的pickle文件看，文件中绝不可能存储对象的类的具体信息，只是存储了模块名和类名。

  从pickle文件中装载对象非常简单，因为文件中已经有模块名和类名了，所以甚至无须import Rect_Module。这里尝试把上面例子生成的pickle文件读入：

 

#pickle_load.py

import pickle 

 

if __name__ == "__main__": 

     

    fin    = open("myrect.pkl") 

    load_from_file = pickle.load(fin) 

     

    print "area is :" ,load_from_file.get_area() 

        

 

  运行结果area is : 15.99996，证明对象加载正确。

 

  如果把Rect_Module.py文件改名，就会出现“类型找不到”类的错误。

 

  修改类接口

 

  Python这样做可想而知是非常方便的，但这样做会出现一个非常严重的问题。一个pickle文件传到网络的另一端的时候，使用时需要把相应的类文件也传过去。类文件传过去以后，另一方的使用者就可以自由地改动类的部分属性和方法了。

 

  下面通过试验看看是不是这样：

 

   修改类的get_area方法，再load对象

 

 

class Rect: 

    def __init__(self, a_width , a_height): 

        self.m_width    = a_width 

        self.m_height = a_height 

    def get_area (self): 

        return self.m_width * self.m_height * 2 

    def set_color(self,color): 

        self.m_color = color

 

   改变了Rect类的get_area方法，面积的算法为长*宽*2。

 

   此时再运行pickle_load.py,运行结果如下：

 

area is : 31.99992

 

   惊喜地，类的方法被改变了，pickle文件中的对象依然能够正确加载。这个特性非常的灵活，而又非常的“不安全”。用户可以在理解了源代码的基础上，可以任意修改类的行为。这可能就是自由软件、自由语言的含义吧。

 

  个人认为，在pickle文件中加入类的hash签名校验，便可以防止使用不同的类来加载pickle原本的对象。以python设计者的智商，这可能是考虑过的了，应该只是他们不喜欢对语言加以约束，让python更自由，灵活，简约