python的pickle和shelve模块

python中用于序列化的模块总结

目录

pickle模块

shelve模块

xml模块

pickle模块

介绍

Pickle的问题和所有其他编程语言特有的序列化问题一样，就是它只能用于Python，并且可能不同版本的Python彼此都不兼容，因此，只能用Pickle保存那些不重要的数据，不能成功地反序列化也没关系，所以只用在数据存储上，但是json能做数据传输和存储。
优点就是支持的数据类型多，能序列化函数、类。

　　

使用

json会把数据转为字符串
pickle会把数据转为字节类型的数据

四个方法
pickle.dumps() 
pickle.dump()
pickle.load()
pickle.load()
四个方法的使用方法和json模块一样
具体可以结合json模块一起学习
https://www.cnblogs.com/-wenli/p/10187130.html

#存储数据

import pickle

dic={'name':'linlin','age':18}

data1 = pickle.dumps(dic) #序列化

f = open('file1','wb') #存储

f.write(data1)

f.close()

运行结果：

可以看到存储到文件的数据，我们是看不懂的，不同于json

#读取数据

import pickle
f = open('file1','rb') 

data2=f.read()
data2=pickle.loads(data2)#反序列化
print(data2)
key_value=data2['name']
print(key_value)
f.close()

　　

运行结果：

shelve模块

shelve类似于一个存储持久化对象的持久化字典，即字典文件。

使用方法也类似于字典。

shelve模块可以当成一个轻量的数据库db，将数据以字典的类型（key，value）通过文件持久化,模拟出简单的db效果。

　　

存储数据

注意：shelve模块有个限制，它不支持多个应用同一时间往同一个DB（文件）进行写操作。

import shelve
db1 = shelve.open('file') #打开一个文件
db1['dic'] = {'int':12, 'float':2.5, 'string':'shelve db'} 
#这里dic为key，key必须为字符串，而值可以是python所支持的数据类型
#直接对文件句柄［key］操作，就可以存入数据
db1.close()

且重要的是它还会直接在打开的当前目录生成三个文件：
file.bak
file.dat
file.dir
其中shelve.db1.dat 存储的就是b字节数据类型的数据， bak和dir后缀的就可能是和数据库相关的设计缓存之类的东西。

　　

读取数据

注意：取出数据的时候也只需要直接用字典的操作方法获取即可，但是如果key不存在会报错

import shelve
f = shelve.open('file') #打开一个文件

#第一种方式
print(f.get('dic')['int']) #12

print(f.get('dic')['float']) #2.5

print(f.get('dic')['string']) #shelve db

#第二种方式

print(f['dic']['int'])#12

print(f['dic']['float']) #2.5

print(f['dic']['string']) #shelve db

修改数据

由于shelve在默认情况下是不会记录对持久化对象（字典下的键的值-条目）做出修改的，
所以在shelve.open()时候需要修改默认参数writeback=True，
否则对象的条目修改不会'拷贝回写'来进行保存。

当试图让shelve去自动捕获对象的变化时，应当在打开shelf的时候将writeback设置为True。
而将writeback这个flag设置为True以后，shelf将会将所有从DB中读取的对象存放到一个内存缓存。
当close() shelf的时候，缓存中所有的对象会被重新写入DB。

#第一种方法
#修改键值
import shelve
f = shelve.open('file',writeback=True) #打开一个文件

data=f['dic']['int']
data = 10
f.close() #这里一定要关闭文件，才能读取到修改后的值
print(data) #10

#添加列表值

import shelve
list1 = ['tie', 'le', 'yu']
# 既然最终生成的文件会是dat格式的，何不一开始就指定后缀是dat
db2 = shelve.open('shelve_db2.dat')
db2['lis'] = list1
# 文件句柄是通过字典的操作方式去拿里面的键值对，lis这个键对应的值是一个列表
db2['lis'].append('mao')
#　而此列表增加一个字符串元素后再打印，感觉不出有发生增加的变化
print(type(db2['lis']), db2['lis'])
# 返回列表：['tie', 'le', 'yu']
#这里返回的结果没有'mao',因为没有写回。

#第二种方法
import shelve
f = shelve.open('file') #打开一个文件
temp=f['dic'] #从文件中读取之前存储的对象
temp['int']=12 #直接对对象进行修改
f['dic']=temp #重新存储至字典文件对象中
print(f['dic']) #{'int': 12, 'float': 2.5, 'string': 'shelve db'}

　　

总结

第一种方法shelve会将所有从DB中读取的对象存放到一个内存缓存，当close() shelf的时候，缓存中所有的对象会被重新写入DB，所以一定要关闭文件，重新读取才能生效

　　

writeback方式有优点也有缺点

优点是减少了我们出错的概率，且让对象的持久化对用户更加的透明了
但这种方式并不是所有的情况下都需要
首先，使用writeback以后，shelf在open()的时候会增加额外的内存消耗
并且当DB在close()的时候会将缓存中的每一个对象都写入到DB，这也会带来额外的等待时间
因为shelve没有办法知道缓存中哪些对象修改了，哪些对象没有修改，因此所有的对象都会被写入

　　

第二种方法通过中间变量实现了修改，这种属于直接赋值和拷贝写回无关，会生效，新值覆盖旧值

所以我们一定要弄明白一件事情
从shelve的db文件中重新再访问一个key拿的是它的拷贝
修改此拷贝后不做拷贝写回并不影响原来的key
但你要是直接做的操作是赋值新的值到一个key里，那肯定就是指向原来的key，会被覆盖的
而这种赋值覆盖对于shelve来说这是一个正常的行为阿
和键中的值看起来不能被修改一事并不矛盾