Pickle模块数据对象持久化操作
Pickle模块的作用是持久化(序列化)的储存数据。
因此我先解释下:什么是序列化与反序列化、什么是对象序列化和对象反序列化。
通俗地讲,它们的定义如下:
序列化: 把一个对象保存到一个文件或数据库字段中去;
反序列化: 在适当的时候把这个文件再转化成原来的对象使用;
对象的序列化: 把对象转换为字节序列的过程;
对象的反序列化: 把字节序列恢复为对象的过程;
使用场合:
使用序列化主要是因为跨平台和对象存储的需求,因为网络上只允许字符串或者二进制格式,而文件需要使用二进制流格式。
如果想把一个内存中的对象存储下来就必须使用序列化转换为xml(字符串)、json(字符串)或二进制(流)等
注意: file.write/read操作的字符串对象,而pickle.dump/load操作的是结构化数据对象(如:列表、字典)。
常用接口:
(1) pickle.dump(obj, file, [,protocol]) #将obj对象序列化存入已经打开的file中。
obj: 结构化对象
file: 类文件对象(对象保存)
protocol: 序列化使用的协议版本。protocol默认值为0。
0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;
1:老式的二进制协议;
2:2.3版本引入的新二进制协议,较以前的更高效
(2) pickle.load(file) # 将file中的对象序列化读出。
(3) pickle.dumps(obj[, protocol]) #以字节对象形式返回封装的对象,不需要写入文件中。
(4) pickle.loads(file) #从字节对象中读取被封装的对象,并返回。
dump能将多个对象序列化存储到同一个文件中,随后调用load()来以同样的顺序反序列化读出这些对象。
#pickle用法举例: version: python 3.3.4
1.dump和load
>>> import pickle #导入pickle
>>> my_list = ['ABC','','中文',['']] #添加一个测试列表
>>> pickle_file = open('my_list.pkl','wb') #文件(my_list.pkl)必须以二进制可写模式打开,即"wb"
>>> pickle.dump(my_list,pickle_file) #调用pickle.dump方法,将my_list以二进制的方式写入pickle_file对象
>>> pickle_file.close() #关闭文件对象
>>> import os; os.getcwd() #引入os包,查看当前python目录
'D:\\Python33'
>>> os.listdir('D:\\Python33') #查看指定目录下的文件,可以看到已经生成一个名为my_list.pkl的二进制文件
[... 'my_list.pkl', .....] >>> pickle_file2 = open('my_list.pkl','rb') #文件(my_list.pkl)必须以二进制可读模式打开,即"rb"
>>> my_list2 = pickle.load(pickle_file2) #调用ickle.load方法,将以二进制格式保存的对象还原回来
>>> print (my_list2)
['ABC', '', '中文', ['']] #可以看出对象已经还原 #改进写法:
>>> import pickle
>>> my_list = ['ABC','','中文',['']]
>>> with open('my_list.pkl','wb') as file1: #采用with open as方式,不需要再调用close()
pickle.dump(my_list,file1)
>>> import os
>>> os.listdir(os.getcwd())
[... 'my_list.pkl', .....]
>>> with open('my_list.pkl','rb') as file2:
new_list = pickle.load(file2)
>>> print (new_list)
['ABC', '', '中文', ['']] 2.dumps和loads
#测试元组
>>> import pickle #导入pickle
>>> tuple1 = ('A',1,'小泉') #添加一个元祖
>>> tuple1
('A', 1, '小泉')
>>> str1 = pickle.dumps(tuple1) #以字节对象形式返回封装的对象,不需要写入文件中
>>> str2 = pickle.loads(str1) #从字节对象中读取被封装的对象
>>> print (str2)
('A', 1, '小泉')
>>> type(str2)
<class 'tuple'> #测试字符串
>>> str = 'Hello World!'
>>> import pickle
>>> str1 = pickle.dumps(str)
>>> str2 = pickle.loads(str1)
>>> print (str2)
Hello World!
>>> type(str)
<class 'str'>
>>> type(str2)
<class 'str'>
Pickle与CPickle对比
前者是完全用Python来实现的模块,这个CPickle是用C来实现的,它的速度要比pickle快好多倍。
一般建议如果电脑中只要有CPickle的话都应该使用它。
参考资料:
pickle模块的使用讲解: http://blog.csdn.net/coffee_cream/article/details/51754484
Pickle模块数据对象持久化操作的更多相关文章
- python全栈开发-json和pickle模块(数据的序列化)
一.什么是序列化? 我们把对象(变量)从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling,在其他语言中也被称之为serialization,marshalling,flat ...
- 使用pickle模块存储对象
import time import hashlib import pickle import os class Info(): def __init__(self): self.create_tim ...
- 设计模式---单例模式,pickle模块
设计模式---单例模式 简介 单例模式(Singleton Pattern) 是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实 例存在.当你希望在整个系统中,某个类只能出现一个实例时 ...
- python学习_应用pickle模块封装和拆封数据对象
学习文件数据处理的时候了解到有pickle模块,查找官方文档学习了一些需要用到的pickle内容. 封装是一个将Python数据对象转化为字节流的过程,拆封是封装的逆操作,将字节文件或字节对象中的字节 ...
- python pickle模块的使用/将python数据对象序列化保存到文件中
# Python 使用pickle/cPickle模块进行数据的序列化 """Python序列化的概念很简单.内存里面有一个数据结构, 你希望将它保存下来,重用,或者发送 ...
- python数据持久存储:pickle模块的基本使用
经常遇到在Python程序运行中得到了一些字符串.列表.字典等数据,想要长久的保存下来,方便以后使用,而不是简单的放入内存中关机断电就丢失数据. 这个时候Pickle模块就派上用场了,它可以将对象转换 ...
- python数据的存储和持久化操作
Python的数据持久化操作主要是六类:普通文件.DBM文件.Pickled对象存储.shelve对象存储.对象数据库存储.关系数据库存储. 普通文件不解释了,DBM就是把字符串的键值对存储在文件里: ...
- python数据持久存储:pickle模块的使用
python的pickle模块实现了基本的数据序列和反序列化.通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储:通过pickle模块的反序列化操作,我们能够从文件 ...
- pickle 数据对象的序列化和反序列化
python的pickle模块实现了基本的数据序列和反序列化.通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储:通过pickle模块的反序列化操作,我们能够从文件 ...
随机推荐
- Django form表单
Form介绍 之前在HTML页面中利用form表单向后端提交数据时,都会写一些获取用户输入的标签并且用form标签把它们包起来.与此同时我们在好多场景下都需要对用户的输入做校验,比如校验用户是否输入, ...
- DMO节点内部插入的常用方法与区别
1.DOM内部插入append()与appendTo() 动态创建的元素是不够的,它只是临时存放在内存中,最终我们需要放到页面文档并呈现出来.那么问题来了,怎么放到文档上? 这里就涉及到一个位置关系, ...
- 消息队列的使用 RabbitMQ (二): Windows 环境下集群的实现
一.RabbitMQ 集群的基本概念 一个 RabbitMQ 中间件(broker) 由一个或多个 erlang 节点组成,节点之间共享 用户名.虚拟目录.队列消息.运行参数 等, 这个 节点的集合被 ...
- spring boot 系列之四:spring boot 整合JPA
上一篇我们讲了spring boot 整合JdbcTemplate来进行数据的持久化, 这篇我们来说下怎么通过spring boot 整合JPA来实现数据的持久化. 一.代码实现 修改pom,引入依赖 ...
- #定义一个方法get_num(num),num参数是列表类型,判断列表里面的元素为数字类型。其他类型则报错,并且返回一个偶数列表:(注:列表里面的元素为偶数)。
#定义一个方法get_num(num),num参数是列表类型,判断列表里面的元素为数字类型.其他类型则报错,并且返回一个偶数列表:(注:列表里面的元素为偶数). def get_num(num): i ...
- Python selenium 三种等待方式详解
1. 强制等待第一种也是最简单粗暴的一种办法就是强制等待sleep(xx),强制让闪电侠等xx时间,不管凹凸曼能不能跟上速度,还是已经提前到了,都必须等xx时间.看代码: # -*- coding: ...
- Java内存回收机制.md
1.java的内存 java的内存结构分为 堆 (是gc的主要区域) 线程共享,主要是用于分配实例对象和数组 栈 线程私有,它的生命周期和线程相同,又分成 虚拟机栈和本地方法栈,只有它会报 Stack ...
- kafka知识体系-kafka设计和原理分析
kafka设计和原理分析 kafka在1.0版本以前,官方主要定义为分布式多分区多副本的消息队列,而1.0后定义为分布式流处理平台,就是说处理传递消息外,kafka还能进行流式计算,类似Strom和S ...
- Hive优化案例
1.Hadoop计算框架的特点 数据量大不是问题,数据倾斜是个问题. jobs数比较多的作业效率相对比较低,比如即使有几百万的表,如果多次关联多次汇总,产生十几个jobs,耗时很长.原因是map re ...
- wget命令行本地克隆一个网站
命令: wget -k -p -nH -N http://www.baidu.com -k 把已下载文件中的所有链接都转换为本地引用,不在依赖原始或在线内容 -p 下载所有必要文件,确保离线可用,包 ...