除了cPickle,cjson外还有没有更高效点的序列化库了

http://blog.csdn.net/chen_lovelotus/article/details/7228745

msgpack最快,而且是跨语言的,二进制,但只能打包简单的list,dict,int,string,unicode,在memcache之类的 
字符串协议里会有问题。 
marshal其次,也是二进制的,可以打包大多数python对象,缺点同msgpack,另文档上说各版本的python实现会不一样,但我这测下 
来三台机器分别是stackless 2.6.5 2.7.2 python 2.6.2之间都没出现兼容问题 
tnetstring速度第三,字符打包,可以完美支持各种协议的后端,但有一个致命的缺点就是支持类型太少,比如下面的代码mongo里出来的 
unicode就无法打包。 
以上三者速度差距很小很小。

bson,cPickle,json都很慢。。直接pass

cPickle_test used time 1.32382702827s 
marshal_test used time 0.29944396019s 
msgpackb_test used time 0.23744893074s

#!/usr/bin/env Python 
#coding=utf-8 
''' 
Created on Jul 13, 2011

@author: apple 
''' 
import time,functools 
import cPickle,marshal,tnetstring,bson,msgpack

import pymongo

data = pymongo.Connection().freeasker.question.find_one() 
data.pop('_id')

def timeit(func): 
    @functools.wraps(func) 
    def __do__(*args,**wk): 
        start = time.time() 
        result= func(*args,**wk) 
        print '%s used time %ss'%(func.__name__,time.time()-start) 
        return result 
    return __do__

@timeit 
def cPickle_test(c,data): 
    for i in xrange(c): 
        s = cPickle.dumps(data) 
        cPickle.loads(s)

@timeit 
def marshal_test(c,data): 
    for i in xrange(c): 
        s = marshal.dumps(data) 
        marshal.loads(s)

@timeit 
def tnetstring_test(c,data): 
    for i in xrange(c): 
        s = tnetstring.dumps(data) 
        tnetstring.loads(s)

@timeit 
def bson_test(c,data): 
    for i in xrange(c): 
        s = bson.dumps(data) 
        bson.loads(s)

@timeit 
def msgpackb_test(c,data): 
#    packer = msgpack.Packer() 
    for i in xrange(c): 
        s = msgpack.packb(data) 
        msgpack.unpackb(s)

@timeit 
def msgpack_test(c,data): 
    packer = msgpack.Packer() 
    for i in xrange(c): 
        s = packer.pack(data) 
        packer.unpack(s)

if __name__ == '__main__': 
    count = 10000 
    data = pymongo.Connection().freeasker.question.find_one() 
    data.pop('_id') 
    cPickle_test(count, data) 
    marshal_test(count, data) 
#    tnetstring_test(count, data) 
#    bson_test(count, data) 
#    msgpack_test(count, data) 
    msgpackb_test(count, data)

除了cPickle,cjson外还有没有更高效点的序列化库了的更多相关文章

  1. MySQL比like语句更高效写法locate position instr find_in_set

    你是否一直在寻找比MySQL的LIKE语句更高效的方法的,下面我就为你介绍几种. LIKE语句 SELECT `column` FROM `table` where `condition` like  ...

  2. 更强、更稳、更高效:解读 etcd 技术升级的三驾马车

    点击下载<不一样的 双11 技术:阿里巴巴经济体云原生实践> 本文节选自<不一样的 双11 技术:阿里巴巴经济体云原生实践>一书,点击上方图片即可下载! 作者 | 陈星宇(宇慕 ...

  3. [源码解析]为什么mapPartition比map更高效

    [源码解析]为什么mapPartition比map更高效 目录 [源码解析]为什么mapPartition比map更高效 0x00 摘要 0x01 map vs mapPartition 1.1 ma ...

  4. 阿里面试:MySQL如何设计索引更高效?

    有情怀,有干货,微信搜索[三太子敖丙]关注这个不一样的程序员. 本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试完整考点.资料以及我的系列文章. ...

  5. 想要更高效地找到信息,你需要掌握这些搜索技巧 (google or baidu)

    想要更高效地找到信息,你需要掌握这些搜索技巧 (google or baidu) 转载:https://tingtalk.me/search-tips/ 在大型局域网(互联网)的今天,你以为搜索是一门 ...

  6. 如何更高效地定制你的bootstrap

    bootstrap已经作为前端开发必不可少的框架之一,应用bootstrap使得我们对布局.样式的设定变得非常简单.但bootstrap提供的默认样式往往不能满足我们的需求,从而定制化bootstra ...

  7. documnent.getElementbyId(‘myId’)和$(‘#myId’)哪种更高效?

    第一种更高效,直接调用javascript引擎.

  8. 使jQuqer更高效的方法

    讨论 jQuery 和 javascript 性能的文章并不罕见.然而,本文我计划总结一些速度方面的技巧和我本人的一些建议,来提升你的 jQuery 和 javascript 代码.好的代码会带来速度 ...

  9. 为什么说Parcelable 比Serializable更高效

    本文转载自:http://blog.csdn.net/androidzhaoxiaogang/article/details/8172539 什么是序列化,实现序列化的目的是什么? 讨论这个问题之前, ...

随机推荐

  1. POJ 1698 Alice's Chance

    题目:Alice 要拍电影,每一天只能参与一部电影的拍摄,每一部电影只能在 Wi 周之内的指定的日子拍摄,总共需要花 Di 天时间,求能否拍完所有电影. 典型的二分图多重匹配,这里用了最大流的 din ...

  2. sql ---- count 误区

    select count(字段名) from table group by 字段; 分组后的内容统计. count统计的字段是 不包括空的数据.

  3. 使用Bind服务配置DNS服务器

    bind是什么 bind是DNS服务器软件 ,他的服务名称是named 功能区分: 正向解析:根据主机名查找对应的IP地址 反向解析:根据IP地址查找对应的主机名(域名) 工作形式上区分: 主服务器: ...

  4. hdu5819

    补多校系列,具体见多校题解http://www.cnblogs.com/duoxiao/p/5777700.html 值得注意的是如果当前i初始向左,前i个骑士最终只有1个向右 对于f[i][1]状态 ...

  5. Java中导入导出Excel -- POI技术

    一.介绍: 当前B/S模式已成为应用开发的主流,而在企业办公系统中,常常有客户这样子要求:你要把我们的报表直接用Excel打开(电信系统.银行系统).或者是:我们已经习惯用Excel打印.这样在我们实 ...

  6. postman用法总结+newman持续集成

    一.postman 1.GET 请求:点击Params,输入参数及value,可输入多个显示在URL链接上(GET请求的请求头与请求参数如在接口文档中无特别声明时可以不填) 2.POST请求:在bod ...

  7. python实用技巧 : Filtering os.walk(转)

    ''' Created on Mar 7, 2010 @author: Diego 需求: 得到某个目录下, 符合过滤条件的文件夹/文件.实现: 将os.walk再次包装. TODO: 不知道本程序的 ...

  8. MySQL的数据类型和建库策略详解

    无论是在小得可怜的免费数据库空间或是大型电子商务网站,合理的设计表结构.充分利用空间是十分必要的.这就要求我们对数据库系统的常用数据类型有充分的认识.下面我就将我的一点心得写出来跟大家分享. 一.数字 ...

  9. 洛谷——P1033 自由落体

    P1033 自由落体 题目描述 在高为 H 的天花板上有 n 个小球,体积不计,位置分别为 0,1,2,….n-1.在地面上有一个小车(长为 L,高为 K,距原点距离为 S1).已知小球下落距离计算公 ...

  10. (转) C#解惑:HashSet<T>类

    HashSet<T>是一个相对“冷门”的类型,平时在项目中用得不多,但是在特定的业务中可以大用. 先来了解下HashSet<T>类,主要被设计用来存储集合,做高性能集运算,例如 ...