Tornado 中 PyMongo Motor MongoEngine 的性能测试
最近在使用 Tornado 开发 API,数据库选择了 MongoDB,因为想使用 Geo 搜索的特性。Python 可供选择的 MongoDB Drivers 可以在官网查找。
在这些 Drivers 中,GitHub 上 Star 数最多的有 3 个:
- PyMongo
- Motor (适用于 Tornado 的异步 driver)
- MongoEngine (ORM-like Layers)
Motor 和 MongoEngine 都是基于 PyMongo,Motor 的最新版是基于 PyMongo 2.8,Motor 的优势就在于异步,而 PyMongo 在 2.2 以后的版本,就开始支持 gevent。
MongoEngine 借鉴了 Django 的 ORM,提供了一个 ORM-like layer,官方称作 Document-Object Mapper,可以像使用 Django 的 ORM 一样,简单的操作和处理数据。
面对这么多选择,就想探究这些选择都有哪些特点,性能如何,所以有了这篇文章。你可以在这里找到所有的测试代码和测试数据
https://github.com/restran/tornado-mongodb-performance-test
HTTP 性能测试工具
HTTP 性能测试工具可以选择:
- pylot (由 Python 开发)
- ab - Apache HTTP server benchmarking tool
这里的测试使用 ab,安装方法
sudo apt-get install apache2-utils
测试配置
测试的配置如下
- Tornado 程序位于一台 Ubuntu 14.04 x86_64 的虚拟机,2 GB 内存,2 核心 CPU,2.59 GHz。
- MongoDB 3.06 x86_64 Windows 版,在一台 Windows 2008 R2 的虚拟机,4 GB 内存,2 核心 CPU,2.39 GHz。
- MongoDB 数据库中已经预先插入 100W 条数据,以下所有的实验都是测试从数据库中读数据的性能。
- Tornado 使用最新的 4.2.1 版。
数据库中的数据是这个样子的
{
"_id": {
"$oid": "5630cd05f7732b28a81f57fa"
},
"title": "Post title",
"created": {
"$date": "2015-10-28T21:26:29.271+0000"
}
}
Tornado 中查询数据的 Handler 是这个样子的,以 PyMongo 3.0 为例。
class QueryHandler(APIHandler):
def get(self):
cursor = self.database.post.find(limit=30)
json_data = []
for t in cursor:
j = {
'_id': text_type(t['_id']),
'title': t['title'],
'created': t['created'].strftime('%Y-%m-%d %H:%M:%S')
if t['created'] else None
}
json_data.append(j)
self.success(json_data)
测试说明
在实际测试的时候,发现在 PyMongo 2.8 的环境下,PyMongo 2.8 和 MongoEngine 性能都很差,因此设置了两组测试。
测试 1
总共 10000 个请求,每次并发 100 个(同时发送 100 个),使用如下命令
ab -n 10000 -c 100 http://127.0.0.1:8500/api/posts/query/
实验对象:
- Motor(Mortor 最新版是基于 PyMongo 2.8)
- PyMongo 3.0
- PyMongo 3.0 + gevent(PyMongo 支持 gevent)
- MongoEngine + PyMongo 3.0
PyMongo 开启 gevent 的方法,可以参考
https://api.mongodb.org/python/current/examples/gevent.html
测试 2
总共 100 个请求,每次并发 10 个(同时发送 10 个),使用如下命令
ab -n 100 -c 10 http://127.0.0.1:8500/api/posts/query/
实验对象:
- PyMongo 2.8
- PyMongo 2.8 + gevent
- MongoEngine + PyMongo 2.8
Virtualenv
由于要使用不同版本的 PyMongo,因此使用了 Virtualenv 来创建不同的环境。
Windows 环境下的 virtualenv,命令会有些不一样,这里的命令适用于 Linux。
安装
sudo pip install virtualenv
创建一个虚拟的 Python 环境
virtualenv env_name
创建测试需要的两个环境
virtualenv pymongo2.8
virtualenv pymongo3.0
激活虚拟环境,安装相应的包
cd pymongo2.8
source bin/activate
pip install pymongo==2.8.0 tornado mongoengine motor gevent
对虚拟环境 pymongo3.0 执行相应的操作
cd pymongo3.0
source bin/activate
pip install pymongo==3.0.6 tornado mongoengine gevent
用虚拟环境中的 Python 启动 Tornado 程序
/path/to/pymongo2.8/bin/python pymongo2.8_app.py
测试结果
先给出两组测试结果的数据:完成所有请求的耗时,吞吐量(每秒处理的请求数)
从测试的结果来看,Motor 的性能确实很好,gevent 几乎没有性能提升,PyMongo 2.8 的性能很差,MongoEngine 是在 PyMongo 的基础上有封装了一层,但是两者性能相差不大。
Tornado 的单线程的,同步的数据库 Driver 会将 Tornado 阻塞住,导致无法处理其他的请求。
最后给出一组数据,百分比请求的最大响应时间。下面这张图,左边坐标的单位是毫秒。例如 Motor 有 50% 的请求是在 376 毫秒内完成的。
PyMongo 2.8,PyMongo 2.8 + gevent,MongoEngine + PyMongo 2.8 三条线重叠在了一起,它们之间的性能相当。
Tornado 中 PyMongo Motor MongoEngine 的性能测试的更多相关文章
- 在 tornado 中异步无阻塞的执行耗时任务
在 tornado 中异步无阻塞的执行耗时任务 在 linux 上 tornado 是基于 epoll 的事件驱动框架,在网络事件上是无阻塞的.但是因为 tornado 自身是单线程的,所以如果我们在 ...
- Tornado 中的 get() 或 post() 方法
---恢复内容开始--- Tornado 中的 get() 或 post() 方法 请求处理程序和请求参数 Tornado 的 Web 程序会将 URL 或者 URL 范式映射到 tornado.we ...
- tornado中使用torndb,连接数过高的问题
问题背景 最近新的产品开发中,使用了到了Tornado和mysql数据库.但在基本框架完成之后,我在开发时候发现了一个很奇怪的现象,我在测试时,发现数据库返回不了结果,于是我在mysql中输入show ...
- 在tornado中使用celery实现异步任务处理之中的一个
一.简单介绍 tornado-celery是用于Tornado web框架的非堵塞 celeryclient. 通过tornado-celery能够将耗时任务增加到任务队列中处理, 在celery中创 ...
- 深入tornado中的协程
tornado使用了单进程(当然也可以多进程) + 协程 + I/O多路复用的机制,解决了C10K中因为过多的线程(进程)的上下文切换 而导致的cpu资源的浪费. tornado中的I/O多路复用前面 ...
- 深入tornado中的TCPServer
1 梳理: 应用层的下一层是传输层,而http协议一般是使用tcp的,所以实现tcp的重要性就不言而喻. 由于tornado中实现了ioloop这个反应器以及iostream这个对连接的异步读写,所以 ...
- 深入tornado中的http1connection
前言 tornado中http1connection文件的作用极其重要,他实现了http1.x协议. 本模块基于gen模块和iostream模块实现异步的处理请求或者响应. 阅读本文需要一些基础的ht ...
- 基于python3.x,使用Tornado中的torndb模块操作数据库
目前Tornado中的torndb模块是不支持python3.x,所以需要修改部分torndb源码即可正常使用 1.开发环境介绍 操作系统:win8(64位),python版本:python3.6(3 ...
- Python设计模式中单例模式的实现及在Tornado中的应用
单例模式的实现方式 将类实例绑定到类变量上 class Singleton(object): _instance = None def new(cls, *args): if not isinstan ...
随机推荐
- 配置搭建与使用redis
redis单点.redis主从.redis哨兵 sentinel,redis集群cluster配置搭建与使用 redis是如今被互联网公司使用最广泛的一个中间件,我们打开GitHub搜索redis,边 ...
- Ubuntu配置操作总结
一.fstab和mtab的区别 /etc/fstab:是开机自动挂载的配置文件,在开机时起作用.相当于启动linux的时候,自动使用检查分区的fsck命令和挂载分区的mount命令,检查分区和挂载分区 ...
- sql server CLR
1. 配置sql server 启用CLR 在SQL Server2005/2008里面,CLR默认是关闭的.可以使用如下SQL语句开启CLR. sp_configure 'show advanced ...
- SQL Server MERGE
Merge关键字是一个神奇的DML关键字.它在SQL Server 2008被引入,它能将Insert,Update,Delete简单的并为一句.MSDN对于Merge的解释非常的短小精悍:”根据与源 ...
- MHA之Binlog Dump (GTID)僵尸进程清理
master存活的状态下切换 masterha_master_switch --conf=/etc/masterha/app1.cnf --master_state=alive --new_mas ...
- 【转】每天一个linux命令(53):route命令
原文网址:http://www.cnblogs.com/peida/archive/2013/03/05/2943698.html Linux系统的route命令用于显示和操作IP路由表(show / ...
- 常用Web框架
1.Aliceui Aliceui是支付宝的样式解决方案,是一套精选的基于 spm 生态圈的样式模块集合,是 Arale 的子集,也是一套模块化的样式命名和组织规范,是写 CSS 的更好方式. git ...
- linux 标准I/O (一)
在前面<UNIX环境高级编程----文件描述符浅析>一文中所讲的I/O函数都是针对文件描述符.而对于标准I/O库,它们的操作都是围绕流来进行的.当用标准I/O库打开或创建一个文件时,我们已 ...
- 大数据应用之HBase数据插入性能优化实测教程
引言: 大家在使用HBase的过程中,总是面临性能优化的问题,本文从HBase客户端参数设置的角度,研究HBase客户端数据批量插入性能优化的问题.事实胜于雄辩,数据比理论更有说服力,基于此,作者设计 ...
- fiddler链接手机
fiddler设置: 见python_request-上海悠悠 哪里有说 手机和window设置: 1,要把电脑防火墙关掉 2.手机访问http://ip:port安装Fiddler证书,特别注意IO ...