在Django中使用zerorpc

前言

随着系统架构从集中式单点服务器到分布式微服务方向的迁移,RPC是一个不可回避的话题.如何在系统中引入对开发者友好,性能可靠的RPC服务是一个值得深思的问题.

在调研了Thrift,gRPC,zerorpc等方案后,基于以下2点最后选择了zerorpc:

  • Thrift,gRPC学习成本高,开发者需要重新定义返回结构增加了工作量
  • zerorpc完美契合Python,能快速开发,并且支持Node.js,适用于当前技术栈

问题

虽然zerorpc可以直接嵌入当前系统框架中,但是还是有一些问题需要去考虑解决

  • rpc 接口如何定义

  • rpc 服务如何启动

  • 高并发情况下客户端的可靠性

服务端

在当前的系统中大量使用Celery,djang-celery定义Task的方式是在每个install app中定义tasks.py文件,然后通过@task装饰器来生成Task.所以这里为了方便定义rpc interface设计一套类似于Celery的规范.需要输出rpc interface的app下面创建rpcs.py文件

# rpcs.py
# coding: utf-8 from eebo.core.utils.zrpc import rpc
from .models import Ticket
from .serializers import TicketSerializer @rpc.register()
def get_ticket():
t = Ticket.objects.first()
s = TicketSerializer(t)
return s.data @rpc.register(name='ticket_list', stream=True)
def get_tickets(n):
qs = Ticket.objects.all()[:n]
s = TicketSerializer(qs, many=True)
return iter(s.data)

  

rpc.register装饰器用来注册函数到rpc服务上,可选参数:

  • name: 客户调用方法名称, 没有写的情况下就是func name如get_ticket
  • stream: 默认False, 如果为True, 则使用zerorpc的流式响应传输, 数据量比较大的情况时使用, 返回可迭代对象

我们来看看eebo.core.utils.zrpc如何来实现这个注册过程:

# coding: utf-8

import zerorpc

class RPC(object):
@classmethod
def register(cls, name=None, stream=False):
def _wrapper(func):
setattr(cls, name or func.__name__, zerorpc.stream(
lambda self, *args, **kwargs: func(*args, **kwargs)) if stream
else staticmethod(func))
return func return _wrapper rpc = RPC()

  

通过一个类方法来往类上面绑定方法,需要注意的是name的定义必须是全局唯一的.

现在我们有了定义rpc interface的方法,下面来看看如何启动rpc server.

# runrpc.py
# coding: utf-8 import re
import sys
import imp as _imp
import importlib
from django.conf import settings
from django.core.management.base import BaseCommand, CommandError from eebo.core.utils.zrpc import rpc, ServerExecMiddleware naiveip_re = re.compile(r"""^(?:
(?P<addr>
(?P<ipv4>\d{1,3}(?:\.\d{1,3}){3}) | # IPv4 address
(?P<ipv6>\[[a-fA-F0-9:]+\]) | # IPv6 address
(?P<fqdn>[a-zA-Z0-9-]+(?:\.[a-zA-Z0-9-]+)*) # FQDN
):)?(?P<port>\d+)$""", re.X) class Command(BaseCommand):
help = "Starts a lightweight RPC server for development." default_addr = '127.0.0.1'
default_port = '4242' def add_arguments(self, parser):
parser.add_argument('addrport',
nargs='?',
help='Optional port number, or ipaddr:port') def handle(self, *args, **options): self.use_ipv6 = False
if not options['addrport']:
self.addr = ''
self.port = self.default_port
else:
m = re.match(naiveip_re, options['addrport'])
if m is None:
raise CommandError('"%s" is not a valid port number '
'or address:port pair.' %
options['addrport'])
self.addr, _ipv4, _ipv6, _fqdn, self.port = m.groups()
if not self.port.isdigit():
raise CommandError("%r is not a valid port number." %
self.port)
if self.addr:
if _ipv6:
self.addr = self.addr[1:-1]
self.use_ipv6 = True
self._raw_ipv6 = True
elif self.use_ipv6 and not _fqdn:
raise CommandError('"%s" is not a valid IPv6 address.' %
self.addr)
if not self.addr:
self.addr = self.default_addr_ipv6 if self.use_ipv6 else self.default_addr
self._raw_ipv6 = self.use_ipv6
self.run(**options) def run(self, **options):
"""Run the server, using the autoreloader if needed."""
self.autodiscover_rpc() server = self.get_server() try:
server.run()
except KeyboardInterrupt:
server.close()
sys.exit(0) def autodiscover_rpc(self, related_name='rpcs'):
for pkg in settings.INSTALLED_APPS:
try:
pkg_path = importlib.import_module(pkg).__path__
except AttributeError:
continue try:
_imp.find_module(related_name, pkg_path)
except ImportError:
continue try:
importlib.import_module('{0}.{1}'.format(pkg, related_name))
except ImportError:
pass def get_server(self, *args, **options):
"""Return the default zerorpc server for the runner."""
import zerorpc
server = zerorpc.Server(rpc, heartbeat=30)
server.bind("tcp://{0}:{1}".format(self.addr, self.port))
# close django old connections
zerorpc.Context.get_instance().register_middleware(ServerExecMiddleware()) # for sentry
try:
from raven.contrib.zerorpc import SentryMiddleware
if hasattr(settings, 'RAVEN_CONFIG'):
sentry = SentryMiddleware(hide_zerorpc_frames=False,
dsn=settings.RAVEN_CONFIG['dsn'])
zerorpc.Context.get_instance().register_middleware(sentry)
except ImportError:
pass return server

  

runrpc.py是一个Django management commands 文件需要放到某个install app目录的management/commands下面,启动服务器:

python manage.py runrpc 0.0.0.0:4242
  • autodiscover_rpc 自动发现rpc interface注册函数
  • get_server 生成zerorpc server对象

get_server中对zerorpc注册了2个中间件,SentryMiddleware用于捕获rpc interface抛出的异常发送到sentry,ServerExecMiddleware用于处理Django db connection,看看代码:

# zrpc.py
# coding: utf-8 from django.db import close_old_connections class ServerExecMiddleware(object): def server_before_exec(self, request_event):
close_old_connections() def server_after_exec(self, request_event, reply_event):
close_old_connections()

  

在每个rpc interface被调用前与调用后都调用close_old_connections关闭db connection,这里是为了实现django.db中对请求处理前与处理后注册信号:

django.db.__init__.py

signals.request_started.connect(close_old_connections)
signals.request_finished.connect(close_old_connections)

  

目的是保证在rpc interface中使用ORM时,connection没有超时断开.

客户端

由于rpc的调用是阻塞的,不能全局只创建一个client.但是也不能每个请求都创建client,所以这里参考redis-py的client实现,定义一个支持连接池的zerorpc client.

# zrpc.py
# coding: utf-8 import os
import zerorpc from redis.connection import BlockingConnectionPool
from gevent.queue import LifoQueue class Connection(object):
def __init__(self, connect_to, heartbeat=30):
self.client = zerorpc.Client(heartbeat=heartbeat)
self.client.connect(connect_to)
self.pid = os.getpid() def disconnect(self):
self.client.close() class RPCClient(object):
def __init__(self, connect_to, heartbeat=30):
self.connection_pool = BlockingConnectionPool(connection_class=Connection,
queue_class=LifoQueue, timeout=heartbeat, connect_to=connect_to, heartbeat=heartbeat) def close(self):
self.connection_pool.disconnect() def __getattr__(self, name):
return lambda *args, **kwargs: self(name, *args, **kwargs) def __call__(self, name, *args, **kwargs):
connection = self.connection_pool.get_connection('')
try:
return getattr(connection.client, name)(*args, **kwargs)
finally:
self.connection_pool.release(connection)

  

这里直接复用了redis-py定义的连接池,当前系统使用gunicorn + gevent的方式启动Django服务,所以queue_class使用了gevent的LifoQueue.

在使用过程中还发现了这个问题:

https://github.com/0rpc/zerorpc-python/issues/123

需要打个补丁解决:

import zmq.green as zmq

# patch zmq garbage-collection Thread to use green Context:
from zmq.utils.garbage import gc
gc.context = zmq.Context()

  

总结

技术的选型需要契合项目实际情况,不要盲目上新技术引入不必要的成本.为了推广方案,必须全局的考虑方案是否易使用,是否易部署.

完整代码:

https://gist.github.com/zhu327/5b6c06eccc5758d4e642ee899a518687

在Django中使用zerorpc的更多相关文章

  1. 异步任务队列Celery在Django中的使用

    前段时间在Django Web平台开发中,碰到一些请求执行的任务时间较长(几分钟),为了加快用户的响应时间,因此决定采用异步任务的方式在后台执行这些任务.在同事的指引下接触了Celery这个异步任务队 ...

  2. Mysql事务探索及其在Django中的实践(二)

    继上一篇<Mysql事务探索及其在Django中的实践(一)>交代完问题的背景和Mysql事务基础后,这一篇主要想介绍一下事务在Django中的使用以及实际应用给我们带来的效率提升. 首先 ...

  3. Mysql事务探索及其在Django中的实践(一)

    前言 很早就有想开始写博客的想法,一方面是对自己近期所学知识的一些总结.沉淀,方便以后对过去的知识进行梳理.追溯,一方面也希望能通过博客来认识更多相同技术圈的朋友.所幸近期通过了博客园的申请,那么今天 ...

  4. Django 中url补充以及模板继承

    Django中的URL补充 默认值 在url写路由关系的时候可以传递默认参数,如下: url(r'^index/', views.index,{"name":"root& ...

  5. django中css问题

    django中加载的css,js,图片其中js和图片可以加载出来,而css没有效果.原因如下: 这是因为你安装的某些IDE 或者其他更改了注册表导致的系统的注册表\HKEY_CLASSES_ROOT\ ...

  6. 在Django中进行注册用户的邮件确认

    之前利用Flask写博客时(http://hbnnlove.sinaapp.com),我对注册模块的逻辑设计很简单,就是用户填写注册表单,然后提交,数据库会更新User表中的数据,字段主要有用户名,哈 ...

  7. django中tinymce添加图片上传功能

    主要参考以下: https://pixabay.com/en/blog/posts/direct-image-uploads-in-tinymce-4-42/ http://blog.csdn.net ...

  8. django中migration文件是干啥的

    昨天很蠢的问leader git push的时候会不会把本地的数据库文件上传上去,意思是django中那些migration文件修改之后会不会上传. 然后得知不会,因为所有的数据库都存在本机的mysq ...

  9. Django中Celery的实现介绍(一)

    Django中Celery的实现 Celery官网http://www.celeryproject.org/ 学习资料:http://docs.jinkan.org/docs/celery/ Cele ...

随机推荐

  1. vnc mirror driver

    2012年4月,大二下学期,平静的课堂上老师通知了一个比赛...第一届大学生软件设计大赛!然后我选了第六题:windows屏幕录像.就这样我就开始了我的vc开发生涯. 之前学了c/c++作为基础,自认 ...

  2. 关于c++、go、nodejs、python的计算性能测试,结果令人惊讶

    计算性能在计算密集型的服务上,是非常重要的, 一直以为,在计算性能上,肯定是C++  > go > nodejs >= python 但测试结果却让人大跌眼镜!!! 实际的结果是: ...

  3. centos使用docker安装mysql5.7

    搜索镜像 docker search mysql 拉取镜像 docker pull mysql:5.7 启动mysql镜像 docker run -p 3306:3306 --name mysql - ...

  4. 【LeetCode】374. Guess Number Higher or Lower 解题报告(Java & Python)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 日期 题目地址:https://leetcode.c ...

  5. 1109 01组成的N的倍数

    1109 01组成的N的倍数 基准时间限制:1 秒 空间限制:131072 KB  给定一个自然数N,找出一个M,使得M > 0且M是N的倍数,并且M的10进制表示只包含0或1.求最小的M.   ...

  6. centos 各版本下载

    地址: go to http://vault.centos.org/ for packages.

  7. 『学了就忘』vim编辑器基础 — 94、vim编辑器介绍

    目录 1.vim编辑器简介 2.vim的工作模式 (1)命令模式 (2)输入模式 (3)最后行模式(末行模式) 1.vim编辑器简介 vim是一个全屏幕纯文本(绘个表格或者插个图片就不要想了)编辑器, ...

  8. 记一次引入Elasticsearch的系统架构实战

    前言 我曾经面试安踏的技术岗,当时面试官问了我一个问题:如果你想使用某个新技术但是领导不愿意,你怎么办? 对于该问题我相信大家就算没有面试被问到过,现实工作中同事之间的合作也会遇到. 因此从我的角度重 ...

  9. Python调用Prometheus监控数据并计算

    Prometheus是什么 Prometheus是一套开源监控系统和告警为一体,由go语言(golang)开发,是监控+报警+时间序列数 据库的组合.适合监控docker容器.因为kubernetes ...

  10. CS5212 pin to pin 替代RTD2166|DP转VGA芯片|CS5212转换电路设计方法

    CS5212适用于设计DP转VGA转换电路,主要用在嵌入式单片机基于工业机或者INTEL X86主板上面,也适用于多个电子配件市场和显示器应用程序,如笔记本电脑.主板.台式机.适配器.转换器和转接器. ...