Tornado 高并发源码分析之六---异步编程的几种实现方式

方式一：通过线程池或者进程池

导入库futures是python3自带的库，如果是python2，需要pip安装future这个库

备注：进程池和线程池写法相同

 from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
 from tornado.concurrent import run_on_executor

 def doing(s):
     print('xiumian--{}'.format(s))
     time.sleep(s)
     return s

 class MyMainHandler(RequestHandler):
     executor = ProcessPoolExecutor(2)   #新建一个进程池，静态变量，属于类，所以全程只有这个几个进程，不需要关闭，如果放在__init__中，则属于对象，每次请求都会新建pool，当请求增多的时候，会导致今天变得非常多，这个方法不可取

     @gen.coroutine
     def get(self, *args, **kwargs):
         print('开始{}'.format(self.pool_temp))
         a = yield self.executor.submit(doing, 20)
         print('进程 %s'  % self.executor._processes)
         self.write(str(a))
         print('执行完毕{}'.format(a))

    @run_on_executor       #tornado 另外一种写法，需要在静态变量中有executor的进程池变量
     def post(self, *args, **kwargs):
 a = yield doing(20)

方式二：Tornado + Celery + RabbitMQ 实现

使用Celery任务队列，Celery 只是一个任务队列，需要一个broker媒介，将耗时的任务传递给Celery任务队列执行，执行完毕将结果通过broker媒介返回。官方推荐使用RabbitMQ作为消息传递，redis也可以

 

一、Celery 介绍：

1.1、注意：

1、当使用RabbitMQ时，需要按照pika第三方库，pika0.10.0存在bug，无法获得回调信息，需要按照0.9.14版本即可

2、tornado-celery 库比较旧，无法适应Celery的最新版，会导致报无法导入task Producter包错误，只需要将celery版本按照在3.0.25就可以了

 

1.2、关于配置：

单个参数配置：

  app.conf.CELERY_RESULT_BACKEND = 'redis://localhost:6379/0' 

多个参数配置：

 app.conf.update(
     CELERY_BROKER_URL = 'amqp://guest@localhost//',
     CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'
 )

从配置文件中获取：（将配置参数写在文件app.py中）

 BROKER_URL='amqp://guest@localhost//'
 CELERY_RESULT_BACKEND='redis://localhost:6379/0'
 app.config_from_object('celeryconfig')

 

 

二、案例

2.1、启动一个Celery 任务队列，也就是消费者：

 from celery import Celery
 celery = Celery('tasks', broker='amqp://guest:guest@119.29.151.45:5672', backend='amqp')  使用RabbitMQ作为载体, 回调也是使用rabbit作为载体

 @celery.task(name='doing')   #异步任务，需要命一个独一无二的名字
 def doing(s, b):
     print('开始任务')
     logging.warning('开始任务--{}'.format(s))
     time.sleep(s)
     return s+b

命令行启动任务队列守护进程，当队列中有任务时，自动执行 （命令行可以放在supervisor中管理）

--loglevel=info --concurrency=5

记录等级，默认是concurrency：指定工作进程数量，默认是CPU核心数

 

2.2、启动任务生产者

 import tcelery
 tcelery.setup_nonblocking_producer()  #设置为非阻塞生产者，否则无法获取回调信息

 class MyMainHandler(RequestHandler):

     @web.asynchronous
     @gen.coroutine
     def get(self, *args, **kwargs):
         print('begin')
         result = yield gen.Task(sleep.apply_async, args=[10])   #使用yield 获取异步返回值，会一直等待但是不阻塞其他请求
         print('ok--{}'.format(result.result))     #返回值结果

        # sleep.apply_async((10, ), callback=self.on_success)
        # print('ok -- {}'.format(result.get(timeout=100)))#使用回调的方式获取返回值,发送任务之后，请求结束，所以不能放在处理tornado的请求任务当中，因为请求已经结束了，与客户端已经断开连接，无法再在获取返回值的回调中继续向客户端返回数据

         # result = sleep.delay(10)    #delay方法只是对apply_async方法的封装而已
         # data = result.get(timeout=100)  #使用get方法获取返回值，会导致阻塞，相当于同步执行

     def on_success(self, response):    #回调函数
         print ('Ok-- {}'.format(response))