使用celery的backend异步获取结果
惯例先贴出相关参考的文档:
http://docs.celeryproject.org/en/stable/getting-started/next-steps.html
http://docs.celeryproject.org/en/stable/userguide/tasks.html#task-result-backends
这篇紧接上篇。
其实我们一般对这种异步任务需求是可能需要回调的。比如说我现在有一个支付的异步任务发送到了队列。
生产者不需要等待,在发送到队列之后就告诉用户已经支付成功了或者说正在支付稍后再来查看状态。
这个时候celery的worker获取到这个任务之后开始处理,等一会儿他处理完毕之后可能需要将这个处理完毕的结果返回给发送给他的生产者。
那么问题来了,如何告知生产者?因为生产者生产完消息之后就结束了。
那么这个时候就使用到了backend这个参数了:
当我们像指明broker一样指明了backend之后,当worker运行完结果之后就会把他返回给生产者的唯一id作为键,将结果作为值传递给你设置的worker(backend测试环境为redis).这个时候你无论在什么时候只要拿着这个值去redis里面查找到结果就行了。比如你在执行一个任务,你可以设置一个周期性轮询,去查看这个结果是否已经被生产出来,如果生产出来便取到该值做相应的操作即可。下面为具体操作实例:
先贴出一个我统一使用的配置文件
# file_name=init_celery.py
# coding: utf-8
from celery import Celery BROKER_URL = 'redis://:password@localhost:6379/0'
BACKEND_URL = 'redis://:password@localhost:6379/1' # Add tasks here
CELERY_IMPORTS = (
'try',
) celery = Celery('celery',
broker=BROKER_URL,
backend=BACKEND_URL,
include=CELERY_IMPORTS,) celery.conf.update(
CELERY_ACKS_LATE=True,
CELERY_ACCEPT_CONTENT=['pickle', 'json'],
CELERYD_FORCE_EXECV=True,
CELERYD_MAX_TASKS_PER_CHILD=500,
BROKER_HEARTBEAT=0,
)
然后是celery任何函数
from init_celery import celery @celery.task
def add(x, y):
result = x + y
print result
return result
最后我们调用这个函数执行异步操作
from tasks import add def notify(a, b):
result = add.apply_async((a, b), queue='laplace')
return result if __name__ == '__main__':
haha = notify(6, 7)
print haha.status
print haha.id
print haha.get(timeout=1)
这里注意我使用了task.apply_async这个函数。其实效果根task.delay差不多只是可以指定更多的参数。 这里我指定了使用的队列为laplace队列,所以对应的监听的队列也必须使用参数-Q监听对应的队列,才能获得结果。
这里返回的result其实就是一个唯一的<class 'celery.result.AsyncResult'>对象。
我们可以对这个对象查看他的状态,id 以及使用get去得到他的具体值。
合理的使用这个get方法就可以取得woker处理之后的值,同时在redis可以清楚的看到,worker处理之后自动帮你在redis里面存储了

这么介绍之后对于backend是不是已经一目了然了呢?其实我在进行之类操作的时候还踩了一些配置文件方面的坑,
所以一定要仔细的参考官方文档进行操作。和查看更多你需要用到的功能和参数。
使用celery的backend异步获取结果的更多相关文章
- Celery - 一个懂得 异步任务 , 定时任务 , 周期任务 的芹菜
1.什么是Celery?Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由 1.用户任务 app 2.管道 broker 用于存储 ...
- Django+Celery+xadmin实现异步任务和定时任务
Django+Celery+xadmin实现异步任务和定时任务 关注公众号"轻松学编程"了解更多. 一.celery介绍 1.简介 [官网]http://www.celerypro ...
- django celery的分布式异步之路(一) 起步
如果你看完本文还有兴趣的话,可以看看进阶篇:http://www.cnblogs.com/kangoroo/p/7300433.html 设想你遇到如下场景: 1)高并发 2)请求的执行相当消耗机器资 ...
- celery+django+mq 异步任务与定时任务
参考 celerypip install celery==4.1.1https://www.cnblogs.com/wdliu/p/9530219.htmlhttps://www.jianshu.co ...
- Curator 异步获取结果
原声的ZooKeeper 的CRUD API有同步和异步之分,对于异步API,需要传递AsyncCallback回调.对于getData,getChildren,exists这三个API,还可以设置W ...
- jquery的异步获取返回值为中文时乱码解决方法
用jqgrid异步获取列表值,遇到个问题,服务器端从数据库取到的数据没有出现中文乱码问题(日志打出来是没有乱码的),但是异步传到客户的时候却出现了乱码. 服务器端已经编码过了(UTF-8编码).开始一 ...
- 分享一个安卓中异步获取网络图片并自适应大小的第三方程序(来自github)
安卓中获取网络图片,生成缓存 用安卓手机,因为手机流量的限制,所以我们在做应用时,要尽量为用户考虑,尽量少耗点用户的流量,而在应用中网络图片的显示无疑是消耗流量最大的,所以我们可以采取压缩图片或者将图 ...
- 如何解决设置Session保存在StateServer后引起WebService/WebMethod无法异步获取Session
项目中有一个文件上传功能,需要显示文件上传进度.于是使用PageMethods 调用WebService/WebMethod . 在demo中测试一切正常.但是转移到项目中之后无法异步刷新文件上传进度 ...
- Swift - 异步获取网络数据封装类
使用NSURLConnection.sendAsynchronousRequest()可以采用异步获取的方式取得数据.下面通过对数据获取类进行封装,演示如何进行数据请求与接收. 1,HttpContr ...
随机推荐
- MVC 3.0 Tree
页面分左右两部分,左边是一个导航树,右边是局部页,点击树节点,异步刷新右边的内容.加颜色部分是知识点. @using VideoWeb.Models@model VideoWeb.Models.Cat ...
- 12-8 php基础
<?php //单行注释/* 多行注释*/ //弱类型语言//var a = 10;/*$a=10;$b = "hello";var_dump($a);$a="wo ...
- [转]http://makefiletutorial.com/
Intro This makefile will always run. The default target is some_binary, because it is first. some_bi ...
- SPARQL1.1 101 Language and Jena support
1 introduction definition cited from SPARQL 1.1 Overview: SPARQL 1.1 is a set of specifications that ...
- JavaScript中的document.cookie的使用
转:http://blog.csdn.net/liuyong0818/article/details/4807473 我们已经知道,在 document 对象中有一个 cookie 属性.但是 Coo ...
- LEETCODE —— binary tree [Same Tree] && [Maximum Depth of Binary Tree]
Same Tree Given two binary trees, write a function to check if they are equal or not. Two binary tre ...
- MFC 中编辑框数字限制范围
http://www.cnblogs.com/ziwuge/archive/2011/11/15/2249541.html void CSAAlt::OnEnChangeSlocp()//样本盘号输入 ...
- Uncaught TypeError: _react2.default.findDOMNode is not a function
react 查找某节点时报错 Uncaught TypeError: _react2.default.findDOMNode is not a function 代码: import React, { ...
- 是不是content-type: text/html的数据包一到,浏览器就肯定刷新页面?
整理自:http://q.cnblogs.com/q/54726/ 是不是content-type: text/html的数据包一到,浏览器就肯定刷新页面? 或者说,浏览器收到的状态正常的conten ...
- JS操作iframe
1. 获得iframe的window对象 存在跨域访问限制. chrome:iframeElement. contentWindow firefox: iframeElement.contentWin ...