使用celery的backend异步获取结果
惯例先贴出相关参考的文档:
http://docs.celeryproject.org/en/stable/getting-started/next-steps.html
http://docs.celeryproject.org/en/stable/userguide/tasks.html#task-result-backends
这篇紧接上篇。
其实我们一般对这种异步任务需求是可能需要回调的。比如说我现在有一个支付的异步任务发送到了队列。
生产者不需要等待,在发送到队列之后就告诉用户已经支付成功了或者说正在支付稍后再来查看状态。
这个时候celery的worker获取到这个任务之后开始处理,等一会儿他处理完毕之后可能需要将这个处理完毕的结果返回给发送给他的生产者。
那么问题来了,如何告知生产者?因为生产者生产完消息之后就结束了。
那么这个时候就使用到了backend这个参数了:
当我们像指明broker一样指明了backend之后,当worker运行完结果之后就会把他返回给生产者的唯一id作为键,将结果作为值传递给你设置的worker(backend测试环境为redis).这个时候你无论在什么时候只要拿着这个值去redis里面查找到结果就行了。比如你在执行一个任务,你可以设置一个周期性轮询,去查看这个结果是否已经被生产出来,如果生产出来便取到该值做相应的操作即可。下面为具体操作实例:
先贴出一个我统一使用的配置文件
# file_name=init_celery.py
# coding: utf-8
from celery import Celery BROKER_URL = 'redis://:password@localhost:6379/0'
BACKEND_URL = 'redis://:password@localhost:6379/1' # Add tasks here
CELERY_IMPORTS = (
'try',
) celery = Celery('celery',
broker=BROKER_URL,
backend=BACKEND_URL,
include=CELERY_IMPORTS,) celery.conf.update(
CELERY_ACKS_LATE=True,
CELERY_ACCEPT_CONTENT=['pickle', 'json'],
CELERYD_FORCE_EXECV=True,
CELERYD_MAX_TASKS_PER_CHILD=500,
BROKER_HEARTBEAT=0,
)
然后是celery任何函数
from init_celery import celery @celery.task
def add(x, y):
result = x + y
print result
return result
最后我们调用这个函数执行异步操作
from tasks import add def notify(a, b):
result = add.apply_async((a, b), queue='laplace')
return result if __name__ == '__main__':
haha = notify(6, 7)
print haha.status
print haha.id
print haha.get(timeout=1)
这里注意我使用了task.apply_async这个函数。其实效果根task.delay差不多只是可以指定更多的参数。 这里我指定了使用的队列为laplace队列,所以对应的监听的队列也必须使用参数-Q监听对应的队列,才能获得结果。
这里返回的result其实就是一个唯一的<class 'celery.result.AsyncResult'>对象。
我们可以对这个对象查看他的状态,id 以及使用get去得到他的具体值。
合理的使用这个get方法就可以取得woker处理之后的值,同时在redis可以清楚的看到,worker处理之后自动帮你在redis里面存储了

这么介绍之后对于backend是不是已经一目了然了呢?其实我在进行之类操作的时候还踩了一些配置文件方面的坑,
所以一定要仔细的参考官方文档进行操作。和查看更多你需要用到的功能和参数。
使用celery的backend异步获取结果的更多相关文章
- Celery - 一个懂得 异步任务 , 定时任务 , 周期任务 的芹菜
1.什么是Celery?Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由 1.用户任务 app 2.管道 broker 用于存储 ...
- Django+Celery+xadmin实现异步任务和定时任务
Django+Celery+xadmin实现异步任务和定时任务 关注公众号"轻松学编程"了解更多. 一.celery介绍 1.简介 [官网]http://www.celerypro ...
- django celery的分布式异步之路(一) 起步
如果你看完本文还有兴趣的话,可以看看进阶篇:http://www.cnblogs.com/kangoroo/p/7300433.html 设想你遇到如下场景: 1)高并发 2)请求的执行相当消耗机器资 ...
- celery+django+mq 异步任务与定时任务
参考 celerypip install celery==4.1.1https://www.cnblogs.com/wdliu/p/9530219.htmlhttps://www.jianshu.co ...
- Curator 异步获取结果
原声的ZooKeeper 的CRUD API有同步和异步之分,对于异步API,需要传递AsyncCallback回调.对于getData,getChildren,exists这三个API,还可以设置W ...
- jquery的异步获取返回值为中文时乱码解决方法
用jqgrid异步获取列表值,遇到个问题,服务器端从数据库取到的数据没有出现中文乱码问题(日志打出来是没有乱码的),但是异步传到客户的时候却出现了乱码. 服务器端已经编码过了(UTF-8编码).开始一 ...
- 分享一个安卓中异步获取网络图片并自适应大小的第三方程序(来自github)
安卓中获取网络图片,生成缓存 用安卓手机,因为手机流量的限制,所以我们在做应用时,要尽量为用户考虑,尽量少耗点用户的流量,而在应用中网络图片的显示无疑是消耗流量最大的,所以我们可以采取压缩图片或者将图 ...
- 如何解决设置Session保存在StateServer后引起WebService/WebMethod无法异步获取Session
项目中有一个文件上传功能,需要显示文件上传进度.于是使用PageMethods 调用WebService/WebMethod . 在demo中测试一切正常.但是转移到项目中之后无法异步刷新文件上传进度 ...
- Swift - 异步获取网络数据封装类
使用NSURLConnection.sendAsynchronousRequest()可以采用异步获取的方式取得数据.下面通过对数据获取类进行封装,演示如何进行数据请求与接收. 1,HttpContr ...
随机推荐
- 循环打印i值(面试题)
/* * 下面的代码,为了实现每隔1秒说一句话, * 找出存在的问题,并改正,然后描述一下你的解决方案. * */ var arr = [ '第一句话', '第二句话', '第三句话', '第四句话' ...
- Android 学习第10课,Android的布局
Android的布局 线性布局
- 纯js轮播效果(减速效果)待改进
HTML代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www. ...
- 552 you must authentication
配置邮箱到outlook时 出现以下错误: 发送测试电子邮件消息: 无法发送此邮件.请在帐户属性中验证电子邮件地址. 响应服务器: 552 you must authentication 需要在”其 ...
- 腾讯优测| 让Android屏幕适配开发更简单-Google百分比布
文/腾讯优测工程师 吴宇焕 腾讯优测优社区干货精选~ 相信开发同学都被安卓设备碎片化的问题折磨过,市面上安卓手机的主流屏幕尺寸种类繁多,给适配造成很大的困难.就算搞定了屏幕尺寸问题,各种分辨率又让人眼 ...
- HDU 1372 Knight Moves (bfs)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1372 Knight Moves Time Limit: 2000/1000 MS (Java/Othe ...
- LintCode Search For a Range (Binary Search)
Binary Search模板: mid 和 target 指针比较,left/ right 和 target 比较. 循环终止条件: 最后剩两数比较(while(left + 1 < righ ...
- D3 的优势
可视化的库有很多,基于 JavaScript 开发的库也有很多,D3 有什么优势呢? (1)数据能够与 DOM 绑定在一起 D3 能够将数据与 DOM 绑定在一起,使得数据与图形成为一个整体,即图形中 ...
- Sql日期时间格式转换(转)
原文出自:http://www.cnblogs.com/Gavinzhao/archive/2009/11/10/1599690.html sql server2000中使用convert来取得dat ...
- import logging 导入记录日志包
import logging 日志几个级别 logging.debug logging.info logging.error