一、什么是Celery

Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以实现任务的异步处理以及定时任务的处理,它的基本工作流程是:

  • 先启动任务执行单元Worker,让它一直监听消息中间件中是否有任务
  • 客户端可以发布异步任务和定时任务
  • 通过Celery将上述任务添加到消息中间件(可以使用rabbitMQ或者Redis)
  • 此时Worker可以监听到中间件中有任务,进行执行任务
  • 执行完毕后任务结果就放到Backend中(可以使用Redis或者Mysql)

这里主要讨论在Django中如何使用Celery来执行异步任务和定时任务。

二、Django中执行异步任务

1、环境配置

需要注意的是包之间的兼容性

pip install celery == 4.3.0

pip install eventlet == 0.25.1

pip install redis == 3.2.0

2、创建Django项目

其目录结构如下:

- proj/
- manage.py
- proj/
- __init__.py
- settings.py
- urls.py

3、定义Celery实例

创建celery.py文件,位于proj/proj/celery.py

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
from django.conf import settings # set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings') app = Celery('proj') # Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY') # Load task modules from all registered Django app configs.
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS) @app.task(bind=True)
def debug_task(self):
print('Request: {0!r}'.format(self.request))

4、导入Celery实例

然后,需要将此上述Celery的实例导入到proj/proj/__init__.py 模块中。这样可以确保在Django启动时加载该应用,以便@shared_task装饰器将使用该应用:

from __future__ import absolute_import, unicode_literals

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app __all__ = ('celery_app',)

5、在Django配置文件中配置Celery参数

位于:proj/proj/settings.py

...

CELERY_BROKER_URL = 'redis://127.0.0.1:6379/0' # Broker配置,使用Redis作为消息中间件

CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/0' # BACKEND配置,这里使用redis

CELERY_RESULT_SERIALIZER = 'json' # 结果序列化方案

...

6、创建异步任务

在每一个app下创建tasks.py文件,如下图所示:

这样Celery会自动发现每一个app下的tasks.py文件,在这个文件中写入的就是需要执行的异步任务,相当于Worker。

# Create your tasks here
from __future__ import absolute_import, unicode_literals
from celery import shared_task @shared_task
def add(x, y):
print(x+y)
return x + y @shared_task
def mul(x, y):
return x * y @shared_task
def xsum(numbers):
return sum(numbers)

7、在Django的视图中添加任务,获取结果

from django.shortcuts import render,HttpResponse
from app01.tasks import add,mul
# Create your views here. #异步任务
def celery_test(request):
#delay相当于将异步任务add加入到Broker
task = add.delay(4,22)
#从Backend中获取执行任务的结果
res = task.get()
print(res)
return HttpResponse(task)

8、执行异步任务

上述准备工作已经完毕,此时需要启动一个或多个worker进程来监听Broker是否有任务

#启动Worker
celery -A proj worker -l info -P eventlet

此时,已经监听Broker了;当访问对应url,执行celery_test函数,会执行到add.delay相当于将任务添加到Broker,这样在视图中可以操纵异步任务执行的结果了。

三、Django中执行定时任务

1、安装django-celery-beat

pip install django-celery-beat

2、Django配置文件添加django-celery-beat

INSTALLED_APPS = (
...,
'django_celery_beat',
)

3、生成对应的表

python manage.py migrate

此时,可以看到生成的一些表

注意,这些任务会自动从每一个app下的tasks中读取,只要是注册过的(用shared_task装饰过)

定时任务具体的时间需要在上述表中设定好,因为定时任务就是从数据库中这些表中读取的

4、启动定时任务

首先,还是需要启Worker,这与异步任务相同

 celery -A proj worker -l info -P eventlet

然后需要再开启一个进程用于监听Broker里面的定时任务,到一定的时间,Worker执行

celery -A proj beat -l info -S django

值得注意的是每添加或修改一个任务,celery beat都需要重启一次

 

Celery与Django的结合的更多相关文章

  1. 异步任务队列Celery在Django中的使用

    前段时间在Django Web平台开发中,碰到一些请求执行的任务时间较长(几分钟),为了加快用户的响应时间,因此决定采用异步任务的方式在后台执行这些任务.在同事的指引下接触了Celery这个异步任务队 ...

  2. 分布式队列celery 异步----Django框架中的使用

    仅仅是个人学习的过程,发现有问题欢迎留言 一.celery 介绍 celery是一种功能完备的即插即用的任务对列 celery适用异步处理问题,比如上传邮件.上传文件.图像处理等比较耗时的事情 异步执 ...

  3. Using Celery with Django

    参考1: http://docs.celeryproject.org/en/latest/django/first-steps-with-django.html#using-celery-with-d ...

  4. celery在Django中的集成使用

    继上回安装和使用Redis之后,看看如何在Django中使用Celery.Celery是Python开发分布式任务列队的处理库.可以异步分布式地异步处理任务,也可定时执行任务等等.通常我们可以在Dja ...

  5. Celery在Django中的使用介绍

    Celery在Django中的使用介绍 Celery简介 celery是一个简单.灵活且可靠的,处理大量消息的分布式系统,并且提供维护这样一个系统的必须工具. 它是一个专注于实时处理的任务队列,同时也 ...

  6. Celery结合Django使用

    一.Celery介绍 Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理, 如果你的业务场景中需要用到异步任务,就可以考虑使用celery, 举几个 ...

  7. celery在Django中的应用

    这里不解释celery,如果不清楚可以参考下面链接: http://docs.celeryproject.org/en/latest/getting-started/introduction.html ...

  8. Celery学习---Celery 与django结合实现计划任务功能

    项目的目录结构: 项目前提: 安装并启动Redis 安装Django和Celery的定时任务插件 安装方法一: pip直接安装[安装了pip的前提下] omc@omc-virtual-machine: ...

  9. 使用celery执行Django串行异步任务

    Django项目有一个耗时较长的update过程,希望在接到请求运行update过程的时候,Django应用仍能正常处理其他的请求,并且update过程要求不能并行,也不能漏掉任何一个请求 使用cel ...

随机推荐

  1. ht-4 hashmap特性

    一.hashmap底层原理: hashmap调用默认构造方法会产生一个默认底层是长度为16的Entry数组,首先调用key的hasCode()方法来得到一个整数, int hash = hash(ke ...

  2. 【HDOJ6666】Quailty and CCPC(模拟)

    题意:给出罚时现场赛的题数和罚时,问是否有在金牌线下取整被卡出,四舍五入卡入的队伍 n<=1e5 思路: #include<bits/stdc++.h> using namespac ...

  3. 2018-2019-2 20175307 实验四《Android程序设计》实验报告

    任务一 实验要求和内容: Android Stuidio的安装测试: 参考<Java和Android开发学习指南(第二版)(EPUBIT,Java for Android 2nd)>第二十 ...

  4. Spring Boot学习第一部分(Spring 4.x)第一章(Spring 基础)

    1.spring概述 1.1.spring的简史 第一阶段:XML配置spring 1.x时代, 第二阶段:注解配置spring 2.x时代, @Controller @Service @Compon ...

  5. Java中POI操作Excel常用方法

    1. https://blog.csdn.net/yjt520557/article/details/82763785 2. https://blog.csdn.net/zxh66/article/d ...

  6. 使用代理IP、高匿IP、连接失败

    先百度一下,什么是代理IP 我们使用代理IP就是因为某些站点会屏蔽我们的IP,所以我们要动态的更换代理IP. 代理IP: 其中我们首先选择国内的IP,国外的一般都比较慢,其次不要选择如{新疆乌鲁木齐} ...

  7. day20—CSS中伪类:before与:after的应用:

    转行学开发,代码100天——2018-04-05 CSS中的两个伪类:before和:after适合应用与在元素的开始或者结尾处添加修饰性文字或外观,实现内容添加的同时并没有破坏HTML代码 语义.如 ...

  8. jmeter之cookies登录

    现在很多网站的登录都要验证码了,验证码的值是动态的,值不易获取.使用jmeter测试一个需要登录的接口就有困难,这时候,我们就可以使用cookies管理器来记住这个登录信息. 目录 1.jmeter的 ...

  9. Gitlab仓库搭建和免密使用gitlab

    Gitlab简介 GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务. 可通过Web界面进行访问公开的或者私人项目.它拥有与Github类似的 ...

  10. JAVA File的创建及相对路径绝对路径

    http://blog.sina.com.cn/s/blog_9386f17b0100w2vv.html JAVA File的创建及相对路径绝对路径 (2011-12-09 08:27:56) 转载▼ ...