celery介绍安装以及基本使用步骤

目录

• 一、关于celery
• 二、celery架构的构成
  • 1 任务中间件 Broker，
  • 2 任务执行单元 worker
  • 3 结果存储 backend
• 三、celery的应用场景
  • 1. 异步执行：解决耗时任务
  • 2. 延迟执行：解决延迟任务
  • 3. 定时执行：解决周期任务
• 四、使用方法
  • 第一步：搞清楚包的目录结构
  • 第二步：在celery.py文件中写一下代码
  • 第三步：在包内部，写task，任务异步任务
  • 第四步：启动worker ，包所在目录下
  • 第五步：其他程序 提交任务，被提交到中间件中，等待worker执行
  • 第五步：worker执行完，结果存到backend中
  • 第六步：咱们要看执行结果，拿到执行的结果

一、关于celery

celery是异步任务框架

使用前提，需要下载第三方模块

pip install celery

如果是Windows系统还需要额外模块支撑

pip install evetlet

更多详细内容请看官方文档资源

Celery 官网：http://www.celeryproject.org/

Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.html

Celery 官方文档中文版：http://docs.jinkan.org/docs/celery/

二、celery架构的构成

1 任务中间件 Broker，

其他服务提交的异步任务，放在里面排队

需要借助于第三方 redis rabbitmq

2 任务执行单元 worker

真正执行异步任务的进程

celery提供的

3 结果存储 backend

结果存储，函数的返回结果，存到 backend中

需要借助于第三方：redis，mysql

三、celery的应用场景

1. 异步执行：解决耗时任务

2. 延迟执行：解决延迟任务

3. 定时执行：解决周期任务

四、使用方法

第一步：搞清楚包的目录结构

第二步：在celery.py文件中写一下代码

from celery import Celery  # 导入celery模块
'''broker和backend对应的数据库可以是同一个，指定不同的两张表'''
broker = 'redis://127.0.0.1:6379/1'  # broker对应一个数据库 执行任务列表在这里
backend = 'redis://127.0.0.1:6379/2'  # backend对应一个数据库 执行结果列表在这里
'''写的各种任务在include=[]列表中注册'''
app = Celery('test', broker=broker, backend=backend, include=['celery_task.order_task', 'celery_task.user_task'])

第三步：在包内部，写task，任务异步任务

order_task.py文件

from .celery import app
import time
@app.task
def add(a, b):
    print('-----', a + b)
    time.sleep(2)
    return a + b

user_task.py文件

from .celery import app
import time
@app.task
def send_sms(phone, code):
    print("给%s发送短信成功，验证码为：%s" % (phone, code))
    time.sleep(2)
    return True

第四步：启动worker ，包所在目录下

celery  -A celery_task  worker -l info -P eventlet

第五步：其他程序 提交任务，被提交到中间件中，等待worker执行

因为worker启动了，就会被worker执行

在Django框架的其他任务，这就是两个框架互不相干，而关键时刻还拉一把，帮帮忙

from celery_task.user_task import send_sms
# 同步操作
# res = send_sms('999999',88888)
# print(res)

# 异步步操作
res = send_sms.delay('999999',88888)
print(res)  # a45ced2a-c285-41e1-9e40-643863d8467f

第五步：worker执行完，结果存到backend中

第六步：咱们要看执行结果，拿到执行的结果

from celery_task import app
from celery.result import AsyncResult
id = '7d39033c-4cc7-4af2-8d78-e62c277db183'
if __name__ == '__main__':
    a = AsyncResult(id=id, app=app)
    if a.successful():  # 执行完了
        result = a.get()  #
        print(result)
    elif a.failed():
        print('任务失败')
    elif a.status == 'PENDING':
        print('任务等待中被执行')
    elif a.status == 'RETRY':
        print('任务异常后正在重试')
    elif a.status == 'STARTED':
        print('任务已经开始被执行')

#1 异步任务
	任务.delay(参数)
# 延迟任务
	任务.apply_async(args=[参数],eta=时间对象) # 如果没有修改时区，需要使用utc事件
# 定时任务
	-需要启动beat和启动worker
    	-beat    定时提交任务的进程---》配置在app.conf.beat_schedule的任务
        -worker  执行任务的

    ### 使用步骤
    	# 第一步：在celery的py文件中写入
        app.conf.timezone = 'Asia/Shanghai'
        # 是否使用UTC
        app.conf.enable_utc = False
        # celery的配置文件#####
        # 任务的定时配置
        app.conf.beat_schedule = {
            'send_sms': {
                'task': 'celery_task.user_task.send_sms',
                # 'schedule': timedelta(seconds=3),  # 时间对象
                # 'schedule': crontab(hour=8, day_of_week=1),  # 每周一早八点
                'schedule': crontab(hour=9, minute=43),  # 每天9点43
                'args': ('18888888', '6666'),
            },
        }

        ## 第二步：启动beat
        celery -A celery_task beat -l info

        ## 第三步：启动worker
        celery -A celery_task worker -l info -P eventlet

# 注意点：
	1 启动命令的执行位置，如果是包结构，一定在包这一层
    2 include=['celery_task.order_task'],路径从包名下开始导入，因为我们在包这层执行的命令