Celery(异步任务，定时任务，周期任务)

1.什么是Celery

Celery是基于Python实现的模块，用于异步、定时、周期任务的。

组成结构：

　　1.用户任务 app

　　2.管道broker 用于存储任务 官方推荐 redis/rabbitMQ backend 用于存储任务执行结果的

　　3.员工 worker

2.Celery的异步

from celery import Celery
import time

# 创建一个Celery实例,这就是我们用户的应用app
my_task = Celery("task", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379")

# 为应用创建任务,func1，2,3
@my_task.task
def my_func1(a, b):
    time.sleep(20)
    return f"my_func1 return{a}{b}"

@my_task.task
def my_func2():
    return "my_func2"

@my_task.task
def my_func3():
    return "my_func3"

s1

from s1 import my_func1

res = my_func1.delay(2, 3) # 将任务交给Celery的worker执行
print(res)     # 返回任务id

s2

from celery.result import AsyncResult
from s1 import my_task

# 异步获取任务返回值
async_task = AsyncResult(id="9777deca-d808-4cf1-a985-508690c32250", app=my_task)
# result = async_task.get()
# print(result)

# 判断异步任务是否执行成功
if async_task.successful():
    result = async_task.get()
    print(result)
else:
    print("任务还未执行完成")

s3

根据操作系统的不同,启动方式也存在差异:
Linux - celery worker -A s1 -l INFO
Windows:这里需要注意的是celery 4.0 已经不再对Windows操作系统提供支持了,也就是在windows环境下出现问题除非自己解决,否贼官方是不会给你解决的
Windows - celery worker -A s1 -l INFO -P eventlet
ps: eventlet 是一个python的三方库 需要使用 pip安装 pip install eventlet

ps

3.Celery的目录

在实际项目中我们应用Celery是有规则的

要满足这样的条件才可以哦,目录Celery_task这个名字可以随意起,但是一定要注意在这个目录下一定要有一个celery.py这个文件

4.Celery的定时

from Celery_task.task_one import one
from Celery_task.task_two import two

# one.delay(10,10)
# two.delay(20,20)

# 定时任务我们不在使用delay这个方法了,delay是立即交给task 去执行
# 现在我们使用apply_async定时执行

#首先我们要先给task一个执行任务的时间
import datetime,time
# 获取当前时间 此时间为东八区时间
ctime = time.time()
# 将当前的东八区时间改为 UTC时间 注意这里一定是UTC时间,没有其他说法
utc_time = datetime.datetime.utcfromtimestamp(ctime)
# 为当前时间增加 10 秒
add_time = datetime.timedelta(seconds=10)
action_time = utc_time + add_time

# action_time 就是当前时间未来10秒之后的时间
#现在我们使用apply_async定时执行
res = one.apply_async(args=(10,10),eta=action_time)
print(res.id)
#这样原本延迟5秒执行的One函数现在就要在10秒钟以后执行了

my_celery

5.Celery的周期

from celery import Celery
from celery.schedules import crontab

celery_task = Celery("task",
                     broker="redis://127.0.0.1:6379",
                     backend="redis://127.0.0.1:6379",
                     include=["Celery_task.task_one","Celery_task.task_two"])

#我要要对beat任务生产做一个配置,这个配置的意思就是每10秒执行一次Celery_task.task_one任务参数是(10,10)
celery_task.conf.beat_schedule={
    "each10s_task":{
        "task":"Celery_task.task_one.one",
        "schedule":10, # 每10秒钟执行一次
        "args":(10,10)
    },
    "each1m_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(minute=1), # 每一分钟执行一次
        "args": (10, 10)
    },
    "each24hours_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(hour=24), # 每24小时执行一次
        "args": (10, 10)
    }

}

#以上配置完成之后,还有一点非常重要
# 不能直接创建Worker了,因为我们要执行周期任务,所以首先要先有一个任务的生产方
# celery beat -A Celery_task
# celery worker -A Celery_task -l INFO -P eventlet

celery.py