python测试开发django-197.django-celery-beat 定时任务

前言

django-celery-beat 可以支持定时任务，把定时任务写到数据库。

接着前面这篇写python测试开发django-196.python3.8+django2+celery5.2.7环境准备

django-celery-beat 一般结合 django-celery-results一起使用

环境准备

运行系统：linux(centos/debian/ubuntu),不支持windows

Python版本：3.8.5

Django : 2.2.2

celery: 5.2.7

django-celery-results2.4.0

django-celery-beat2.3.0

使用pip安装celery5.2.7版本

pip install celery==5.2.7

安装django-celery-results库：

pip install django-celery-results==2.4.0

安装django-celery-beat

pip install django-celery-beat==2.3.0

定时任务配置

Django 项目中settings.py：

INSTALLED_APPS = (
    ...,
    'django_celery_results',
    'django_celery_beat',
)

将django_celery_beat模块和django-celery-results相关配置，写到setting.py

# #  RabbitMQ配置BROKER_URL 和backend
CELERY_BROKER_URL = 'amqp://admin:123456@127.0.0.1:5672//'
# # RESULT_BACKEND 结果保存数据库
CELERY_RESULT_BACKEND = 'django-db'

# # SCHEDULER 定时任务保存数据库
# 将任务调度器设为DatabaseScheduler
CELERY_BEAT_SCHEDULER = 'django_celery_beat.schedulers:DatabaseScheduler'
# 为任务设置超时时间，单位秒。超时即中止，执行下个任务。
# CELERY_TASK_TIME_LIMIT = 5
# 为存储结果设置过期日期，默认1天过期。如果beat开启，Celery每天会自动清除。
# 设为0，存储结果永不过期
# CELERY_RESULT_EXPIRES = xx
CELERY_TASK_RESULT_EXPIRES = 60*60*24  # 后端存储的任务超过一天时，自动删除数据库中的任务数据，单位秒
CELERY_MAX_TASKS_PER_CHILD = 1000  # 每个worker执行1000次任务后，自动重启worker，防止任务占用太多内存导致内存泄漏

CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_TIMEZONE = 'Asia/Shanghai'
DJANGO_CELERY_BEAT_TZ_AWARE = False

应用Django数据库迁移，创建相关的表

python manage.py migrate django_celery_results
python manage.py migrate django_celery_beat

django_celery_results生成3张表

django_celery_beat生成6张表

相关表的说明

django_celery_beat.models.ClockedSchedule # 此模型存放已经关闭的任务

django_celery_beat.models.CrontabSchedule # 与像在cron项领域的时间表 分钟小时日的一周 DAY_OF_MONTH month_of_year

django_celery_beat.models.IntervalSchedule # 以特定间隔（例如，每5秒）运行的计划。

django_celery_beat.models.PeriodicTask # 此模型定义要运行的单个周期性任务。

django_celery_beat.models.PeriodicTasks # 此模型仅用作索引以跟踪计划何时更改

django_celery_beat.models.SolarSchedule # 定制任务

实例参考

在views视图中，主要用到CrontabSchedule 和PeriodicTask

from django_celery_beat.models import PeriodicTask, CrontabSchedule
import json

class CreateTaskView(APIView):
    """创建任务视图"""

    def post(self, request):
        """创建任务 接口传参,示例
        {
           "task_name": "任务名称",
           "arg1": "参数1",
           "arg2": "参数2",
           "task_cron": "*/2 * * * *"
        }
        """
        task_name = request.data.get("task_name")
        task_kwargs = {
            "task_name": task_name,
            "arg1": request.data.get("arg1"),
            "arg2": request.data.get("arg2"),
        }
        # 定时任务规则
        cron_value = request.data.get("task_cron")
        cro_list = str(cron_value).split(' ')
        if len(cro_list) != 5:
            return Response({"code": 3003, "msg": "task_cron 不合法"})
        cron_time = {
            'minute': cro_list[0],  # 每2分钟执行一次
            'hour': cro_list[1],
            'day_of_week': cro_list[2],
            'day_of_month': cro_list[3],
            'month_of_year': cro_list[4]
        }
        # 写入 schedule表
        schedule = CrontabSchedule.objects.create(**cron_time)
        # 任务和 schedule 关联
        task_obj = PeriodicTask.objects.filter(name=task_name)
        if task_obj:
            return JsonResponse({"code": 3000, "msg": "task name exist"})

        task_obj, created = PeriodicTask.objects.get_or_create(
            name=task_name,  # 名称保持唯一
            task="app.tasks.task_demo",  # 任务的注册路径
            crontab=schedule,
            enabled=True,  # 是否开启任务
            # args=json.dumps(task_args),
            kwargs=json.dumps(task_kwargs),
            # 任务过期时间，设置当前时间往后1天
            expires=datetime.datetime.now() + datetime.timedelta(days=1)
        )
        if created:
            return JsonResponse({"code": 0, "msg": "success"})
        else:
            return JsonResponse({"code": 111, "msg": "create failed"})

其中 task="app.tasks.task_demo" 是任务的注册路径，比如django下有自己的app,在app下创建了一个tasks.py文件

# Create your tasks here
from celery import shared_task

@shared_task
def add(x, y):
    return x + y

启动worker与beat

最后启动worker与beat

celery -A proj worker -l info
celery -A proj beat -l info

linux 后台启动使用 supervisord 后台启动celery 服务（worker/beat）

相关教程参考这篇https://www.cnblogs.com/yoyoketang/p/16458925.html