一、Celery 命令行工具

Celery 命令行工具可用去查看Celery的运行状态。打开一个终端窗口,进入项目目录(与manage.py同级),运行以下命令

  • 列出集群中在线的Celery Worker节点
celery -A mysite status

### 大概10秒后,输出结果
-> celery@DESKTOP-MHHVBI3: OK 1 node online.
  • 列出正在执行的Celery 任务
celery -A mysite inspect active

### 输出结果
-> celery@DESKTOP-MHHVBI3: OK
- empty - 1 node online.
  • 列出已注册的Celery 任务
celery -A mysite inspect registered

### 输出结果示例
-> celery@DESKTOP-MHHVBI3: OK
* myapp_infra.tasks.cleanup_expired_data
* myapp_infra.tasks.send_daily_report
* myapp_system.tasks.login_log_task
* myapp_system.tasks.operation_log_task
* myapp_system.tasks.send_single_mail_task 1 node online.
  • 显示Celery 统计数据
celery -A mysite inspect stats 

### 输出结果示例
-> celery@DESKTOP-MHHVBI3: OK
{
"broker": {
"alternates": [],
"connect_timeout": 4,
"failover_strategy": "round-robin",
"heartbeat": 0,
"hostname": "127.0.0.1",
"insist": false,
"login_method": null,
"port": 6379,
"ssl": false,
"transport": "redis",
"transport_options": {},
"uri_prefix": null,
"userid": null,
"virtual_host": "3"
},
"clock": "543",
"pid": 2316,
"pool": {
"implementation": "celery.concurrency.solo:TaskPool",
"max-concurrency": 1,
"max-tasks-per-child": null,
"processes": [
2316
],
"put-guarded-by-semaphore": true,
"timeouts": []
},
"prefetch_count": 32,
"rusage": "N/A",
"total": {
"myapp_infra.tasks.cleanup_expired_data": 3,
"myapp_system.tasks.login_log_task": 36
},
"uptime": 541
} 1 node online.

小结:

  • 以上命令支持 --timeout参数,例如在命令后加上--timeout 3
  • 参考资料:Celery 监控

二、Celery 图形监控

Celery Flower 图形监控

Celery Flower 是一个用于监控和管理 Celery 任务的开源 Web 应用程序,它提供了实时的任务状态监控、任务执行图表、工作者信息、任务追踪和任务日志等功能。

安装

pip install flower

基本使用

Celery Flower 服务启动命令:进入根目录(包含manage.py文件的目录)执行

celery -A mysite flower --port=5555

访问 http://<IP>:5555 查看Celery 图形监控

  • 点击 Workers 查看 Celery Worker 状态

  • 点击 Tasks 查看当前及后来的任务(不会显示以前的任务)。另外,通过观察任务列表的变化,判断 Celery Beat 的状态是否正常。

  • 点击 Broker 查看 Redis 状态

与Django项目集成

对于Django+Vue3的前后端分离项目,使用iframe(内联框架) HTML 元素,可将网页嵌入其他网页。实现将Celery Flower 集成到Django项目中。

点击查看集成代码示例

三、Redis 图形监控

Redis一般作为Celery的消息中间件 (Broker),负责接收任务生产者发送的消息并将任务存入队列。

安装工具:Another Redis Desktop Manager,是一个Redis的图形管理界面工具。下载地址

解压即可使用。连接Redis 服务器后,查看celery队列中的任务数。

  • 如果没有celery键,表示当前没有等待的Celery任务

四、Celery 排错

PermissionError权限错误

错误信息

[2025-04-12 22:53:48,435: INFO/MainProcess] Task tasks.add[6d0cc2d2-0a84-4a4d-b5e7-e86a4bd9b625] received
[2025-04-12 22:53:48,436: ERROR/SpawnPoolWorker-6] Pool process <billiard.pool.Worker object at 0x0000027D686A33D0> error: PermissionError(13, '拒绝访问。', None, 5, None)
Traceback (most recent call last):

解决方法

# 在Windows系统中,prefork 多进程模式可能导致权限冲突。改用单进程模式启动--pool=solo
celery -A tasks worker --loglevel=INFO --pool=solo

AppRegistryNotReady 错误

错误信息

2025-05-17 18:33:13,886 INFO D:\workspace_python\mars-mgn\mysite\myapp_system\tasks.py changed, reloading.
Traceback (most recent call last):
...
File "D:\workspace_python\mars-mgn\venv\Lib\site-packages\django\apps\registry.py", line 138, in check_apps_ready
raise AppRegistryNotReady("Apps aren't loaded yet.")
django.core.exceptions.AppRegistryNotReady: Apps aren't loaded yet.

解决方法

  • 分析:Celery初始化与Django启动顺序问题:在celery.py中通过app.autodiscover_tasks()自动发现任务时,可能过早加载包含Django模型的任务模块,而Django的INSTALLED_APPS尚未完全初始化
  • 避免在任务模块顶部直接导入Django模型。将模型导入操作移至任务函数内部
# myapp_system/tasks.py
from celery import shared_task
from django.core.mail import send_mail @shared_task
def send_email_task(subject, message, from_email, recipient_list):
# 导入操作移至任务函数内部:延迟导入模型和序列化器
from .mail_log.serializers import MailLogSaveSerializer
from .models import SystemMailLog # 发送邮件逻辑
send_mail(subject, message, from_email, recipient_list)
return "邮件发送成功"

任务参数

错误信息

celery.beat.SchedulingError: Couldn't apply scheduled task daily_cleanup_expired_data: cleanup_expired_data() takes 0 positional arguments but 1 was given

解决方法

  • 分析:args 和 kwargs 参数是传递给任务。若定义任务时没有定义接收参数,但却传递了arsg或kwargs参数,则Celery Beat 会报错
  • 修改任务定义的代码,然后重启Celery worker和 beat。

时区

建议使用统一的时区,例如全部统一为东八区

  • settings.py 中明确配置
# 设置 Django 时区
TIME_ZONE = 'Asia/Shanghai'
USE_TZ = True # 配置 Celery 时区
CELERY_TIMEZONE = 'Asia/Shanghai' # MySQL数据库连接字符串中添加时区参数
DATABASES = {
"default": {
"ENGINE": "django.db.backends.mysql",
# ...
"OPTIONS": {"init_command": "SET time_zone='+08:00'"},
}
}
  • Celery Worker 所在服务器系统时区为
# 查看系统时区
timedatectl | grep "Time zone"
# 设置时区
timedatectl set-timezone Asia/Shanghai

您正在阅读的是《Django从入门到实战》专栏!关注不迷路~

Django+Celery 进阶:Celery可视化监控与排错的更多相关文章

  1. Python—在Django中使用Celery

    一.Django中的请求 Django Web中从一个http请求发起,到获得响应返回html页面的流程大致如下: http请求发起 经过中间件 http handling(request解析) ur ...

  2. Django 中使用 Celery

    起步 在 <分布式任务队列Celery使用说明> 中介绍了在 Python 中使用 Celery 来实验异步任务和定时任务功能.本文介绍如何在 Django 中使用 Celery. 安装 ...

  3. Django中使用Celery

    一.前言 Celery是一个基于python开发的分布式任务队列,如果不了解请阅读笔者上一篇博文Celery入门与进阶,而做python WEB开发最为流行的框架莫属Django,但是Django的请 ...

  4. Celery进阶

    Celery进阶 在你的应用中使用Celery 我们的项目 proj/__init__.py   /celery.py   /tasks.py 1 # celery.py 2 from celery ...

  5. Django 如何使用 Celery 完成异步任务或定时任务

    以前版本的 Celery 需要一个单独的库(django-celery)才能与 Django 一起工作, 但从 Celery 3.1 开始,情况便不再如此,我们可以直接通过 Celery 库来完成在 ...

  6. 为django项目配置celery的后台启动

    为root用户启动celery创建的脚本,该脚本的拥有者与使用者都必须是root .使用方法为 /etc/init.d/celeryd [start]|[stop]|[kill] 需增加两个文件 /e ...

  7. Django 1.9 + celery + django-celry 实现定时任务

    celery可以进行任务异步处理,celery还有一种Celery的常用模式便是执行定期任务. 执行定期任务时, Celery会通过celerybeat进程来完成. Celerybeat会保持运行, ...

  8. Django中使用Celery实现定时任务(用djcelery)

    一.引言 Django是python语言下的一个比较热门的Web框架,越来越多的企业和开发者使用Django实现自己的Web服务器.在Web服务器开发过程中,有时候我们不仅仅是要实现Web服务器端和用 ...

  9. Celery学习---Celery 与django结合实现计划任务功能

    项目的目录结构: 项目前提: 安装并启动Redis 安装Django和Celery的定时任务插件 安装方法一: pip直接安装[安装了pip的前提下] omc@omc-virtual-machine: ...

  10. Celery学习--- Celery 最佳实践之与django结合实现异步任务

    django 可以轻松跟celery结合实现异步任务,只需简单配置即可 同步执行和异步执行 注意:即使Celery的任务没有执行完成,但是已经创建了任务ID.可以利用前台的定时任务发送Ajax异步请求 ...

随机推荐

  1. 如何在Uniapp项目中引入uni_modules中的依赖?

    在Uniapp项目中引入uni_modules中的依赖分为以下几种情况: 对于通用组件: 如果你已经通过HBuilderX插件市场安装了某个uni_modules组件,通常只需在页面的.vue文件中按 ...

  2. 有的时候,给指定的控件,追加一个装饰器Adorner,备注下

    有的时候,给指定的控件,追加一个装饰器Adorner,备注下 比如给某个图片加个工具条等等...都可以采用装饰器的方式来实现,复用性高,易维护,特此备注下 整体效果如下: 1 <Window x ...

  3. NetCAT:来自网络的实用缓存攻击

    不断增加的外围设备正在增加现代处理器中内存管理子系统的压力,例如:DRAM的可用吞吐量已经不能满足现代网卡的传输速率.为了达到承诺的传输性能,Intel处理器使IO操作直接在末级缓存(LLC)上进行, ...

  4. sonarqube+gitlab+jenkins+maven集成搭建 (五)

    Jenkins与SonarQube Jenkins 配置 SonarQube在 SonarQube 中生成 Server authentication token登录 SonarQube 后,在 &q ...

  5. Python3爬虫批量爬取图片并保存到本地

    看新闻的时候忽然发现了一个图片网站,那肯定得爬一下. 网址:https://www.0xu.cn/ 不难发现,qcmn这个路径对应青春美女 右键检查图片地址可见 访问该地址成功访问到了图片 正式开始 ...

  6. 代码随想录第二十二天 | Leecode 77. 组合、216. 组合总和 III、17. 电话号码的字母组合

    Leecode 77. 组合 题目描述 给定两个整数 n 和 k,返回范围 [1, n] 中所有可能的 k个数的组合. 你可以按 任何顺序 返回答案. 示例 1: 输入:n = 4, k = 2 输出 ...

  7. Linux的API

    一.常用命令 1.Linux命令之剪切 mv 目标文件 目的文件 2.Linux之新增文件夹 mkdir 路径+文件名 3.Linux之删除命令 rm 删除文件 rmdir 删除文件夹        

  8. Flutter跨平台发送系统通知和状态栏通知技术浅析

    @charset "UTF-8"; .markdown-body { line-height: 1.75; font-weight: 400; font-size: 15px; o ...

  9. python中list、tuple、set、dict区别

    list.tuple.set.dict区别 参考:python的列表,字典,元组,集合的区别和各自使用方法 遍历set 由于set也是一个集合,所以,遍历set和遍历list类似,都可以通过for循环 ...

  10. MSDN I tell you下载方式

    1.复制下载链接 2. 去下载软件粘贴即可 下以百度网盘为例: