基于Django+celery二次开发动态配置定时任务 ( 二)
一、需求
结合上一篇,使用djcelery模块开发定时任务时,定时任务的参数都保存在djcelery_periodictask表的args、kwargs字段里,并且是json格式。那么,当定时任务多了之后,批量修改定时任务的某个参数时很草蛋,
比如,我的平台目前有100多个定时任务,定时任务的功能就是去生产数据库里执行SQL,并将结果生成excel表,然后自动发送给相关收件人。定时任务的参数就是SQL语句、生产库IP、收件人地址等等,当运营部门说,
我们需要在20个定时任务里增加3个人员的收件人地址,那就头疼了,由于定时任务的所有参数都是以json格式保存在args字段里,没法通过SQL语句批量修改,只能在页面一个一个点!累死了!
而要实现批量修改的功能,之前想到的是以下3种:
1、通过写脚本,先去数据库里把args、kwargs字段的值取出来,然后一个个改,改完再回写到djcelery_periodictask表里,但是感觉还是很繁琐,没有直接写SQL语句来的简单、灵活。(SQL写一个单表查询,python得写10行)
2、使用SQL语句的json语法实现。MySQL5.7以后支持json格式字段的增删改查,语法太复杂,拼了一整天SQL语句,放弃了。
3、抛弃djcelery模块,基于Django + celery 重写一个调度器来实现动态配置定时任务,并且可以使用SQL批量增删改查。看了下djcelery源码,算了。
现在想到了两个个折中的办法:
1、就是把定时任务的各个参数,单独建表保存,然后将主表的id号保存在djcelery_periodictask表的args字段里。执行定时任务时,先通过args的字段获取id号,再通过id去主表里查询定时任务的各个参数,有了这些参数,就能
执行定时任务了,如果需要批量修改,直接写SQL就能实现。
2、把djcelery_periodictask表的主键id号保存到args字段里,再新建表,保存定时任务的各个参数及djcelery_periodictask表的主键id。执行定时任务时,先获取djcelery_periodictask表的主键id,再去新建表里,通过id获取定时任务
的各个参数,这样就能执行任务了。(我用的第二种,两种方法原理一样。)
二、实现方法
先看看原始的djcelery_periodictask表保存的args、kwargs字段。保存成一坨,没办法批量增删改查。
现在改成,在args字段里只保存id号,注意:这个id号就是djcelery_periodictask表的主键id
我的定时任务主要功能是去生产库执行SQL查询数据,生成excel表,最后发邮件给各个收件人,所以我单独建了四张表去保存这些参数。
主表是data_apply,通过和其它表进行关联查询,就能得到定时任务所需要的SQL语句、收件人、数据库ip等等参数。而主表的djcelery_periodictask_id字段就
对应djcelery_periodictask表里的主键id。
因为arg字段就保存的就是djcelery_periodictask表里的主键id,在写定时任务的模板函数时,通过arg获取到djcelery_periodictask表的主键id后,就可以去主表data_apply里根据djcelery_periodictask_id号查询定时任务的其它参数,
最后就可以执行后面的定时任务了。
@shared_task(name='fun1')
def fun1(_id):
"""
定义定时任务模板函数时,传入的arg、kwargs参数,而arg里保存的是id号,通过id去主表里查询任务参数
1.sql语句:select * from 主表 where djcelery_periodictask_id =_id
2.Django ORM
""" ... ... # 获取到参数后再执行任务逻辑 ... ...
三、总结
单独建表保存定时任务的相关参数,在对定时任务进行批量的增删改查时更灵活,扩展也方便,但是需要一定的SQL基础。
最理想的解决方案,还是单独写一个定时调度器,替代djcelery,但是难度较大。
如果会Java的话,可以使用Java的一些定时调度功能取代python celery 这块,毕竟Java的生态圈要比python更丰富。
基于Django+celery二次开发动态配置定时任务 ( 二)的更多相关文章
- 基于Django+celery二次开发动态配置定时任务 ( 一 )
需求: 前端时间由于开发新上线一大批系统,上完之后没有配套的报表系统.监控,于是乎开发.测试.产品.运营.业务部.财务等等各个部门就跟那饥渴的饿狼一样需要 各种各样的系统数据满足他们.刚开始一天一个还 ...
- celery 动态配置定时任务
How to dynamically add or remove tasks to celerybeat? · Issue #3493 · celery/celery https://github.c ...
- Django + Celery 实现动态配置定时任务
哈喽,今天给大家分享一篇Django+Celery实现动态配置定时任务,因为最近也是无意间看到一位大佬关于这块的文章,然后自己觉得不错,也想学习写一下,然后最终实现功能是在前端页面统一管理计划任务,大 ...
- 基于Netbeans的安卓Android开发环境配置 - CSDN博客
原文:基于Netbeans的安卓Android开发环境配置 - CSDN博客 基于Netbeans的安卓Android开发环境配置 一.准备工作 NetBeans 勾选网页中的Accept-选择对应系 ...
- 基于Eclipse的Hadoop应用开发环境配置
基于Eclipse的Hadoop应用开发环境配置 我的开发环境: 操作系统ubuntu11.10 单机模式 Hadoop版本:hadoop-0.20.1 Eclipse版本:eclipse-java- ...
- 基于django的视频点播网站开发
项目名称 基于django的视频点播网站开发 项目背景 学习完毕python和django之后,想找个项目练练手,本来想写个博客项目练手,无奈别人已经写过了,所以笔者就打算写一个视频点播网站,因为笔者 ...
- 金蝶K3 wise 插件二次开发与配置
金蝶K3 wise 插件二次开发与配置 开发环境:K/3 Wise 13.0.K/3 Bos开发平台.Visual Basic 6.0 目录 一.二次开发插件编程二.代码演示三.配置插件四.测试插件五 ...
- 基于django的个人博客网站建立(二)
基于django的个人博客网站建立(二) 前言 网站效果可点击这里访问 今天主要完成后台管理员登录的状态以及关于文章在后台的处理 具体内容 首先接上一次内容,昨天只是完成了一个登录的跳转,其他信息并没 ...
- Django+Celery+xadmin实现异步任务和定时任务
Django+Celery+xadmin实现异步任务和定时任务 关注公众号"轻松学编程"了解更多. 一.celery介绍 1.简介 [官网]http://www.celerypro ...
随机推荐
- for 续7
----------siwuxie095 for 中的变量: FOR 变量参照的替换已被增强.您现在可以使用下列选项语法: ~I - 删除任何引号(" ...
- How To Debug Qmake Pro File
对于程序代码,我们经常使用到调试. 可是,对于有些项目的配置文件,比如Qt的Pro文件, 一个项目复杂的话,Pro文件就很容易出错. 此时的Pro文件,如果也能调试的话,那么是十分的快捷方便的. 解决 ...
- Putty建立隧道的方法[z]
通过上节我们了解了SSH隧道的优点,但是无论是现实中还是网络中,隧道都是有入口和出口的,本节就以Putty隧道为例,详细介绍Putty建立隧道的方法. 模拟案例一: 端口,出口为2012端口,隧道建立 ...
- 记录GOPATH在GOLAND中的坑
首先我的环境已配置好: GO的目录结构是: add.go package calc//函数名必须大写首字母,不然外部包找不到 func Add(a int,b int)(int){ return a+ ...
- Java程序设计11——GUI设计与事件处理A
1.GUI设计 Java使用AWT和Swing类完成图形用户界面编程,AWT全称是Abstract Window Toolkit,即抽象窗口工具集,它是Sun最早提供的GUI库,只是这个库功能比较有限 ...
- android 的AlertDialog对话框
private int selectedFruitIndex = 0; private void showMsg2() {// Dialog alertDialog = new AlertDial ...
- 从cookie中取值$.cookie()
从cookie中取值: var userid = $.cookie("remoteuserid");例子: function delUser() { var table = ...
- viewDidAppear在何时调用?
[viewDidAppear在何时调用] If the view belonging to a view controller is added to a view hierarchy directl ...
- jmeter 计数器 (可自动生成新数字、注册专用)
1.打开jmeter,创建好线程组后,添加计数器 2.设置计数器 3.添加HTTP请求,验证所设置的计数器 4.填写对应参数 5.添加查看结果树,查看结果 6.修改一下线程属性 7.跑一下,看下结果就 ...
- B-spline Curves 学习之B样条曲线的系数计算与B样条曲线特例(6)
B-spline Curves: Computing the Coefficients 本博客转自前人的博客的翻译版本,前几章节是原来博主的翻译内容,但是后续章节博主不在提供翻译,后续章节我在完成相关 ...