基于Django+celery二次开发动态配置定时任务 （ 二）

一、需求

结合上一篇，使用djcelery模块开发定时任务时，定时任务的参数都保存在djcelery_periodictask表的args、kwargs字段里，并且是json格式。那么，当定时任务多了之后，批量修改定时任务的某个参数时很草蛋，

比如，我的平台目前有100多个定时任务，定时任务的功能就是去生产数据库里执行SQL，并将结果生成excel表，然后自动发送给相关收件人。定时任务的参数就是SQL语句、生产库IP、收件人地址等等，当运营部门说，

我们需要在20个定时任务里增加3个人员的收件人地址，那就头疼了，由于定时任务的所有参数都是以json格式保存在args字段里，没法通过SQL语句批量修改，只能在页面一个一个点！累死了！

而要实现批量修改的功能，之前想到的是以下3种：

1、通过写脚本，先去数据库里把args、kwargs字段的值取出来，然后一个个改，改完再回写到djcelery_periodictask表里，但是感觉还是很繁琐，没有直接写SQL语句来的简单、灵活。（SQL写一个单表查询，python得写10行）

2、使用SQL语句的json语法实现。MySQL5.7以后支持json格式字段的增删改查，语法太复杂，拼了一整天SQL语句，放弃了。

3、抛弃djcelery模块，基于Django + celery 重写一个调度器来实现动态配置定时任务，并且可以使用SQL批量增删改查。看了下djcelery源码，算了。

现在想到了两个个折中的办法：

1、就是把定时任务的各个参数，单独建表保存，然后将主表的id号保存在djcelery_periodictask表的args字段里。执行定时任务时，先通过args的字段获取id号，再通过id去主表里查询定时任务的各个参数，有了这些参数，就能

执行定时任务了，如果需要批量修改，直接写SQL就能实现。

2、把djcelery_periodictask表的主键id号保存到args字段里，再新建表，保存定时任务的各个参数及djcelery_periodictask表的主键id。执行定时任务时，先获取djcelery_periodictask表的主键id，再去新建表里，通过id获取定时任务

的各个参数，这样就能执行任务了。（我用的第二种，两种方法原理一样。）

二、实现方法

       先看看原始的djcelery_periodictask表保存的args、kwargs字段。保存成一坨，没办法批量增删改查。

现在改成，在args字段里只保存id号，注意：这个id号就是djcelery_periodictask表的主键id

我的定时任务主要功能是去生产库执行SQL查询数据，生成excel表，最后发邮件给各个收件人，所以我单独建了四张表去保存这些参数。

主表是data_apply，通过和其它表进行关联查询，就能得到定时任务所需要的SQL语句、收件人、数据库ip等等参数。而主表的djcelery_periodictask_id字段就

对应djcelery_periodictask表里的主键id。

因为arg字段就保存的就是djcelery_periodictask表里的主键id，在写定时任务的模板函数时，通过arg获取到djcelery_periodictask表的主键id后，就可以去主表data_apply里根据djcelery_periodictask_id号查询定时任务的其它参数，

最后就可以执行后面的定时任务了。

 @shared_task(name='fun1')
 def fun1(_id):
     """
      定义定时任务模板函数时，传入的arg、kwargs参数，而arg里保存的是id号，通过id去主表里查询任务参数
      1.sql语句：select * from 主表 where djcelery_periodictask_id =_id
      2.Django ORM
     """

     ... ...

     # 获取到参数后再执行任务逻辑

     ... ...　　

三、总结

单独建表保存定时任务的相关参数，在对定时任务进行批量的增删改查时更灵活，扩展也方便，但是需要一定的SQL基础。

最理想的解决方案，还是单独写一个定时调度器，替代djcelery，但是难度较大。

如果会Java的话，可以使用Java的一些定时调度功能取代python celery 这块，毕竟Java的生态圈要比python更丰富。