分布式任务调度系统xxl-job搭建
为解决分布式环境下定时任务的可靠性,稳定性,只执行一次的特性,我找到了个大众点评开源的分布式调度任务解决完整系统,下面我将一步步深入解读该系统,从基本的使用到源码的探究
下载
- https://github.com/xuxueli/xxl-job ,该项目目前更新仍然活跃,我使用的是1.9.1版本
搭建
- 它的文档介绍还是很全面的,这里为了最快的使用并看出效果,我来列出最简洁的搭建步骤
- 在自己的mysql中执行doc/db/tables_xxl_job.sql该文件,该文件的作用是为quartz搭建最基础的表结构
- 修改xxl-job-admin目录下xxl-job-admin.properties文件
### xxl-job db (use & replace & in xml)
xxl.job.db.driverClass=com.mysql.jdbc.Driver
xxl.job.db.url=jdbc:mysql://i.tzxylao.com:3306/xxl-job?useUnicode=true&characterEncoding=UTF-8&useSSL=false
xxl.job.db.user=tzxylao
xxl.job.db.password=xxx ### xxl-job email
xxl.job.mail.host=smtp.163.com
xxl.job.mail.port=25
xxl.job.mail.ssl=false
xxl.job.mail.username=15068610616@163.com
xxl.job.mail.password=xxxx
xxl.job.mail.sendNick=《任务调度平台XXL-JOB》
把mysql数据库信息和报警邮箱信息填入这里(报警邮箱可以不填,用来在定时任务出错时发送错误信息到邮箱)
3. 这样分布式调度中心就建完了,为了测试,我直接用它提供的测试代码,此测试代码在此系统中的概念相当于一个执行器
4. 若我们要新建一个定时任务/**
* Created by lll on 2018/9/17 14:38.
*/
@Component
@JobHandler("testJobHandler")
@Slf4j
public class TestJobjHandler extends IJobHandler{
private int i = 0;
@Override
public ReturnT<String> execute(String s) throws Exception {
ReturnT<String> returnT = new ReturnT<>();
log.info("执行TestJobjHandler "+i);
i++;
if (i % 5 == 0) {
returnT.setMsg("执行失败"+i);
returnT.setContent("内容xxxx");
returnT.setCode(500);
return returnT;
}
return ReturnT.SUCCESS;
}
}
只需要继承IJobHandler,实现其方法,添加两个注解Component和JobHandler,value=testJobHandler表示在调度中心需要配置的任务JobHandler
5. 接下来主要配置application.properties### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
# 调度中心地址和端口
xxl.job.admin.addresses=http://127.0.0.1:8080 ### xxl-job executor address
# appname名字调度中心会配置,写相同即可
xxl.job.executor.appname=test-job
# 表示此执行器地址,也就是本项目部署地址
xxl.job.executor.ip=172.16.100.141
# 提供jetty连接的端口,不要冲突即可,在调度中心会配置此项
xxl.job.executor.port=9999
- 好了,配置完毕就打包此项目mvn package -DskipTests
- 把注册中心xxl-job-admin的war包运行到tomcat这里我部署端口8080
- 执行器为springboot项目,直接执行XxlJobExecutorApplication的main方法即可启动,注意端口别冲突,application.properties设置8082
# web port
server.port=8082
- 浏览器localhost:8080登录,默认用户名密码admin 123456
可以看到界面还是很美观的,也有很多信息披露,定时任务的数量,执行器数量,调度次数等等 - 在执行器管理选项中,修改默认的执行器,或者添加
- 这里机器地址需要手动录入,就是前面配置的,注意这里本机运行最好不要填127.0.0.1,可能报些乱七八糟的错误,我就一直报端口bind
- 在任务管理选项中添加任务
- 这里有很多的路由策略,阻塞策略等,这里先不详细介绍了~,笔者也是一知半解,等我看过源码再来说了_
- 添加完任务,定时任务就执行起来了哦
- 在返回失败的时候,我的邮箱就会收到错误信息了,关键信息是msg字段,所有这里一定要写错误关键点
总结
- 此项目优势还是很多的,如果我早点知道这个项目,就不用自己编写个极low的定时任务调度系统了,学习里面的思想,大多的分布式调度任务就都能了解了
- 这里列出些官方给出的此项目优势,增加点吸引力
- 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
- 2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效;
- 3、调度中心HA(中心式):调度采用中心式设计,“调度中心”基于集群Quartz实现并支持集群部署,可保证调度中心HA;
- 4、执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA;
- 5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;
- 6、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;
- 7、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
- 8、故障转移:任务路由策略选择"故障转移"情况下,如果执行器集群中某一台机器故障,将会自动Failover切换到一台正常的执行器发送调度请求。
- 9、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
- 10、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;
- 11、任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;
- 12、失败处理策略;调度失败时的处理策略,默认提供失败告警、失败重试等策略;
- 13、分片广播任务:执行器集群部署时,任务路由策略选择"分片广播"情况下,一次任务调度将会广播触发集群中所有执行器执行一次任务,可根据分片参数开发分片任务;
- 14、动态分片:分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。
- 15、事件触发:除了"Cron方式"和"任务依赖方式"触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务,可根据业务事件灵活触发。
- 16、任务进度监控:支持实时监控任务进度;
- 17、Rolling实时日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;
- 18、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
- 19、脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS等类型脚本;
- 20、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
- 21、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
- 22、自定义任务参数:支持在线配置调度任务入参,即时生效;
- 23、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
- 24、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;
- 25、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
- 26、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
- 27、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;
- 28、全异步:系统底层实现全部异步化,针对密集调度进行流量削峰,理论上支持任意时长任务的运行;
- 29、国际化:调度中心支持国际化设置,提供中文、英文两种可选语言,默认为中文;
分布式任务调度系统xxl-job搭建的更多相关文章
- 分布式任务调度系统:xxl-job
任务调度,通俗来说实际上就是"定时任务",分布式任务调度系统,翻译一下就是"分布式环境下定时任务系统". xxl-job一个分布式任务调度平台,其核心设计目标是 ...
- 基于nginx+xxl-job+springboot高可用分布式任务调度系统
技术.原理讲解: <分布式任务调度平台XXL-JOB--源码解析一:项目介绍> <分布式任务调度平台XXL-JOB--源码解析二:基于docker搭建admin调度中心和execut ...
- 分布式任务调度系统xxl-job搭建(基于docker)
一.简介 XXL-JOB是一个轻量级分布式任务调度平台,其核心设计目标是开发迅速.学习简单.轻量级.易扩展.现已开放源代码并接入多家公司线上产品线,开箱即用. 更多介绍,请访问官网: http://w ...
- 分布式任务调度平台XXL-JOB快速搭建教程
1. XXL-JOB简介 XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速.学习简单.轻量级.易扩展.现已开放源代码并接入多家公司线上产品线,开箱即用.它的有两个核心模块,一个模块叫做 ...
- 分布式任务调度系统xxl-job源码探究(一、客户端)
前面讲了xxl-job的搭建,现在来粗略的解析下该分布式调度系统的源码,先来客户点代码 客户端源码 客户端开启的时候会向服务中心进行注册,其实现用的是jetty连接,且每隔半分钟会发送一次心跳,来告诉 ...
- .NET Core下的开源分布式任务调度系统ScheduleMaster-v2.0低调发布
从1月份首次公开介绍这个项目到现在也快4个月了,期间做了一些修修补补整体没什么大的改动.2.0算是发布之后第一个大的版本更新,带来了许多新功能新特性,也修复了一些已知的bug,在此感谢在博客.Issu ...
- 分布式任务调度系统xxl-job相关问题补充
搭建xxl-job时可能会遇到的问题 邮箱配置不起作用报异常 以163邮箱为例,接收邮件需要开启POP3/STMP服务 光开启服务还不够,需要添加授权码 授权码为手动输入,可以与登录密码不同,所以服务 ...
- 分布式任务调度系统xxl-job源码探究(二、服务中心)
接下来看下服务端代码 服务端源码 服务端通过管理quartz定时任务组件,分发任务 先从入口看起,由web.xml进入,可以看出,自己编写的代码从applicationcontext-xxl-job- ...
- 分布式定时任务调度系统技术解决方案(xxl-job、Elastic-job、Saturn)
1.业务场景 保险人管系统每月工资结算,平安有150万代理人,如何快速的进行工资结算(数据运算型) 保险短信开门红/电商双十一 1000w+短信发送(短时汇聚型) 工作中业务场景非常多,所涉及到的场景 ...
随机推荐
- vagrant 同时设置多个同步目录
修改Vagrantfile文件 如下所示 config.vm.synced_folder "./", "/var/www/pyxis2", owner: &qu ...
- centos7下 nginx配置upstream 不能直接代理到本机tomcat的解决
Nginx代理本地tomcat时404. upstream是直接配置server localhost:10000 的.单独访问tomcat是可以的. 查看/var/log/nginx/error.lo ...
- 用 Python + itchat 写一个爬虫脚本每天定时给女朋友发微信暖心话
https://github.com/sfyc23/EverydayWechat.git
- cacti监控服务器
1.Cacti基本概念详解 Cacti是用php语言实现的一个软件,它的主要功能是用snmp服务获取数据,然后用rrdtool储存和更新数据,当用户需要查看数据的时候用rrdtool生成图表呈现给用户 ...
- mysql5.5升级到5.7
一.首先把mysql服务停止,复制mysql5.5中的data文件夹中的内容(你需要的数据库),放在mysql5.7的data文件夹中; 二.启动切换mysql5.7版本,(我这用的是phpwamp, ...
- Python基础-python数据类型(四)
python数据类型 在python中,变量就是变量,它没有类型,我们所说的类型是变量所指的内存中对象的类型. python中的数据类型: 1.数字 python中没有专门定义常量的方式,通常使用大写 ...
- MySQL 树节点递归遍历所以子节点
DELIMITER $$ DROP FUNCTION IF EXISTS `getChildList`$$ CREATE FUNCTION `getChildList`(rootId INT) RET ...
- Js学习(3) 数组
数组本质: 本质上数组是特殊的对象,因此,数组中可以放入任何类型的数据,对象,数组,函数都行 它的特殊性在于键名是按次序排列好的整数 从0开始,是固定的,不用指定键名 如果数组中的元素仍是数组,则为多 ...
- etcd-v2第四集
coreos把etcd的image放到自家的quay.io,而不是hub.docker,或许是竞争关系,但国内下载quay.io容器极难,反正shadowsocks是下载不了. 幸好有热心爱好者搬运到 ...
- SpringBoot2.x配置JsonRedisSerializer
@Configurationpublic class SpringCacheRedisConfig { @Bean public RedisCacheManager cacheManager(Redi ...