Elastic Job入门（1） - 简介

介绍

构建一般的业务系统来说，使用Quartz或者Spring Task即可基本满足我们的单体服用应用需要。然而随着线上业务量的不断发展，这两种定时任务已经日渐无法满足我们的需求。一般，使用这两种定时任务框架都会遇到如下的两个痛点问题：
1、如果业务工程采用集群化的部署，可能会多次重复执行定时任务而导致系统的业务逻辑错误，并产生系统故障。
2、Quartz的集群方案具备HA功能，可以实现定时任务的分发，但是通过增加机器节点数量的方式并不能提高每次定时任务的执行效率，无法实现任务的弹性分片。

开源产品Elastic-Job是当当开源的一款分布式弹性定时任务调度框架，在2.X版本以后主要分为Elastic-Job-Lite和Elastic-Job-Cloud两个子项目。其中，Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。而Elastic-Job-Cloud使用Mesos + Docker的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。本文主要学习Elastic-Job-Lite。

GitHub地址为：https://github.com/elasticjob/elastic-job-lite

中文官网为：http://elasticjob.io/index_zh.html

从Elastic-Job的架构图上基本就可以看出，其以Jar的形式为业务工程（诸如，Spring Boot工程）的快速集成提供了简便的方式。同时，其提供的定时任务分片、弹性扩缩容、失效转移、作业监控和支持多种作业模式等强大的功能，使业务开发人员无需在这些方面花费较大多的精力，而可以更加专注于平台的业务开发。其主要的功能如下：
1、定时任务：基于成熟的定时任务作业框架Quartz cron表达式执行定时任务；
2、作业注册中心：基于Zookeeper和其客户端Curator实现的全局作业注册控制中心；作业注册中心仅用于作业任务注册和监控信息的暂存；
3、定时任务分片：可以将原本一个较大任务分片成为多小的子任务项分别在多个服务器上同时执行，提高总任务的执行处理效率；
4、弹性扩容缩容：运行中定时任务所在的服务器崩溃，或新增加n台作业服务器，作业框架将在下次任务执行前重新进行任务调度分发，不影响当前任务的处理与执行；
5、支持多种任务模式：分别支持Simple、Dataflow和Script类型的定时任务；
6、失效转移：运行中的定时任务所在的服务器崩溃不会导致重新分片，会在下次定时任务启动时重新分发和调度；
7、运行时定时任务状态收集：监控任务运行时的状态，统计最近一段时间任务处理成功和失败的数量，记录作业上次运行开始时间，结束时间和下次运行时间；
8、支持配置定时任务停止、恢复和禁用：用于操作定时任务的启停，并可以禁止某任务的执行；
9、Spring支持：Elastic-Job-Lite项目完美支持spring的容器，自定义命名空间，支持占位符
10、运维平台：提供运维界面，方便开发和运维人员管理生产环境上已经发布的定时任务和注册中心；

 

水平分片

 

 

横向拓容

 

 

Springboot2默认数据库连接池选择了HikariCP

<dependency>
    <groupId>com.zaxxer</groupId>
    <artifactId>HikariCP</artifactId>
</dependency>

 spring:
     datasource:
       url: jdbc:mysql://localhost:3306/test?characterEncoding=utf-8&verifyServerCertificate=false&useSSL=false&requireSSL=false
       driver-class-name: com.mysql.jdbc.Driver
       username: root
       password: root
       type: com.zaxxer.hikari.HikariDataSource
   #  自动创建更新验证数据库结构
     jpa:
       hibernate:
         ddl-auto: update
       show-sql: true
       database: mysql

==========================================API配置启动==========================================

引入Maven

<dependency>
    <groupId>com.dangdang</groupId>
    <artifactId>elastic-job-lite-core</artifactId>
    <version>${latest.release.version}</version>
</dependency>

方法参数ShardingContext包含作业配置，分片和运行时信息。可通过getShardingTotalCount(),getShardingItems()等方法分别获取分片总数，运行在本作业服务器的分片序列号集合等。

Simple类型作业

与Quartz接口相似，用于执行普通的定时任务，只是增加了弹性拓容和分片等功能：

public class MyElasticJob implements SimpleJob {

    @Override
    public void execute(ShardingContext context) {
        switch (context.getShardingItem()) {
            case 0:
                // do something by sharding item 0
                break;
            case 1:
                // do something by sharding item 1
                break;
            case 2:
                // do something by sharding item 2
                break;
            // case n: ...
        }
    }
}

Dataflow类型作业

Dataflow类型用于处理数据流，需实现DataflowJob接口。该接口提供2个方法可供覆盖，分别用于抓取(fetchData)和处理(processData)数据。

public class MyElasticJob implements DataflowJob<Foo> {

    @Override
    public List<Foo> fetchData(ShardingContext context) {
        switch (context.getShardingItem()) {
            case 0:
                List<Foo> data = // get data from database by sharding item 0
                return data;
            case 1:
                List<Foo> data = // get data from database by sharding item 1
                return data;
            case 2:
                List<Foo> data = // get data from database by sharding item 2
                return data;
            // case n: ...
        }
    }

    @Override
    public void processData(ShardingContext shardingContext, List<Foo> data) {
        // process data
        // ...
    }
}

流式处理

　　可通过DataflowJobConfiguration配置是否流式处理。流式处理数据只有fetchData方法的返回值为null或集合长度为空时，作业才停止抓取，否则作业将一直运行下去； 非流式处理数据则只会在每次作业执行过程中执行一次fetchData方法和processData方法，随即完成本次作业。如果采用流式作业处理方式，建议processData处理数据后更新其状态，避免fetchData再次抓取到，从而使得作业永不停止。 流式数据处理参照TbSchedule设计，适用于不间歇的数据处理。

作业配置

Elastic-Job配置分为3个层级，分别是Core, Type和Root。每个层级使用相似于装饰者模式的方式装配。

Core对应JobCoreConfiguration，用于提供作业核心配置信息，如：作业名称、分片总数、CRON表达式等。

Type对应JobTypeConfiguration，有3个子类分别对应SIMPLE, DATAFLOW和SCRIPT类型作业，提供3种作业需要的不同配置，如：DATAFLOW类型是否流式处理或SCRIPT类型的命令行等。

Root对应JobRootConfiguration，有2个子类分别对应Lite和Cloud部署类型，提供不同部署类型所需的配置，如：Lite类型的是否需要覆盖本地配置或Cloud占用CPU或Memory数量等。

// 定义作业核心配置
JobCoreConfiguration simpleCoreConfig = JobCoreConfiguration.newBuilder("demoSimpleJob", "0/15 * * * * ?", 10).build();
// 定义SIMPLE类型配置
SimpleJobConfiguration simpleJobConfig = new SimpleJobConfiguration(simpleCoreConfig, SimpleDemoJob.class.getCanonicalName());
// 定义Lite作业根配置
LiteJobConfiguration simpleJobRootConfig = LiteJobConfiguration.newBuilder(simpleJobConfig).build();

作业启动

public class JobDemo {

    public static void main(String[] args) {
        new JobScheduler(createRegistryCenter(), createJobConfiguration()).init();
    }

    private static CoordinatorRegistryCenter createRegistryCenter() {
        CoordinatorRegistryCenter regCenter = new ZookeeperRegistryCenter(new ZookeeperConfiguration("zk_host:2181", "elastic-job-demo"));
        regCenter.init();
        return regCenter;
    }

    private static LiteJobConfiguration createJobConfiguration() {
        // 创建作业配置
        // ...
    }
}

==========================================Spring配置启动==========================================

引入Maven

<dependency>
    <groupId>com.dangdang</groupId>
    <artifactId>elastic-job-lite-spring</artifactId>
    <version>${latest.release.version}</version>
</dependency>

作业配置

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:reg="http://www.dangdang.com/schema/ddframe/reg"
    xmlns:job="http://www.dangdang.com/schema/ddframe/job"
    xsi:schemaLocation="http://www.springframework.org/schema/beans
                        http://www.springframework.org/schema/beans/spring-beans.xsd
                        http://www.dangdang.com/schema/ddframe/reg
                        http://www.dangdang.com/schema/ddframe/reg/reg.xsd
                        http://www.dangdang.com/schema/ddframe/job
                        http://www.dangdang.com/schema/ddframe/job/job.xsd
                        ">
    <!--配置作业注册中心 -->
    <reg:zookeeper id="regCenter" server-lists="yourhost:2181" namespace="dd-job" base-sleep-time-milliseconds="1000" max-sleep-time-milliseconds="3000" max-retries="3" />

    <!-- 配置作业-->
    <job:simple id="demoSimpleSpringJob" class="xxx.MyElasticJob" registry-center-ref="regCenter" cron="0/10 * * * * ?" sharding-total-count="3" sharding-item-parameters="0=A,1=B,2=C" />
</beans>

作业启动

将配置Spring命名空间的xml通过Spring启动，作业将自动加载。