在elastic-job详解(三):Job的手动触发功能一文中讲到了如何手动触发一个Job,但是我们手动触发的时候常常需要输入一些参数.举个栗子:我们有个日统计报表,每天凌晨统计一次,统计上一天的数据.但我们发现几天前的某一天的数据有问题,需要重跑统计.这就需要统计程序能执行指定某一天的数据.这个功能就可以使用自定义任务参数来轻松实现.自定义参数,可通过传递该参数为作业调度的业务方法传参,用于实现带参数的作业.例:每次获取的数据量.作业实例从数据库读取的主键.执行某一天的任务等. 1. 支持自定

github源码: https://github.com/dangdangdotcom/elastic-job maven中央仓: http://repo1.maven.org/maven2/com/dangdang/ 获取分支 git clone -b 1.0.4 https://github.com/dangdangdotcom/elastic-job 快速上手 http://dangdangdotcom.github.io/elastic-job/post/quick_start/ Zoo

作者简介: 张亮,当当网架构师.当当技术委员会成员.消息中间件组负责人.对架构设计.分布式.优雅代码等领域兴趣浓厚.目前主导当当应用框架ddframe研发,并负责推广及撰写技术白皮书.   一.为什么需要作业(定时任务)? 作业即定时任务.一般来说,系统可使用消息传递代替部分使用作业的场景.两者确有相似之处.可互相替换的场景,如队列表.将待处理的数据放入队列表,然后使用频率极短的定时任务拉取队列表的数据并处理.这种情况使用消息中间件的推送模式可更好的处理实时性数据.而且基于数据库的消息存储吞吐量

摘要: Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架.去掉了和dd-job中的监控和ddframe接入规范部分.该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发. ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX. 项目开源地址:https://github.com/dangdangdotcom/elastic-job Elastic-Job是ddframe中

本文介绍SpringBoot整合Elastic-Job分布式调度任务(简单任务). 1.有关Elastic-Job Elastic-Job是当当网开源的分布式任务调度解决方案,是业内使用较多的分布式调度解决方案. 这里主要介绍Elastic-Job-Lite,Elastic-Job-Lite定位为轻量级无中心化解决方案,使用jar包的形式提供最轻量级的分布式任务的协调服务,外部依赖仅Zookeeper. 架构图如下: Elastic-Job官网地址:http://elasticjob.io/in

数据分片的目的在于把一个任务分散到不同的机器上运行,既可以解决单机计算能力上限的问题,也能降低部分任务失败对整体系统的影响.elastic-job并不直接提供数据处理的功能,框架只会将分片项分配至各个运行中的作业服务器(其实是Job实例,部署在一台机器上的多个Job实例也能分片),开发者需要自行处理分片项与真实数据的对应关系.框架也预置了一些分片策略:平均分配算法策略,作业名哈希值奇偶数算法策略,轮转分片策略.同时也提供了自定义分片策略的接口. 分片原理 elastic-job的分片是通过zoo

Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架.去掉了和dd-job中的监控和ddframe接入规范部分.该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发. 项目开源地址:https://github.com/dangdangdotcom/elastic-job ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX. elastic-job和ddframe关系见下图

Elastic-Job支持 JAVA API 和 Spring 配置两种方式配置任务,这里我们使用 JAVA API 的形式来创建一个简单的任务入门,现在都是 Spring Boot 时代了,所以不建议使用 Spring 配置文件的形式. Elastic-Job 需要依赖 Zookeeper 中间件,用于注册和协调作业分布式行为的组件,目前仅支持 Zookeeper.我们已经创建了 Zookeeper 集群! 环境要求 1.Java 请使用 JDK 1.7 及其以上版本. 2.Zookeeper

当当的Elastic-Job开源出了两种分布式Job的解决方案:1. elastic-job-lite,这是一个无中心节点的调度: Elastic-Job-Lite定位为轻量级无中心化解决方案,使用jar包的形式提供分布式任务的协调服务. 2. elastic-job-cloud是一个有中心节点的分布式调度开源工具 Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案,额外提供资源治理.应用分发以及进程隔离等服务.Elastic-Job-Lite和Elastic

任务调度 定时任务调度:基于给定的时间点.给定的时间间隔.给定的执行次数自动执行的任务. Timer 介绍 Timer,简单无门槛,一般也没人用. Timer位于java.util包下,其内部包含且仅包含一个后台线程(TimeThread)对多个业务任务(TimeTask)进行定时定频率的调度. 参数说明: task:所要执行的任务,需要extends TimeTask override run() time/firstTime:首次执行任务的时间 period:周期性执行Task的时间间隔,单

开发指南 代码开发 作业类型 目前提供3种作业类型,分别是Simple,DataFlow和Script. DataFlow类型用于处理数据流,它又提供2种作业类型,分别是ThroughputDataFlow和SequenceDataFlow.需要继承相应的抽象类. Script类型用于处理脚本,可直接使用,无需编码. 方法参数shardingContext包含作业配置,分片和运行时信息.可通过getShardingTotalCount(),getShardingItems()等方法分别获取分片总

Elastic-Job - 分布式定时任务框架 摘要 Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架.去掉了和dd-job中的监控和ddframe接入规范部分.该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发. ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX. 项目开源地址:https://github.com/dangdangdotcom/elastic-j

前段时间项目开发中用到了当当开源的elastic-job,使用过程遇到一些问题,虽然不见得会影响写代码,但作为一个致力于搬好每一块砖的码农,当碰到问题时,我们不应该逃避,应该本着有困难也要上,没有困难创造困难也要上的精神冲上去搞定它,这样才能更容易了解事情的本质,才能有利于以后搬好每一块砖,佝偻者承蜩如是,我等搬砖亦复如是. --------------------------------------------------------------------------------------

还记得我们在JobScheduler中,在创建任务详情时,会调用一个建造器JobBuilder来创建一个Job,类型是LiteJob. LiteJob.java /** * Lite调度作业. * * @author zhangliang */ public final class LiteJob implements Job { @Setter private ElasticJob elasticJob; @Setter private JobFacade jobFacade; @Overri

在elastic-job的使用过程中,我们会遇到动态添加定时任务的时候,但是官网上面并没有对这块内容进行说明.按照我的理解以及官网上面elastic-job的框架图,ej的定时任务其实是存储在zookeeper的一个个节点上面,所以通过给zookeeper添加对应的节点即可完成定时任务的添加动作. 下面上代码: import java.text.SimpleDateFormat; import java.util.Date; import com.dangdang.ddframe.job.api

定时任务有哪些? Timer定时器 ScheduledExecutorService Spring自带的@Scheduled Quartz定时任务 当当elastic job定时任务 Quartz实现定时任务的步骤 下面这个例子很好的覆盖了Quartz最重要的3个基本要素: Scheduler:调度器.所有的调度都是由它控制. Trigger: 定义触发的条件.例子中,它的类型是SimpleTrigger,每隔1秒中执行一次. JobDetail & Job: JobDetail 定义的是任务数

1.业务场景 保险人管系统每月工资结算,平安有150万代理人,如何快速的进行工资结算(数据运算型) 保险短信开门红/电商双十一 1000w+短信发送(短时汇聚型) 工作中业务场景非常多,所涉及到的场景也各不相同,这使得我们定时任务系统应该集管理.调度.任务分配.监控预警为一体的综合调度系统,如何打造一套健壮的.适应不同场景的系统,技术选型尤其重要. 针对以上场景我们需要我们的分布式任务系统具备以下能力:     1.支持多种作业类型(shell作业/Java作业)     2.支持作业HA,负载

一.原理 elastic-job有lite版和cloud版,最大的区别是有无调度中心,笔者采用的是lite版本,无中心化. tips: 第一台服务器上线触发主服务器选举.主服务器一旦下线,则重新触发选举,选举过程中阻塞,只有主服务器选举完成,才会执行其他任务. 某作业服务器上线时会自动将服务器信息注册到注册中心,下线时会自动更新服务器状态. 主节点选举,服务器上下线,分片总数变更均更新重新分片标记. 定时任务触发时,如需重新分片,则通过主服务器分片,分片过程中阻塞,分片结束后才可执行任务.如分片

(继续贴一篇之前写的经验案例) elastic-job lite 编程实战经验 其实这是一次失败的项目,虽然最后还是做出来了,但是付出了很大代价.并且需要较深入的踩坑改造elastic-job,导致代码的可读性,可维护性也很差. 事实证明 elastic-job lite 并不适合用于做 需要长时间运行(可能几小时或几天不停止)的作业调度. 一.           elastic-job 简介 Elastic-Job是当当推出的一个开源分布式调度解决方案,由两个相互独立的子项目Elastic-

多情只有春庭月,犹为离人照落花. 概述 因项目中使用到定时任务,且服务部署多实例,因此需要解决定时任务重复执行的问题.即在同一时间点,每一个定时任务只在一个节点上执行.常见的开源方案,如 elastic-job . xxl-job .quartz . saturn. opencron . antares 等.最终决定使用elastic-job.elastic-job的亮点主要如下: 基于quartz 定时任务框架为基础的,因此具备quartz的大部分功能 使用zookeeper做协调,调度中心,