spring batch （一）常见的基本的概念介绍

SpringBatch的基本概念介绍

内容来自《Spring Batch 批处理框架》，作者：刘相。

一、配置文件

　　在项目中使用spring batch 需要在配置文件中声明：

　　　　事务管理器：ResourceTransactionManager

　　　　任务仓库：MapJobRepositoryFactoryBean

　　　　任务加载器：SimpleJobLauncher(作业调度器)

二、基本介绍

　　在spring batch 中一个任务Job由一个或者多个步骤Step组成，一个步骤Step由读操作Reader、处理操作Procesor、写操作Writer组成。JobLauncher是任务启动器，可以看作是程序的入口。

三、spring batch 主要对象


对象	描述
Job	作业。批处理中的核心概念，是Batch操作的基础单元
JobInstance	作业实例。每个作业执行时，都会生成一个实例，实例会被存放在JobRepository中，如果作业失败，下次重新执行该作业时，会使用同一个作业实例。对于Job和JobInstance的关系，可以理解为Java中类和实例对象的关系。
JobParameters	作业参数。它是一组用来启动批处理任务的参数，在启动Job的时候，可以设置任何需要的作业参数。需要注意的是作业参数会用来标识作业实例，即不同的Job实例是通过Job参数的来区分的。
JobExecution	作业执行器。负责具有Job的执行，每次运行Job都回启动一个新的Job执行器。
JobRepository	作业仓库。主要负责存储作业执行过程中的状态数据和结果。为JobLauncher、Job、Step提供标准的CRUD实现。
JobLauncher	作业调度器（任务启动器）。它根据给定的JobParameters执行作业。
Step	作业步（操作步）。Job的一个执行环节，多个或者一个Step组成Job，封装了批处理任务中的一个独立的连续阶段。
StepExecution	作业步执行器。负责具体Step的执行。每次运行Step都会启动一个新的执行器。
Tasklet	Tasklet。step中具体执行逻辑的操作。可以重复执行。可以设置具体的同步、异步操作等。
ExecutionContext	执行上下文。它是一组框架持久化与控制的key/value对，能够让开发者在StepExecution或JobExecution范畴保存需要进行持久化的状态。
Item	条目。一条数据记录。
Chunk	Item集合。它是给定数量Item的集合。可以定义对读操作、处理操作、写操作，提交间隔等。
ItemReader	条目读（读操作）。表示Step读取数据，一次读取一条数据。
ItemProcessor	条目处理（处理操作）。用于表示Item的业务处理。
ItemWriter	条目写（写操作）。用于表示Step输出数据，一次输出一条。

四、对象介绍

　　1.Job

　　　批处理作业Job是由一组Step组成的，同时也是作业配置文件的顶层的元素。一般每个跑批Job都会有一个配置文件，在配置文件中配置Job的内容。如：每个Job都有自己唯一的id（名字），定义Step的执行顺序，定义作业是否可以重启等。

　　　Job执行的时候会生成一个Job Instance（作业实例），Job Instance包含执行Job期间产生的数据以及Job的执行状态信息等。Job Instance是通过Job Name（作业名称）和Job Parameters（作业参数）来区分的。每次Job执行的时候都会有一个Job Execution（作业执行器），Job Execution负责具体Job的执行。

　　　　一个Job可能有一个或多个Job Instance。

　　　　一个Job Instance可能有一个或多个Job Execution。（如果不理解往下看）

　　2.Job Instance　

　　　　Job Instance（作业实例）是一个运行期概念，Job每次执行都会涉及一个Job Instance。

　　　　Job Instance来源有两种可能：一种是根据设置的Job Parameters从Job Repository（作业仓库）中获取，第二中是如果根据设置的Job Parameters没有从Job Repository中获取到，则新创建一个Job Instance。

　　3.Job Parameters

　　　　一个Job通过Job Parameters来区分不同的Job Instance。如果同一个Job，Job Name一样的话，则Job Parameters肯定不一样，但是对于不同的Job来说，允许有相同的Job Parameters。也就是说Job Instance = Job Name + Job Parameters。

　　　　Job Parameters共支持四种类型的参数：String、Date、Long、Double。同时Spring Batch框架提供了通过JobParametersBuilder来构建参数，如下：

　　　　也可以查看相应的数据库表：BATCH_JOB_EXECUTION_PARAMS。

　　　　如果Job Name 和 Job Parameters 都相同的情况下执行Job 则会报异常。

　　4.Job Execution

　　　　Job Execution表示Job执行的句柄。一次Job的执行可能成功也可能失败，只有Job Execution执行成功时才会生成相应的Job Instance。这就是为什么一个Job Instance对应一个或多个Job Execution。

　　　　Job Execution对应的数据库是：BATCH_JOB_EXECUTION

　　　　Job Execution对应的Java类是：org.springframework.batch.core.JobExecution。

　　　　JobExecution主要的属性和表的字段差不多，其中属性中executionContext是：包含运行过程中所有需要被持久化的用户数据。

　　5.Step

　　　　Step表示作业中一个完整的步骤，一个Job可以有一个或多个Step，Step包含一个实际运行的批处理任务中的所有必须处理的信息。一个Step可以有一个或多个Step Execution。当一个Job由多个Step组成时，每个Step执行都会生成一个新的Step Execution，则一个Job Execution就会拥有多个Step Execution。

　　　　比如reader、processor、writer是一个Step，合并文件是一个Step，创建信号文件是一个Step。

　　　　Step中可以配置tasklet、partition、job、flow等。

　　6.Step Execution

　　　　Step Execution是Step执行的句柄。和Job Execution相似。一个Step可以有一个或多个Step Execution。

　　　　Step Execution对应的数据库是：BATCH_STEP_EXECUTION

　　　　Step Execution对应的Java类是：org.springframework.batch.core.StepExecution。

　　　　Step执行的过程是由StepExecution类的对象所表示的，包括每次执行对应的step、Job Execution、相关的事务操作等，此外每次执行step时还包含一个ExecutionContext，用来存放开发者在批处理运行过程中所需要的任何信息。

　　7.Execution Context

　　　　Execution Context是Spring Batch框架提供的持久化与控制的key/value对，能够让开发者在Step Execution或Job Execution中保存需要进行持久化的状态。框架会在每次commit后记录当前的提交记录数和读的记录数，保证继续从上次失败的点重新执行。

　　　　Execution Context分为两类：一类是Job Execution的上下文（对应表:BATCH_JOB_EXECUTION_CONTEXT），另一类是Step Execution的上下文（对应表：BATCH_STEP_EXECUTION_CONTEXT）。两类上下文之间的关系：一个Job Execution对应一个Job Execution上下文；每个Step Execution对应一个Step Execution 上下文；同一个Job中的Step Execution 共用Job Execution上下文。因此如果同一个Job不同的Step间需要共享数据，则可以从Job Execution的上下文共享数据。

　　8.Job Repository

　　　　Spring Batch框架提供Job Repository来存储Job执行期的元数据（这里的元数据是指：Job Instance、Job Execution、Job Parameters、Step Execution、Execution Context等），并提供两种默认实现方式。一种是存放在内存中，一种是将元数据存放在数据库中。