Spring Batch学习笔记二
此系列博客皆为学习Spring Batch时的一些笔记;
Spring Batch的架构
一个Batch Job是指一系列有序的Step的集合,它们作为预定义流程的一部分而被执行;
Step代表一个自定义的工作单元,它是Job的主要构件块;每一个Step由三部分组成:ItemReader、ItemProcessor、ItemWriter;这三个部分将执行在每一条被处理的记录上,ItemReader读取每一条记录,然后传递给ItemProcessor处理,最后交给ItemWriter做持久化;ItemProcessor不是必须的,一个Step可以仅仅包含ItemReader和ItemWriter;如果你不需要去读写任何数据,你可以仅仅在一个Step中包含一个Tasklet(等价于ItemProcessor);
组成Spring Batch的一些相关的类和接口:
- org.springframework.batch.core.Job:表示一个Job,同时也提供了执行Job的能力;
- org.springframework.batch.core.Step:表示一个step,同时也提供了执行Step的能力;
- org.springframework.batch.item.ItemReader<T>:提供了读取数据的能力;
- org.springframework.batch.item.ItemProcessor<T>:我们可以通过它应用业务逻辑到每一条要处理的数据;
- org.springframework.batch.item.ItemWriter<T>:提供了写数据的能力
Spring Batch通过这种方式构建一个Job的优点在于解耦每一个Step到它自己独立的处理器当中;每一个Step负责得到数据、应用业务逻辑到这些数据、写数据到适当的位置;
一个Tasklet是一种特别的Step类型,在没有ItemReader和ItemWriter的情况下,使用它来执行一个功能;tasklet仅仅能被使用作一个单一的功能,如执行一些初始化、调用一个存储过程、发送一个邮件通知Job已经完成。
运行Job
首先看下面这个图,描述了Job的各个组件及其关系:
你会发现JobRepository这个组件会和多个其它组件发生联系,它代表一个数据存储(内存或者外部数据库),被用来持久化Job或Step执行过程中用到的信息(用JobExecution和StepExecution来表示);
Job通过JobLauncher开始执行,JobLauncher通过检查JobRepository来核实Job在之前是否运行过,并且验证传入到Job的参数,最后执行Job;
Job的执行流程和Step非常相似,Job首先实行每一个它包含的Step,当数据处理完成后,它将执行的结果更新到JobRepository的JobExecution和StepExecution中;Step首先通过ItemReader读取每一个它要处理的数据项,交由StepPrpcessor处理,同时更新JobRepository中的StepExecution数据。一些信息如Commit次数、开始结束时间都会被存储到JobRepository中,当一个Job/Step完成后,在JobRepository中相关的执行信息会被更新至最终状态。
并行运算
在Spring Batch中,并行可以通过以下四种方式实现:
- 将Step多线程化:在Spring Batch里面,我们把Job被配置去处理的工作块称为Chunk,每一个Chunk被处理完成后,都会执行一次Commit;这些Chunk依次执行,假如有10000条记录,一次处理50条,那么job会在1到50条记录完成后Commit,然后在51到100条记录完成后再次Commit;如果我们在Step中开启3个线程,那么将增加3倍的处理能力:
- 并行的执行Step:假设我们有两个Step,每一个都负责加载一个输入文件的数据到数据库中,这两个Step之间没有相互的依赖关系,我们则可以让这两个Step并行执行:
- 远程chunking:前两种方式都是在一个JVM里面去处理,这种方式允许你扩展你的处理跨多个JVM实例,其中一个JVM作为主节点,它通过一个ItemReader读取输入数据,然后通过网络将数据发送到其它的JVM实例上(称之为从节点)进行处理,处理完成后,从节点又将处理的结果发送回主结点,主结点通过ItemWriter输出;
- 分区:这种方式不需要跨多个JVM实例,因此不需要网络数据传输,但依然使用了主从配置;也就是说一个Step作为主Step,它扮演了其它多个从Step的控制器;它通过一个ItemReader读取输入数据,然后传递给从Step进行处理,处理完成后从Step又将处理的结果传递回主Step:
实例Job
Spring Batch提供了很多简单的Job实例,让你在开发你自定义的批处理应用程序时参考:
- adhocLoopJob:演示了一个无限循环的Job,通过JMX去暴露元素;
- beanWrapperMapperSampleJob:演示了如何实现基于文件的输入数据的验证和将文件字段映射到域对象;
- compositeItemWriterSampleJob:一个Step只能包含一个ItemReader和ItemWriter,这个Job教你如何绕开这个限制;
- customerFilterJob:演示如何使用一个ItemProcessor过滤无效的Customer;
- delegatingJob:使用ItemReaderAdapter,将输入数据的读取行为委托给一个POJO的某个方法;
- footballJob:一个足球赛事统计Job,在加载两个输入文件(一个文件是运动员数据,一个文件是赛事数据)之后,产生一个统计信息并输出到日志文件;
- groovyJob:演示运行由groovy编写的文件压缩和解压的脚本;
- headerFooterSample:演示如何使用回调,在输出的时候添加Header和Footer;
- hibernateJob:Spring Batch Reader和Writer默认不会使用Hibernate,这个Job演示了如何整合Hibernate;
- infiniteLoopJob:一个无限循环Job,在Job停止后自动重启;
- ioSampleJob:提供了很多不同IO方式的例子,如读取分隔符文件、固定长度字段的文件、Xml、JDBC、iBATIS集成;
- jobSampleJob:演示了如何从一个Job中执行另外一个Job;
- loopFlowSample:演示如何用编程的方式去控制执行流程;
- mailJob:演示如何使用SimpleMailMessageItemWriter去发送eMail;
Spring Batch学习笔记二的更多相关文章
- Spring Batch学习笔记三:JobRepository
此系列博客皆为学习Spring Batch时的一些笔记: Spring Batch Job在运行时有很多元数据,这些元数据一般会被保存在内存或者数据库中,由于Spring Batch在默认配置是使用H ...
- spring batch学习笔记
Spring Batch是什么? Spring Batch是一个基于Spring的企业级批处理框架,按照我师父的说法,所有基于Spring的框架都是使用了spring的IoC特性,然后加上 ...
- Spring Batch学习笔记(一)
Spring Batch简介 Spring Batch提供了可重复使用的功能,用来处理大量数据.包括记录.跟踪,事务管理,作业处理统计,作业重启,跳过和资源管理. 此外还提供了更高级的技术服务和功能, ...
- Spring Boot学习笔记二
Spring Boot入门第二篇 第一天的详见:https://www.cnblogs.com/LBJLAKERS/p/12001253.html 同样是新建一个pring Initializer快速 ...
- spring boot 学习笔记(二) 构建web支持jsp
一.必须将项目打包成war包 <packaging>war</packaging> 二.pom.xml加入依赖包 <dependency> <groupId& ...
- Spring Boot学习笔记(二二) - 与Mybatis集成
Mybatis集成 Spring Boot中的JPA部分默认是使用的hibernate,而如果想使用Mybatis的话就需要自己做一些配置.使用方式有两种,第一种是Mybatis官方提供的 mybat ...
- spring cloud学习笔记二 ribbon负载均衡
Ribbon是Netflix发布的负载均衡器,它有助于控制HTTP和TCP的客户端的行为.为Ribbon配置服务提供者地址后,Ribbon就可基于某种负载均衡算法,自动地帮助服务消费者去请求.Ribb ...
- Spring.Net学习笔记(二)-数据访问器
Spring对ADO.NET也提供了支持,依赖与程序集Spring.Data.dll IDbProvider IDbProvider定义了数据访问提供器的基础,配置如下 <?xml versio ...
- spring mvc学习笔记二:@RequestMapping
@RequestMapping RequestMapping是一个用来处理请求地址映射的注解,可用于类或方法上.用于类上,表示类中的所有响应请求的方法都是以该地址作为父路径. @RequestMapp ...
随机推荐
- Linux 下 YUM 安装 Percona Server 5.6
Percona Server 是 MySQL 的衍生版,专注于 Linux/BSD 下 MySQL 数据库服务器的改进, 在功能和性能上较 MySQL 有着显著的提升. Percona Server ...
- fnc.tld学习编写
使用 el 的过程中,需要使用到后端代码处理逻辑,这个时候我们就需要自定义 方法. 如我们后端代码定义如下: package com.rhythmk.common; public class FncH ...
- SOLD原则
借鉴: 1. 单一职责原则 单一职责原则 (Single Responsibility Principle,SRP) 指出,每个方法或类应当有且仅有 一个改变的理由.这意味着每个方法或类应当做一件事情 ...
- 关于C#使用Dllimport 导入vc++动态库后网站部署提示 “无法加载 DLL,找不到指定模块”的解决方法。
这次项目需要,做了一个C#写的WebService服务给外部调用,服务内部引用了算法库,本地调试已经通过,现场部署服务时各种提示找不到DLL文件. 第一.如果是包含有32位库在64位服务器系统上运行, ...
- python零碎知识点一
dir(object),列出对象所有可以用的的方法(参数可以为任意对象,例如class,func等) >>>dir('str') ['__add__', '__class__', ' ...
- Title Case a Sentence
解决思路 将字符串转换成小写 把字符串分割成字符串数组 循环数组将每一个单词首字母大写 把数组所有的元素转换成一个字符串 第一种方法 function titleCase(str) { str=str ...
- 【转】24Cxx 系列EEPROM通用程序及应用
关于I2C 学习的时候介绍得最多的就是24C02 这里存储EEPROM了,但学的时候基本只是讲讲简单的I2C 的总线数据传输而已,即使先gooogle上搜索也绝大部分这这样的文章,很少有说到如何在实际 ...
- chm转换为html
在Windows下chm转换为html的超简单方法(反编译CHM文件的方法) 通过调用Windows命令,将chm 文件转换为html 文件. 方法: 命令行(cmd),输入hh -decompile ...
- 文件名保存为.wsf文件即可分析文件夹中每个文件的行数
<job id="HowManyLines"> <script language="VBScript"> Const ForReadin ...
- spring+mybatis 手动开启和提交事务
spring配置文件 事务控制管理器transactionManager <!-- (事务管理)transaction manager, use JtaTransactionManager fo ...