Spring Batch(三) Job Launcher、ItemReader、ItemProcessor、ItemWriter各个实现类和用途
内容来自《Spring Batch 批处理框架》,作者:刘相。
1.JobLauncher
JobLauncher(作业调度器)是SpringBatch框架提供的运行Job的能力。用过给定的JobName和JobParameters,可以通过JobLauncher执行Job。通过JobLauncher可以在Java程序中调用批处理任务,也可以在通过命令或者其他的框架(如定时调度框架Quartz)中调用批处理任务。
JobLauncher接口:
public interface JobLauncher {
public JobExecution run(Job job, JobParameters jobParameters) throws JobExecutionAlreadyRunningException,
JobRestartException, JobInstanceAlreadyCompleteException, JobParametersInvalidException;
}
SpringBatch提供了JobLauncher的简单的实现了类:SimpleJobLauncher。
public class SimpleJobLauncher implements JobLauncher, InitializingBean {
protected static final Log logger = LogFactory.getLog(SimpleJobLauncher.class);
private JobRepository jobRepository;
private TaskExecutor taskExecutor;
@Override
public JobExecution run(final Job job, final JobParameters jobParameters)
throws JobExecutionAlreadyRunningException, JobRestartException, JobInstanceAlreadyCompleteException,
JobParametersInvalidException {
//逻辑处理
}
public void setJobRepository(JobRepository jobRepository) {
this.jobRepository = jobRepository;
}
public void setTaskExecutor(TaskExecutor taskExecutor) {
this.taskExecutor = taskExecutor;
}
@Override
public void afterPropertiesSet() throws Exception {
//逻辑处理
}
}
2.ItemReader
ItemReader是Step中对资源的读处理,SpringBatch框架提供了多种读的实现类共我们使用。
IteamReader接口:
public interface ItemReader<T> {
T read() throws Exception, UnexpectedInputException, ParseException, NonTransientResourceException;
}
其实现类和介绍:
| ItemReader | 说明 |
| ListItemReader | 读取List类型数据,只能读取一次 |
| ItemReaderAdapter | ItemReader适配器,可以服用现有的读操作 |
| FlatFileItemReader | 读Flat类型文件 |
| StaxEventItemReader | 读XML类型的文件 |
| JdbcCursorItemReader | 基于JDBC游标方式读取数据库 |
| HibernateCursorItemReader | 基于Hibernate游标方式读取数据库 |
| StoredProcedureItemReader | 基于存储过程读取数据库 |
| IbatisPagingItemReader | 基于Ibatis分页读取数据库 |
| JpaPagingItemReader | 基于Jpa方式分页读取数据库 |
| JdbcPagingItemReader | 基于JDBC方式分页读取数据库 |
| HibernatePagingItemReader | 基于Hibernate方式分页读取数据库 |
| JmsItemReader | 读取JMS队列 |
| IteratorItemReader | 迭代方式读组件 |
| MultiResourceItemReader | 多文件读组件 |
| MongoItemReader | 基于分布式文件存储的数据库MongoDB读组件 |
| Neo4jItemReader | 面向网络的数据库Neo4j读组件 |
| ResourcesItemReader | 基于批量资源的读组件,每次读取返回资源对象 |
| AmqpItemReader | 读取AMQP队列组件 |
| RepositoryItemReader | 基于SpringData的读组件 |
3.ItemProcessor
ItemProcessor表示对读取的数据进行处理,开发者可以实现自己的业务逻辑操作来对数据处理。
ItemProcessor接口:
public interface ItemProcessor<I, O> {
O process(I item) throws Exception;
}
在process()方法中,参数item是ItemReader读取到的数据,返回O是交给ItemWriter写的数据。在process方法中可以对读取到的数据进行处理,如果返回值是null,则表示忽略这次的数据,跳过。
实现组件介绍:
SpringBatch框架提供的ItemProcessor组件
| ItemProcessor | 说明 |
| CompositeItemProcessor | 组合处理器,可以封装多个业务处理服务 |
| ItemProcessorAdapter | ItemProcessor适配器,可以服用现有的业务处理服务 |
| PassThroughItemProcessor | 不做任何业务处理,直接返回读到的数据 |
| ValidatingItemProcessor | 数据校验处理器,支持对数据的校验,如果校验不通过可以进行过滤掉或者通过slip的方式跳过对记录的处理 |
4.ItemWriter
ItemWriter是Step中对资源的写处理,SpringBatch也提供了许多类型的写实现。
public interface ItemWriter<T> {
void write(List<? extends T> items) throws Exception;
}
| ItemWriter | 说明 |
| FlatFileItemWriter | 写Flat类型文件 |
| MultiResourceItemWriter | 多文件写组件 |
| StaxEventItemWriter | 写XML类型文件 |
| AmqpItemWriter | 写AMQP类型消息 |
| ClassifierCompositeItemWriter | 根据Classifire路由不通的Item到特定的ItemWriter处理 |
| HibernateItemWriter | 基于Hibernate方式写数据库 |
| IbatisBtachItemWriter | 基于Ibatis方式写数据库 |
| ItemWriterAdapter | ItemWriter适配器,可以服用现有的服务 |
| JdbcBatchItemWriter | 基于JDBC方式写数据库 |
| JmsItemWriter | 写JMS队列 |
| JpaItemWriter | 基于Jpa方式写数据库 |
| GenfireItemWriter | 基于分布式数据库Genfire的写组件 |
| SpELMappingGenfireItemWriter | 基于Spring表达式语言写分布式数据库Genfire的组件 |
| MimeMessageItemWriter | 发送邮件的写组件 |
| MongoItemWriter | 基于分布式文件存储的数据库MongoDB写组件 |
| Neo4jItemWriter | 面向网络的数据库Neo4j的写组件 |
| PropertyExtractingDelegatingItemWriter | 属性抽取代理写组件。通过调用给定的SpringBean方法执行写入,参数由Item中指定的属性字段获取作为参数 |
| RepositoryItemWriter | 基于SpringData的写组件 |
| SimpleMailMessageItemWriter | 发送邮件的写组件 |
| CompositeItemWriter | 条目写的组合模式,支持组装多个ItemWriter |
Spring Batch(三) Job Launcher、ItemReader、ItemProcessor、ItemWriter各个实现类和用途的更多相关文章
- spring batch(一):基础部分
spring batch(一):基础部分 博客分类: Spring java spring batch 官网: http://www.springsource.org/spring-batch 下 ...
- Spring Batch学习笔记三:JobRepository
此系列博客皆为学习Spring Batch时的一些笔记: Spring Batch Job在运行时有很多元数据,这些元数据一般会被保存在内存或者数据库中,由于Spring Batch在默认配置是使用H ...
- Spring Batch 批处理框架
<Spring Batch 批处理框架>基本信息作者: 刘相 出版社:电子工业出版社ISBN:9787121252419上架时间:2015-1-24出版日期:2015 年2月开本:16开页 ...
- 图书简介:Spring Batch批处理框架
大数据时代批处理利器,国内首度原创解析Spring Batch框架. 内容简介: <Spring Batch 批处理框架>全面.系统地介绍了批处理框架Spring Batch,通过详尽的实 ...
- Spring Batch 专题
如今微服务架构讨论的如火如荼.但在企业架构里除了大量的OLTP交易外,还存在海量的批处理交易.在诸如银行的金融机构中,每天有3-4万笔的批处理作业需要处理.针对OLTP,业界有大量的开源框架.优秀的架 ...
- spring batch批量处理框架
spring batch精选,一文吃透spring batch批量处理框架 前言碎语 批处理是企业级业务系统不可或缺的一部分,spring batch是一个轻量级的综合性批处理框架,可用于开发企业信息 ...
- Spring batch学习 详细配置解读(3)
第一篇讲到普通job 配置 那么spring batch 给我们提供了丰富的配置,包括定时任务,校验,复合监听器,父类,重启机制等. 下面看一个动态设置读取文件的配置 1.动态文件读取 <?x ...
- 【转】大数据批处理框架 Spring Batch全面解析
如今微服务架构讨论的如火如荼.但在企业架构里除了大量的OLTP交易外,还存在海量的批处理交易.在诸如银行的金融机构中,每天有3-4万笔的批处理作业需要处理.针对OLTP,业界有大量的开源框架.优秀的架 ...
- spring batch的使用和定时器Quart的使用
Spring Batch是一个基于Spring的企业级批处理框架,它通过配合定时器Quartz来轻易实现大批量的数据读取或插入,并且全程自动化,无需人员管理. 在使用spring batch之前,得对 ...
随机推荐
- CentOS7.6编译安装nginx
配置阿里云yum源 cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak wget -O /etc/yu ...
- 安装Pycharm——靠谱的Pycharm安装详细教程
1.首先去Pycharm官网,或者直接输入网址:http://www.jetbrains.com/pycharm/download/#section=windows,下载PyCharm安装包,根据自己 ...
- session简介与生命周期
session简介 在计算机专业术语中,Session是指一个终端用户与交互系统进行通信的时间间隔,通常指从注册进入系统到注销退出系统之间所经过的时间以及如果需要的话,可能还有一定的操作空间. 具体到 ...
- 解决 for xml path encode 的问题
select stuff( (select ', <' + name + '>' from sys.databases where database_id > 4 order by ...
- 在.NET开发中的单元测试工具之(2)——xUnit.Net
在上一篇<在.NET开发中的单元测试工具之(1)——NUnit>中讲述了如何使用NUnit在.NET开发中进行单元测试以及NUnit的一些缺点,今天将讲述如何使用xUnit.Net来进行单 ...
- BZOJ4451 [Cerc2015]Frightful Formula 多项式 FFT 递推 组合数学
原文链接http://www.cnblogs.com/zhouzhendong/p/8820963.html 题目传送门 - BZOJ4451 题意 给你一个$n\times n$矩阵的第一行和第一列 ...
- java 解析富文本处理 img 标签
很多项目都需要到富文本来添加内容,就好比新闻啊,旅游景点之类的,都需要使用富文本去添加数据,然而怎么我这边就发现了两个问题 1)怎样将富文本的图片的 src 获取出来? 2)后台上传的时候用的是相对路 ...
- DWM1000 测距原理简单分析 之 SS-TWR
蓝点DWM1000 模块已经打样测试完毕,有兴趣的可以申请购买了,更多信息参见 蓝点论坛 正文: DWM1000 超宽带测距,使用的TOF(time of fly) 的方式,也就是计算无线电磁波传输时 ...
- ubuntu下vim使用方法
按下's'可对文本进行编辑 按下'ESC'再输入':',之后输入wq是保存再退出,输入q是直接退出.如果是只读read only模式则需要输入'wq!'保存退出.
- dup(dup2/dup3)
readme man~ NAME dup, dup2, dup3 - duplicate a file descriptor SYNOPSIS #include <unistd.h> in ...