Spring batch学习 (1)

Spring Batch 批处理框架埃森哲和Spring Source研发

主要解决批处理数据的问题，包含并行处理，事务处理机制等。具有健壮性可扩展，和自带的监控功能，并且支持断点和重发。让程序员更加注重于业务实现。

Spring Batch 结构如下

JobRepository ：作业仓库负责job。step执行过程的状态保存

JobLauncher : 作业调度器提供执行job入口

Job : 作业由一个或者多个step组成封装多个批处理操作，每个step可以有自己的上下文存放变量和自己的生命周期。

Step: 作业步 job的一个环节，有多个或者一个step组成job

Tasklet: Step中的具体执行逻辑的动作可循环执行，支持异步和同步适用于不同场景

Chunk :给定的item集合可以定义对chunk的读操作，处理操作，写操作，提交间隔等这是SpringBatch 一个特性

Item:一条数据记录

ItemReader: 从数据源(文件系统队列文件等)读取item

ItemProcessor:在Item写入前进行一些处理比如数据清洗，数据转换，数据校验，数据过滤等。

ItemWrieter :将item批量输出到数据源（文件系统，队列，数据库等）

看下batch的基本配置元素分为两种一种为在内存中。

<?xml version="1.0" encoding="UTF-8"?>

<beans xmlns="http://www.springframework.org/schema/beans"

    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

    xmlns:p="http://www.springframework.org/schema/p"

    xmlns:tx="http://www.springframework.org/schema/tx"

    xmlns:aop="http://www.springframework.org/schema/aop"

    xmlns:context="http://www.springframework.org/schema/context"

    xsi:schemaLocation="http://www.springframework.org/schema/beans

    default-autowire="byName">

    <!--job工厂 不是定时-->

    <bean id="jobRepository"

        class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBean">

    </bean>

  <!--job加载器-->

<bean id="jobLauncher" class="org.springframework.batch.core.launch.support.SimpleJobLauncher"> <property name="jobRepository" ref="jobRepository"/> </bean>
<!--事务管理器-->
 <bean id="transactionManager" class="org.springframework.batch.support.transaction.ResourcelessTransactionManager"/> </beans>

第二种为放在数据库中需要在数据库中建表脚本在spring-batch-core的core包里面。mysql版本如下下一篇文章解释表的作用

-- Autogenerated: do not edit this file

CREATE TABLE BATCH_JOB_INSTANCE  (

    JOB_INSTANCE_ID BIGINT  NOT NULL PRIMARY KEY ,

    VERSION BIGINT ,

    JOB_NAME VARCHAR() NOT NULL,

    JOB_KEY VARCHAR() NOT NULL,

    constraint JOB_INST_UN unique (JOB_NAME, JOB_KEY)

) ENGINE=InnoDB;

CREATE TABLE BATCH_JOB_EXECUTION  (

    JOB_EXECUTION_ID BIGINT  NOT NULL PRIMARY KEY ,

    VERSION BIGINT  ,

    JOB_INSTANCE_ID BIGINT NOT NULL,

    CREATE_TIME DATETIME NOT NULL,

    START_TIME DATETIME DEFAULT NULL ,

    END_TIME DATETIME DEFAULT NULL ,

    STATUS VARCHAR() ,

    EXIT_CODE VARCHAR() ,

    EXIT_MESSAGE VARCHAR() ,

    LAST_UPDATED DATETIME,

    constraint JOB_INST_EXEC_FK foreign key (JOB_INSTANCE_ID)

    references BATCH_JOB_INSTANCE(JOB_INSTANCE_ID)

) ENGINE=InnoDB;

CREATE TABLE BATCH_JOB_EXECUTION_PARAMS  (

    JOB_EXECUTION_ID BIGINT NOT NULL ,

    TYPE_CD VARCHAR() NOT NULL ,

    KEY_NAME VARCHAR() NOT NULL ,

    STRING_VAL VARCHAR() ,

    DATE_VAL DATETIME DEFAULT NULL ,

    LONG_VAL BIGINT ,

    DOUBLE_VAL DOUBLE PRECISION ,

    IDENTIFYING CHAR() NOT NULL ,

    constraint JOB_EXEC_PARAMS_FK foreign key (JOB_EXECUTION_ID)

    references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)

) ENGINE=InnoDB;

CREATE TABLE BATCH_STEP_EXECUTION  (

    STEP_EXECUTION_ID BIGINT  NOT NULL PRIMARY KEY ,

    VERSION BIGINT NOT NULL,

    STEP_NAME VARCHAR() NOT NULL,

    JOB_EXECUTION_ID BIGINT NOT NULL,

    START_TIME DATETIME NOT NULL ,

    END_TIME DATETIME DEFAULT NULL ,

    STATUS VARCHAR() ,

    COMMIT_COUNT BIGINT ,

    READ_COUNT BIGINT ,

    FILTER_COUNT BIGINT ,

    WRITE_COUNT BIGINT ,

    READ_SKIP_COUNT BIGINT ,

    WRITE_SKIP_COUNT BIGINT ,

    PROCESS_SKIP_COUNT BIGINT ,

    ROLLBACK_COUNT BIGINT ,

    EXIT_CODE VARCHAR() ,

    EXIT_MESSAGE VARCHAR() ,

    LAST_UPDATED DATETIME,

    constraint JOB_EXEC_STEP_FK foreign key (JOB_EXECUTION_ID)

    references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)

) ENGINE=InnoDB;

CREATE TABLE BATCH_STEP_EXECUTION_CONTEXT  (

    STEP_EXECUTION_ID BIGINT NOT NULL PRIMARY KEY,

    SHORT_CONTEXT VARCHAR() NOT NULL,

    SERIALIZED_CONTEXT TEXT ,

    constraint STEP_EXEC_CTX_FK foreign key (STEP_EXECUTION_ID)

    references BATCH_STEP_EXECUTION(STEP_EXECUTION_ID)

) ENGINE=InnoDB;

CREATE TABLE BATCH_JOB_EXECUTION_CONTEXT  (

    JOB_EXECUTION_ID BIGINT NOT NULL PRIMARY KEY,

    SHORT_CONTEXT VARCHAR() NOT NULL,

    SERIALIZED_CONTEXT TEXT ,

    constraint JOB_EXEC_CTX_FK foreign key (JOB_EXECUTION_ID)

    references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)

) ENGINE=InnoDB;

CREATE TABLE BATCH_STEP_EXECUTION_SEQ (ID BIGINT NOT NULL) ENGINE=MYISAM;

INSERT INTO BATCH_STEP_EXECUTION_SEQ values();

CREATE TABLE BATCH_JOB_EXECUTION_SEQ (ID BIGINT NOT NULL) ENGINE=MYISAM;

INSERT INTO BATCH_JOB_EXECUTION_SEQ values();

CREATE TABLE BATCH_JOB_SEQ (ID BIGINT NOT NULL) ENGINE=MYISAM;

INSERT INTO BATCH_JOB_SEQ values();

<?xml version="1.0" encoding="UTF-8"?>

<bean:beans xmlns="http://www.springframework.org/schema/batch"    //这里batch的xsd

    xmlns:bean="http://www.springframework.org/schema/beans"

    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

    xmlns:p="http://www.springframework.org/schema/p"

    xmlns:tx="http://www.springframework.org/schema/tx"

    xmlns:aop="http://www.springframework.org/schema/aop"

    xmlns:context="http://www.springframework.org/schema/context"

    xsi:schemaLocation="http://www.springframework.org/schema/beans

    http://www.springframework.org/schema/beans/spring-beans-3.0.xsd

    http://www.springframework.org/schema/tx

    http://www.springframework.org/schema/tx/spring-tx-3.0.xsd

    http://www.springframework.org/schema/aop

    http://www.springframework.org/schema/aop/spring-aop-3.0.xsd

    http://www.springframework.org/schema/context

    http://www.springframework.org/schema/context/spring-context-2.5.xsd

    http://www.springframework.org/schema/batch

    http://www.springframework.org/schema/batch/spring-batch-2.2.xsd">

    <!-- 作业仓库 -->

    <job-repository id="jobRepository" data-source="dataSource"

        transaction-manager="transactionManager" isolation-level-for-create="SERIALIZABLE"

        table-prefix="BATCH_" max-varchar-length=""

    />

    <!-- 作业调度器 -->

    <bean:bean id="jobLauncher"

        class="org.springframework.batch.core.launch.support.SimpleJobLauncher">

        <bean:property name="jobRepository" ref="jobRepository"/>

    </bean:bean>

    <!-- 事务管理器 -->

    <bean:bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">

        <bean:property name="dataSource" ref="dataSource" />

    </bean:bean>

    <!-- 数据源  可以引入properties 做成可配-->

    <bean:bean id="dataSource" class="org.springframework.jdbc.datasource.DriverManagerDataSource">

          <bean:property name="driverClassName">

               <bean:value>com.mysql.jdbc.Driver</bean:value>

          </bean:property>

          <bean:property name="url">

               <bean:value>jdbc:mysql://127.0.0.1:3306/batch</bean:value>

          </bean:property>

          <bean:property name="username" value="root"></bean:property>

          <bean:property name="password" value="root"></bean:property>

     </bean:bean>

</bean:beans>

这里拿spring batch一书上面例子说明应用场景：

如图这种情况下面简单的实现：

1.定义信用卡实体

/**

 *

 */

package com.juxtapose.example.ch02;

/**

 * 信用卡对账单模型.<br>

 * @author bruce.liu(mailto:jxta.liu@gmail.com)

 * 2013-1-6下午09:56:02

 */

public class CreditBill {

    private String accountID = "";    /** 银行卡账户ID */

    private String name = "";        /** 持卡人姓名 */

    private double amount = ;        /** 消费金额 */

    private String date;            /** 消费日期 ，格式YYYY-MM-DD HH:MM:SS*/

    private String address;            /** 消费场所 **/

    public String getAccountID() {

        return accountID;

    }

    public void setAccountID(String accountID) {

        this.accountID = accountID;

    }

    public String getName() {

        return name;

    }

    public void setName(String name) {

        this.name = name;

    }

    public double getAmount() {

        return amount;

    }

    public void setAmount(double amount) {

        this.amount = amount;

    }

    public String getDate() {

        return date;

    }

    public void setDate(String date) {

        this.date = date;

    }

    public String getAddress() {

        return address;

    }

    public void setAddress(String address) {

        this.address = address;

    }

    /**

     *

     */

    public String toString(){

        StringBuffer sb = new StringBuffer();

        sb.append("accountID=" + getAccountID() + ";name=" + getName() + ";amount="

                + getAmount() + ";date=" + getDate() + ";address=" + getAddress());

        return sb.toString();

    }

}

2. 定义processor 这里只是打印　　

import org.springframework.batch.item.ItemProcessor;

public class CreditBillProcessor implements

        ItemProcessor<CreditBill, CreditBill> {

    public CreditBill process(CreditBill bill) throws Exception {

        System.out.println(bill.toString());

        return bill;

    }

}

第三：

<?xml version="1.0" encoding="UTF-8"?>

<bean:beans xmlns="http://www.springframework.org/schema/batch"

    xmlns:bean="http://www.springframework.org/schema/beans"

    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

    xmlns:p="http://www.springframework.org/schema/p"

    xmlns:tx="http://www.springframework.org/schema/tx"

    xmlns:aop="http://www.springframework.org/schema/aop"

    xmlns:context="http://www.springframework.org/schema/context"

    xsi:schemaLocation="http://www.springframework.org/schema/beans

    http://www.springframework.org/schema/beans/spring-beans-3.0.xsd

    http://www.springframework.org/schema/tx

    http://www.springframework.org/schema/tx/spring-tx-3.0.xsd

    http://www.springframework.org/schema/aop

    http://www.springframework.org/schema/aop/spring-aop-3.0.xsd

    http://www.springframework.org/schema/context

    http://www.springframework.org/schema/context/spring-context-2.5.xsd

    http://www.springframework.org/schema/batch

    http://www.springframework.org/schema/batch/spring-batch-2.2.xsd">

    <bean:import resource="classpath:ch02/job-context.xml"/>

    <job id="billJob">

        <step id="billStep">

            <tasklet transaction-manager="transactionManager">

                <chunk reader="csvItemReader" writer="csvItemWriter"

                    processor="creditBillProcessor" commit-interval="">  //每两行插入一次

                </chunk>

            </tasklet>

        </step>

    </job>

      <job id="testJob">

        <step id="testStep">

            <tasklet transaction-manager="transactionManager">

                <chunk reader="csvItemReader" writer="csvItemWriter"

                    processor="creditBillProcessor" commit-interval="">

                </chunk>

            </tasklet>

        </step>

    </job>

    <!-- 读取信用卡账单文件,CSV格式 -->

    <bean:bean id="csvItemReader"

        class="org.springframework.batch.item.file.FlatFileItemReader"

        scope="step">

        <bean:property name="resource"

            value="classpath:ch02/data/credit-card-bill-201303.csv"/> //读取的文件名称

        <bean:property name="lineMapper">

            <bean:bean

                class="org.springframework.batch.item.file.mapping.DefaultLineMapper">

                <bean:property name="lineTokenizer" ref="lineTokenizer"/>

                <bean:property name="fieldSetMapper">//映射列

                    <bean:bean class="org.springframework.batch.item.file.mapping.BeanWrapperFieldSetMapper">

                        <bean:property name="prototypeBeanName" value="creditBill">

                        </bean:property>

                    </bean:bean>

                </bean:property>

            </bean:bean>

        </bean:property>

    </bean:bean>

    <!-- lineTokenizer -->

    <bean:bean id="lineTokenizer"

        class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer">

        <bean:property name="delimiter" value=","/> //分隔符

        <bean:property name="names">

            <bean:list> //列名

                <bean:value>accountID</bean:value>

                <bean:value>name</bean:value>

                <bean:value>amount</bean:value>

                <bean:value>date</bean:value>

                <bean:value>address</bean:value>

            </bean:list>

        </bean:property>

    </bean:bean>

    <!-- 写信用卡账单文件，CSV格式 -->

    <bean:bean id="csvItemWriter"

        class="org.springframework.batch.item.file.FlatFileItemWriter"

        scope="step">

        <bean:property name="resource" value="file:target/ch02/outputFile.csv"/>

        <bean:property name="lineAggregator">

            <bean:bean

                class="org.springframework.batch.item.file.transform.DelimitedLineAggregator">

                <bean:property name="delimiter" value=","></bean:property>

                <bean:property name="fieldExtractor">

                    <bean:bean

                        class="org.springframework.batch.item.file.transform.BeanWrapperFieldExtractor">

                        <bean:property name="names"

                             value="accountID,name,amount,date,address">

                        </bean:property>

                    </bean:bean>

                </bean:property>

            </bean:bean>

        </bean:property>

    </bean:bean>

    <bean:bean id="creditBill" scope="prototype"

        class="com.juxtapose.example.ch02.CreditBill">

    </bean:bean>

    <bean:bean id="creditBillProcessor" scope="step"

        class="com.juxtapose.example.ch02.CreditBillProcessor">

    </bean:bean>

</bean:beans>

4.测试

/**

 *

 */

package test.com.juxtapose.example.ch02;

import java.util.LinkedHashMap;

import java.util.Map;

import org.springframework.batch.core.Job;

import org.springframework.batch.core.JobExecution;

import org.springframework.batch.core.JobParameter;

import org.springframework.batch.core.JobParameters;

import org.springframework.batch.core.launch.JobLauncher;

import org.springframework.context.ApplicationContext;

import org.springframework.context.support.ClassPathXmlApplicationContext;

/**

 *

 * @author bruce.liu(mailto:jxta.liu@gmail.com)

 * 2013-2-28下午08:34:48

 */

public class JobLaunch {

	/**

	 * @param args

	 */

	public static void main(String[] args) {

		ApplicationContext context = new ClassPathXmlApplicationContext(

				"ch02/job/job.xml");

		JobLauncher launcher = (JobLauncher) context.getBean("jobLauncher");

		Job job = (Job) context.getBean("billJob");

		try {             
                        //这里只是测试参数

			Map<String,JobParameter> map  = new LinkedHashMap<String,JobParameter>();

			JobParameter jb = new JobParameter("aa",true);

			map.put("aa", jb);

			JobParameters jbs = new JobParameters(map);

			JobExecution result = launcher.run(job, jbs);

			System.out.println(result.toString());

		} catch (Exception e) {

			e.printStackTrace();

		}

	}

}

结果如上。大功告成。

下篇将表结构和各个组件的实现和扩展。

20170818 5.00

Spring batch学习 (1)的更多相关文章

Spring Batch学习笔记三：JobRepository
此系列博客皆为学习Spring Batch时的一些笔记: Spring Batch Job在运行时有很多元数据,这些元数据一般会被保存在内存或者数据库中,由于Spring Batch在默认配置是使用H ...
Spring Batch学习笔记二
此系列博客皆为学习Spring Batch时的一些笔记: Spring Batch的架构一个Batch Job是指一系列有序的Step的集合,它们作为预定义流程的一部分而被执行: Step代表一个自 ...
spring batch学习笔记
Spring Batch是什么? Spring Batch是一个基于Spring的企业级批处理框架,按照我师父的说法,所有基于Spring的框架都是使用了spring的IoC特性,然后加上 ...
Spring Batch学习
今天准备研究下Spring Batch,然后看了一系列资料,如下还是比较好的教程吧. 链接: http://www.cnblogs.com/gulvzhe/archive/2011/12/20/229 ...
Spring Batch学习笔记(一)
Spring Batch简介 Spring Batch提供了可重复使用的功能,用来处理大量数据.包括记录.跟踪,事务管理,作业处理统计,作业重启,跳过和资源管理. 此外还提供了更高级的技术服务和功能, ...
Spring batch学习详细配置解读(3)
第一篇讲到普通job 配置那么spring batch 给我们提供了丰富的配置,包括定时任务,校验,复合监听器,父类,重启机制等. 下面看一个动态设置读取文件的配置 1.动态文件读取 <?x ...
Spring batch学习持久化表结构详解(2)
#接上一篇这一篇讲一下持久化需要表 batch_job_execution, batch_job_execution_context, batch_job_execution_params, bat ...
Maven+Spring Batch+Apache Commons VF学习
Apache Commons VFS资料:例子:http://www.zihou.me/html/2011/04/12/3377.html详细例子:http://p7engqingyang.iteye ...
spring batch批处理框架学习
内如主要来自以下链接: http://www.importnew.com/26177.html http://www.infoq.com/cn/articles/analysis-of-large-d ...

随机推荐

机器学习算法--svm实战
1.不平衡数据分类问题对于非平衡级分类超平面,使用不平衡SVC找出最优分类超平面,基本的思想是,我们先找到一个普通的分类超平面,自动进行校正,求出最优的分类超平面测试代码如下: import nu ...
使用Jenkins来实现内部的持续集成流程（上）
前言 Jenkins和TeamCity都是大杀器,用于搭建内部持续集成环境都是妥妥的.本篇主要介绍Jenkins的安装,下篇将介绍相关配置和使用. 目录安装和配置第一次启动插件安装,第一次进入时 ...
Laravel框架中Validor中错误信息$error的输出
@if (count($errors) > 0) <div class="alert alert-danger"> <ul> @foreach ($e ...
js 数据函数
//shift:删除原数组第一项,并返回删除元素的值:如果数组为空则返回undefined var a = [1,2,3,4,5]; var b = a.shift(); //a:[2,3,4,5] ...
delphi文件操作的总结
csfinal90我的:收件箱资源博客空间设置|帮助|退出首页业界移动云计算研发论坛博客下载更多 windzb的专栏目录视图摘要视图订阅 IT俱乐部创始人杜鸿飞专访 ...
Jenkins的2个问题
最近CI服务器从老版本的hudson升级为jenkins,遇到了2个问题,记录一下: 1.升级为jenkins后,junit report里面显示的test case数量为原来的两倍,每个test c ...
js固定表头的实现（转）
原文链接:http://www.th7.cn/web/js/201509/121055.shtml 参考链接:http://www.jb51.net/article/102568.htm 写两个表格, ...
Python基础学习----参数和返回值
# 函数的参数和返回值 # 4种组合方式 # 1.无参无返 # def methodone(): # 2.无参有返 def methodtwo(): a=10 return a # 3.有参无返 # ...
分析器错误信息: 服务器标记不能包含 <% ... %> 构造
我的程序如下:<form runat="server"><TABLE><TR><TD>用户名:</TD><TD&g ...
HTML5和XHTML的区别
既然被问到了HTML5和XHTML的区别,那我就在这里给大家分享一些我个人的理解,同时我也觉得从他们的来源上讲,他们藏着一个有趣的故事. 首先认识三个组织,IETF (Internet Enginee ...

Spring batch学习 (1)

Spring batch学习 (1)的更多相关文章

随机推荐

热门专题