使用JPA和Hibernate进行批量处理的最佳方式

Tips

原文作者：Vlad Mihalcea

原文地址：The best way to do batch processing with JPA and Hibernate

在本文中，你将了解什么是批处理，为什么要使用它，以及如何在JPA和Hibernate中正确使用它。

批处理

在编写企业应用程序时，通常将工作分配在服务于典型OLTP（在线事务处理）传输的前端系统，和一个或多个批处理用于ETL（Extract，Transform，Load）操作。

批处理器，顾名思义，将要处理的数据分成几个块，因此具有以下优点：

• 每个块可以通过单独的工作线程进行处理，因此增加了吞吐量并减少了整个处理时间。
• 每个块都可以使用自己的数据库事务，所以如果有一个失败，就不用丢掉我们所做的所有工作，只是针对当前事务的变化。

JPA 批处理

当使用JPA时，假设要插入50个Post实体，那么应该这样做：

int entityCount = 50;
int batchSize = 25;
 
EntityManager entityManager = null;
EntityTransaction transaction = null;
 
try {
    entityManager = entityManagerFactory()
        .createEntityManager();
 
    transaction = entityManager.getTransaction();
    transaction.begin();
 
    for ( int i = 0; i < entityCount; ++i ) {
        if ( i > 0 && i % batchSize == 0 ) {
            entityManager.flush();
            entityManager.clear();
 
            transaction.commit();
            transaction.begin();
        }
 
        Post post = new Post(
            String.format( "Post %d", i + 1 )
        );
        entityManager.persist( post );
    }
 
    transaction.commit();
} catch (RuntimeException e) {
    if ( transaction != null &&
         transaction.isActive()) {
        transaction.rollback();
    }
    throw e;
} finally {
    if (entityManager != null) {
        entityManager.close();
    }
}

每个开始操作都会开启事务，因为每个实体状态转换必须在数据库事务的范围内执行。

for循环一次会持久化一个Post 实体。 但是，由于实体状态转换仅在执行flush方法更新数据库时执行，因此我们可以将多个SQL 插入语句分组到到要给单一PreparedStatement执行中，该执行需要多个参数。

每次迭代计数器（变量i）已达到batchSize临界值的倍数，我们可以刷新EntityManager并提交数据库事务。 通过在每次批处理执行后提交数据库事务，我们获得以下优点：

1. 避免了长期运行的事务，这对MVCC关系数据库系统是不利的。
2. 我们确保如果执行失败，不会丢失以前成功执行的批处理作业完成的工作。

EntityManager在每次批量执行后被清除，这样就不会继续累积可能导致管理实体的几个问题：

1. 如果要持久化的实体数量庞大，那么存在内存不足的风险。
2. 在持久化上下文中累积的实体越多，flush越慢。 所以，最好的做法是确保持久性上下文尽可能的短小。

如果抛出异常，我们必须确保回滚当前正在运行的数据库事务。 否则可能会导致许多问题，因为数据库可能仍然认为事务处于打开状态，锁可能会被持有，直到事务超时或由DBA结束。

最后，我们需要关闭EntityManager，以便可以清除上下文并释放Session级的资源。

虽然这是使用JPA进行批处理的正确方法，但还没有完成。 如前所述，也可以从JDBC批量更新中受益。 为此，我们需要提供以下Hibernate配置属性：

<property
    name="hibernate.jdbc.batch_size"
    value="25"
/>
 
<property
    name="hibernate.order_inserts"  
    value="true"
/>
 
<property
    name="hibernate.order_updates"  
    value="true"
/>

这些属性允许我们将多个SQL语句批处理为单个PreparedStatement执行，这需要单个数据库往返。 选择值25以匹配EntityManager批处理作业的临界值。

执行以前的测试用例时，Hibernate生成2个SQL INSERT语句：

INSERT INTO post (title, id) values (?, ?)"],
Params:[
    (Post 1, 1), (Post 2, 2), (Post 3, 3),
    (Post 4, 4), (Post 5, 5), (Post 6, 6),
    (Post 7, 7), (Post 8, 8), (Post 9, 9),
    (Post 10, 10), (Post 11, 11), (Post 12, 12),
    (Post 13, 13), (Post 14, 14), (Post 15, 15),
    (Post 16, 16), (Post 17, 17), (Post 18, 18),
    (Post 19, 19), (Post 20, 20), (Post 21, 21),
    (Post 22, 22), (Post 23, 23), (Post 24, 24),
    (Post 25, 25)
]
 
INSERT INTO post (title, id) values (?, ?)"],
Params:[
    (Post 26, 26), (Post 27, 27), (Post 28, 28),
    (Post 29, 29), (Post 30, 30), (Post 31, 31),
    (Post 32, 32), (Post 33, 33), (Post 34, 34),
    (Post 35, 35), (Post 36, 36), (Post 37, 37),
    (Post 38, 38), (Post 39, 39), (Post 40, 40),
    (Post 41, 41), (Post 42, 42), (Post 43, 43),
    (Post 44, 44), (Post 45, 45), (Post 46, 46),
    (Post 47, 47), (Post 48, 48), (Post 49, 49),
    (Post 50, 50)
]

结论

了解如何正确设计批处理作业在开发企业应用程序时非常重要。 幸运的是，使用JPA和Hibernate，这个任务很容易实现。 最重要的方面是考虑到如何让关系数据库工作效果最好，这就是驱动数据访问设计决策的因素。