背景

接过一个外包的项目,该项目使用JPA作为ORM。

项目中有多个entity带有@version字段

当并发高的时候经常报乐观锁错误OptimisticLocingFailureException

原理知识

JPA的@version是通过在SQL语句上做手脚来实现乐观锁的

UPDATE table_name SET updated_column = new_value, version = new_version WHERE id = entity_id AND version = old_version

这个"Compare And Set"操作必须放到数据库层,数据库层能够保证"Compare And Set"的原子性(update语句的原子性)

如果这个"Compare And Set"操作放在应用层,则无法保证原子性,即可能version比较成功了,但等到实际更新的时候,数据库的version已被修改。

这时候就会出现错误修改的情况

需求

解决此类报错,让事务能够正常完成

处理——重试

既然是乐观锁报错,那就是修改冲突了,那就自动重试就好了

案例代码

修改前

@Service
public class ProductService { @Autowired
private ProductRepository productRepository; @Transactional
public void updateProductPrice(Long productId, Double newPrice) {
Product product = productRepository.findById(productId).orElseThrow(()->new RuntimeException("Product not found")
product.setPrice(newPrice);
productRepository.save(product);
}
}

修改后

增加一个withRetry的方法,对于需要保证修改成功的地方(比如用户在UI页面上的操作),可以调用此方法。

@Service
public class ProductService { @Autowired
private ProductRepository productRepository; public void updateProductPriceWithRetry(Long productId, Double newPrice) {
boolean updated = false;
//一直重试直到成功
while(!updated) {
try {
updateProductPrice(productId, newPrice);
updated = true;
} catch (OpitimisticLockingFailureException e) {
           System.out.println("updateProductPrice lock error, retrying...")
}
}
   } @Transactional
public void updateProductPrice(Long productId, Double newPrice) {
Product product = productRepository.findById(productId).orElseThrow(()->new RuntimeException("Product not found")
product.setPrice(newPrice);
productRepository.save(product);
}
}

依赖乐观锁带来的问题——高并发带来高冲突

上面的重试能够解决乐观锁报错,并让业务操作能够正常完成。但是却加重了数据库的负担。

另外乐观锁也有自己的问题:

业务层将事务修改直接提交给数据库,让乐观锁机制保障数据一致性

这时候并发越高,修改的冲突就更多,就有更多的无效提交,数据库压力就越大

高冲突的应对方式——引入悲观锁

解决高冲突的方式,就是在业务层引入悲观锁。

在业务操作之前,先获得锁。

一方面减少提交到数据库的并发事务量,另一方面也能减少业务层的CPU开销(获得锁后才执行业务代码)

@Service
public class ProductService { @Autowired
private ProductRepository productRepository; public void someComplicateOperationWithLock(Object params) { //该业务涉及到的几个对象修改,需要获得该对象的锁
//key=类前缀+对象id
List<String> keys = Arrays.asList(....); //RedisLockUtil为分布式锁,可自行封装(可基于redisson实现)
//获得锁之后才开始执行任务代码,然后在任务执行结束释放锁
RedisLockUtil.runWithLock(keys, retryTime, retryLockTimeout, ()->someComplicateOperation(params)}): } @Transactional
public void someComplicateOperation(Object params) {
.....
}
}

遇到的坑

正常在获得锁之后,需要重新加载最新的数据,这样修改的时候才不会冲突。(前一个锁获得者可能修改了数据)

但是,JPA有持久化上下文,有一层缓存。如果在获得锁之前就将对象捞了出来,等获得锁之后重新捞还会得到缓存内的数据,而非数据库最新数据。

这样的话,即使用了悲观锁,事务提交的时候还是会出现冲突。

案例:

@Service
public class ProductService { @Autowired
private ProductRepository productRepository; public void someComplicateOperationWithLock(Object params) {
//获得锁之前先查询了一次,此次查询数据将缓存在持久化上下文中
String productId = xxxx;
Product product = productRepository.findById(productId).orElseThrow(()->throw new RuntimeException("Product not found")); //该业务涉及到的几个对象修改,需要获得该对象的锁
//key=类前缀+对象id
List<String> keys = Arrays.asList(....); //RedisLockUtil为分布式锁,可自行封装
//获得锁之后才开始执行任务代码,然后在任务执行结束释放锁
RedisLockUtil.runWithLock(keys, retryTime, retryLockTimeout, ()->someComplicateOperation(params)}): } @Transactional
public void someComplicateOperation(Object params) {
.....
//取到缓存内的旧数据
Product product = productRepository.findById(productId).orElseThrow(()->throw new RuntimeException("Product not found"));
....
}
}

应对方式——refresh

在悲观锁范围内,首次加载entity数据的时候,使用refresh方法,强制从DB捞取最新数据。

@Service
public class ProductService { @Autowired
private ProductRepository productRepository; public void someComplicateOperationWithLock(Object params) {
//获得锁之前先查询了一次,此次查询数据将缓存在持久化上下文中
String productId = xxxx;
Product product = productRepository.findById(productId).orElseThrow(()->throw new RuntimeException("Product not found")); //该业务涉及到的几个对象修改,需要获得该对象的锁
//key=类前缀+对象id
List<String> keys = Arrays.asList(....); //RedisLockUtil为分布式锁,可自行封装
//获得锁之后才开始执行任务代码,然后在任务执行结束释放锁
RedisLockUtil.runWithLock(keys, retryTime, retryLockTimeout, ()->someComplicateOperation(params)}): } @Transactional
public void someComplicateOperation(Object params) {
.....
//取到缓存内的旧数据
Product product = productRepository.findById(productId).orElseThrow(()->throw new RuntimeException("Product not found"));
//使用refresh方法,强制从数据库捞取最新数据,并更新到持久化上下文中
EntityManager entityManager = SpringUtil.getBean(EntityManager.class)
product = entityManager.refresh(product);
....
}
}

总结

此项目采用乐观锁+悲观锁混合方式,用悲观锁限制并发修改,用乐观锁做最基本的一致性保护。

关于一致性保护

对于一些简单的应用,写并发不高,事务+乐观锁就足够了

  • entity里面加一个@version字段
  • 业务方法加上@Transactional

这样代码最简单。

只有当写并发高的时候,或根据业务推断可能出现高并发写操作的时候,才需考虑引入悲观锁机制。

(代码越复杂越容易出问题,越难维护)

【杂谈】JPA乐观锁改悲观锁遇到的一些问题与思考的更多相关文章

  1. mysql的锁--行锁,表锁,乐观锁,悲观锁

    一 引言--为什么mysql提供了锁 最近看到了mysql有行锁和表锁两个概念,越想越疑惑.为什么mysql要提供锁机制,而且这种机制不是一个摆设,还有很多人在用.在现代数据库里几乎有事务机制,aci ...

  2. 多线程深入:乐观锁与悲观锁以及乐观锁的一种实现方式-CAS(转)

    原文:https://www.cnblogs.com/qjjazry/p/6581568.html 首先介绍一些乐观锁与悲观锁: 悲观锁:总是假设最坏的情况,每次去拿数据的时候都认为别人会修改,所以每 ...

  3. Java并发问题--乐观锁与悲观锁以及乐观锁的一种实现方式-CAS

    首先介绍一些乐观锁与悲观锁: 悲观锁:总是假设最坏的情况,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会阻塞直到它拿到锁.传统的关系型数据库里边就用到了很 ...

  4. 乐观锁与悲观锁以及乐观锁的一种实现方式-CAS

    首先介绍一些乐观锁与悲观锁: 悲观锁:总是假设最坏的情况,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会阻塞直到它拿到锁.传统的关系型数据库里边就用到了很 ...

  5. 乐观锁和悲观锁及CAS实现

    乐观锁与悲观锁 悲观锁:总是假设最坏的情况,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会阻塞直到它拿到锁.传统的关系型数据库里边就用到了很多这种锁机制, ...

  6. 从事务隔离级别谈到Hibernate乐观锁,悲观锁

    数据库的事务,是指作为单个逻辑工作单元执行的一系列操作. 事务处理可以确保除非事务性单元内的所有操作都成功完成,否则不会永久更新面向数据的资源.通过将一组相关操作组合为一个要么全部成功要么全部失败的单 ...

  7. oracle的乐观锁和悲观锁

    一.问题引出 1. 假设当当网上用户下单买了本书,这时数据库中有条订单号为001的订单,其中有个status字段是’有效’,表示该订单是有效的: 2. 后台管理人员查询到这条001的订单,并且看到状态 ...

  8. Yii2.0的乐观锁与悲观锁(转)

    原文:Yii2.0的乐观锁与悲观锁 Web应用往往面临多用户环境,这种情况下的并发写入控制, 几乎成为每个开发人员都必须掌握的一项技能. 在并发环境下,有可能会出现脏读(Dirty Read).不可重 ...

  9. mysql中的乐观锁和悲观锁

    mysql中的乐观锁和悲观锁的简介以及如何简单运用. 关于mysql中的乐观锁和悲观锁面试的时候被问到的概率还是比较大的. mysql的悲观锁: 其实理解起来非常简单,当数据被外界修改持保守态度,包括 ...

  10. Mysql共享锁、排他锁、悲观锁、乐观锁

    一.相关名词 |--表级锁(锁定整个表) |--页级锁(锁定一页) |--行级锁(锁定一行) |--共享锁(S锁,MyISAM 叫做读锁) |--排他锁(X锁,MyISAM 叫做写锁) |--间隙锁( ...

随机推荐

  1. 初步搭建一个自己的对象存储服务---Minio

    docker安装 1.拉取镜像 docker pull minio/minio 2.启动镜像 docker run -p 9000:9000 -p 9001:9001 --name minio -d ...

  2. Centos7部署FytSoa项目至Docker——第二步:安装Mysql、Redis

    FytSoa项目地址:https://gitee.com/feiyit/FytSoaCms 部署完成地址:http://82.156.127.60:8001/ 先到腾讯云申请一年的云服务器,我买的是一 ...

  3. sqlyog 工具 查看 历史记录

    sqlyog 工具 查看 历史记录 可以查看当前客户端的执行脚本的情况

  4. Django Paginatior分页,页码过多,动态返回页码,页码正常显示

    问题: 当返回数据较多,如设置每页展示10条,数据接近200条,返回页码范围1~20,前端每个页码都显示的话,就会出现页码超出当前页面,被遮挡的页码无法操作和显示不美观: 代码优化: 在使用pagin ...

  5. 同时开启firewall和iptables

    使用向导 With the iptables service, every single change means flushing all the old rules and reading all ...

  6. EF Core并发控制

    EF Core并发控制 并发控制概念 并发控制:避免多个用户同时操作资源造成的并发冲突问题. 最好的解决方案:非数据库解决方案 数据库层面的两种策略:悲观.乐观 悲观锁 悲观并发控制一般采用行锁 ,表 ...

  7. scarpy基础

    1. 创建项目 scrapy startproject 项目名称 2. 进入项目 cd 项目名称 3. 创建爬虫 scrapy genspider 名字 域名 4. 可能需要start_urls,修改 ...

  8. sql-labs通关笔记(上)

    sql-labs通关笔记(上) 这里我们先只讲解less-1到less-9 联合查询注入 Less-1:GET -Error based.Single quotes -string 界面 在url中加 ...

  9. 【JavaScript】聊聊js中关于this的指向

    前言 最近在看回JavaScript的面试题,this 指向问题是入坑前端必须了解的知识点,现在迎来了ES6+的时代,因为箭头函数的出现,所以感觉有必要对 this 问题梳理一下,所以刚好总结一下Ja ...

  10. helloworld - 程序员的第一个社区终于来了

    helloworld - 程序员的第一个社区终于来了 csdn事件 CSDN旗下的GitCode最近因为一种极其不道德的行为引起了开发者的广泛愤怒和抗议.CSDN在没有通知或征求开发者同意的情况下,悄 ...