摘要:事实上在数据库引擎的实现中并不能实现完全的事务隔离,比如串行化。

本文分享自华为云社区《【数据库事务与锁机制】- 事务隔离的实现》,原文作者:技术火炬手 。

事实上在数据库引擎的实现中并不能实现完全的事务隔离,比如串行化。这种事务隔离方式虽然是比较理想的隔离措施,但是会对并发性能产生比较大的影响,所以在MySQL中事务的默认隔离级别是 REPEATABLE READS(可重复读),下面我们展开讨论一下MySQL对数据库隔离性的实现。

MySQL 事务隔离性的实现

在MySQL InnoDB (下称MySQL)中实现事务的隔离性是通过锁实现的,大家知道在并发场景下我常用的隔离和一致性措施往往是通过锁实现,所以锁也是数据库系统常用的一致性措施。

MySQL锁的分类

我们主要讨论InnoDB 锁的实现,但是也有必要简单了解MySQL中其他数据库引擎对锁的实现。整体来说MySQL 中可以分为三种锁的类型 表锁、行锁、页锁,其中使用表锁的是 MyISAM引擎,支持行锁的是 InnoDB 引擎,同时InnoDB也支持表锁,BDB 支持页锁(不是太了解)。

表锁 table-level locking

表级别的锁顾名思义就是加锁的维度是表级别的,是给一个表上锁,这种锁的特点是 开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,但是并发度也是最低的,表级锁更适合于以查询为主,只有少量按索引条件更新数据的应用。

MySQL 表锁的使用

在MySQL中使用表锁比较简单,可以通过 LOCK TABLE 语句对一张表进行加锁,如下:

# 加锁
LOCK TABLE T_XXXXXXXXX;
# 解锁
UNLOCK TABLES;

加锁和解锁的语法

LOCK TABLES
tbl_name [[AS] alias] lock_type
[, tbl_name [[AS] alias] lock_type] ...
lock_type: {
READ [LOCAL]
| [LOW_PRIORITY] WRITE
} UNLOCK TABLES

需要注意的是 LOCK TABLE 是指当前会话的锁,也就是通过 LOCK TABLE 显示的为当前会话获取表锁,作用是防止其他会话在需要互斥访问时修改表的数据,会话只能为其自身获取或释放锁。一个会话无法获取另一会话的锁,也不能释放另一会话持有的锁。同时 LOCK TABLE 不单单可以获取一个表的锁,也可以是一个视图,对于视图锁定,LOCK TABLES将视图中使用的所有基本表添加到要锁定的表集合中,并自动锁定它们。

LOCK TABLES 在获取新锁之前,隐式释放当前会话持有的所有表锁
UNLOCK TABLES显式释放当前会话持有的所有表锁

LOCK TABLE 语句有两个比较重要的参数 lock_type 它可以容许你指定加锁的模式,是读锁还是写锁,也就是 READ LOCK 和 WRITE LOCK。

  • READ 锁
    读锁的特点是 持有锁的会话可以读取表但不能写入表,多个会话可以同时获取READ该表的锁
  • WRITE 锁
    持有锁的会话可以读取和写入表,只有持有锁的会话才能访问该表。在释放锁之前,没有其他会话可以访问它,保持锁定状态时,其他会话对表的锁定请求将阻塞
    WRITE锁通常比READ锁具有更高的优先级,以确保尽快处理更新。这意味着,如果一个会话获取了一个READ锁,然后另一个会话请求了一个WRITE锁,则随后的 READ锁请求将一直等待,直到请求该WRITE锁的会话已获取并释放了该锁

通过上面对表锁的简单介绍我们引出两个比较重要的信息,就是读锁和写锁,那么答案就浮出水面,在表级别的锁中其实MySQL是通过 共享读锁,和排他写锁来实现隔离性的,下面我们减少共享读锁和排他写锁。

共享读锁(Table Read Lock)

共享锁又称为读锁,简称S锁,顾名思义,共享锁就是多个事务对于同一数据可以共享一把锁,都能访问到数据,但是只能读不能修改

对MyISAM表的读操作,不会阻塞其他用户对同一表的读请求,但会阻塞对同一表的写请求;也即当一个session给表加读锁,其他session也可以继续读取该表,但所有更新、删除和插入将会阻塞,直到将表解锁。MyISAM引擎在执行select时会自动给相关表加读锁,在执行update、delete和insert时会自动给相关表加写锁

独占写锁(Table Write Lock)

排他锁又称为写锁,简称X锁,顾名思义,排他锁就是不能与其他所并存,如一个事务获取了一个数据行的排他锁,其他事务就不能再获取该行的其他锁,包括共享锁和排他锁,但是获取排他锁的事务是可以对数据就行读取和修改

独占写锁也被称之为排他写锁,MyISAM表的写操作,则会阻塞其他用户对同一表的读和写操作;MyISAM表的读操作与写操作之间,以及写操作之间是串行的。也即当一个session给表加写锁,其他session所有读取、更新、删除和插入将会阻塞,直到将表解锁

共享锁和独占锁的兼容性

行锁 Row -level locking

在MySQL中 支持行锁的引擎是InnoDB,所以我们这里我们指的行锁主要是说InnoDB的行锁。
InnoDB锁的实现和Oracle非常类似,提供一致性的非锁定读、行级锁支持。行级锁没有相关额外的开销,并可以同时得到并发性和一致性。

lock与latch

Latch一般称为闩锁(轻量级的锁),因为其要求锁定的时间必须非常短。若持续的时间长,则应用的性能会非常差。在InnoDB中,latch又可以分为mutex(互斥量)和rwlock(读写锁)。其目的是用来保证并发线程操作临界资源的正确性,并且通常没有死锁检测的机制。

Lock的对象是事务,用来锁定的是数据库中的对象,如表、页、行。并且一般lock的对象仅在事务commit或rollback后进行释放(不同事务隔离级别释放的时间可能不同)。

lock与latch的比较

latch可以通过命令SHOW ENGINE INNODB MUTEX查看,Lock可以通过命令SHOW ENGINE INNODB STATUS及information_schema架构下的表INNODB_TRX、INNODB_LOCKS、INNODB_LOCK_WAITS来查看 。见如何解决长时间锁等待

和上面表锁中讲的一样 MySQL 行锁也是通过 共享锁和独占锁(排他锁)实现的,所以关于这两种锁的概述就不过多简绍。

InnoDB还支持多粒度(granular)锁定,允许事务同时存在行级锁和表级锁,这种种额外的锁方式,称为意向锁(Intention Lock)。意向锁是将锁定的对象分为多个层次,意向锁意味着事务希望在更细粒度(fine granularity)上进行加锁

如果对最下层(最细粒度)的对象上锁,那么首先需要对粗粒度的对象上锁,意向锁为表级锁,不会阻塞除全表扫描以外的任何请求。设计目的主要是为了在一个事务中揭示下一行将被请求的锁类型。两种意向锁。

  • 意向共享锁(IS Lock),事务想要获得一张表中某几行的共享锁
  • 意向排他锁(IX Lock),事务想要获得一张表中某几行的排他锁

表级意向锁与行级锁的兼容性

下面命令或表都可以查看当前锁的请求

SHOW FULL PROCESSLIST;
SHOW ENGINE INNODB STATUS;
SELECT * FROM information_schema.INNODB_TRX;
SELECT * FROM information_schema.INNODB_LOCKS;
SELECT * FROM information_schema.INNODB_LOCK_WAITS;

如何解决长时间锁等待

一致性非锁定读

一致性的非锁定读(consistent nonlocking read)是指InnoDB通过行多版本控制(multi versioning)的方式来读取当前执行时间数据库中行的数据。如果读取的行正在执行DELETE或UPDATE操作,这时不会去等待行上锁的释放。而是去读取行的一个快照数据(之前版本的数据)。

一个行记录多个快照数据,一般称这种技术为行多版本技术。由此带来的并发控制,称之为多版本并发控制(Multi Version Concurrency Control,MVCC)。

之所以称为非锁定读,因为不需要等待访问的行上X锁的释放。实现方式是通过undo段来完成。而undo用来在事务中回滚数据,快照数据本身没有额外的开销,也不需要上锁,因为没有事务会对历史数据进行修改操作。非锁定读机制极大地提高了数据库的并发性。在不同事务隔离级别下,读取的方式不同,并不是在每个事务隔离级别下都是采用非锁定的一致性读。此外,即使都是使用非锁定的一致性读,但是对于快照数据的定义也不相同。在事务隔离级别READ COMMITTED和REPEATABLE READ下,InnoDB使用非锁定的一致性读。但对快照数据的定义不相同。在READ COMMITTED事务隔离级别下,对于快照数据,非一致性读总是读取被锁定行的最新一份快照数据。而在REPEATABLE READ事务隔离级别下,对于快照数据,非一致性读总是读取事务开始时的行数据版本。

自增长与锁

自增长在数据库中是非常常见的一种属性,也是首选的主键方式。在InnoDB的内存结构中,对每个含有自增长值的表都有一个自增长计数器(auto-increment counter)。

插入操作会依据这个自增长的计数器值加1赋予自增长列。这个实现方式称做AUTO-INC Locking,采用了一种特殊的表锁机制,为了提高插入的性能,锁不是在一个事务完成后才释放,而是在完成对自增长值插入的SQL语句后立即释放。

因此InnoDB提供了一种轻量级互斥量的自增长实现机制,大大提高了自增长值插入的性能。同时提供了一个参数innodb_autoinc_lock_mode来控制自增长的模式,该参数的默认值为1。了解其实现之前,先对自增长的插入进行分类,如下表:

参数innodb_autoinc_lock_mode的说明

InnoDB中自增长的实现和MyISAM不同,MyISAM存储引擎是表锁设计,自增长不用考虑并发插入的问题。如果主从分别使用InnoDB和MyISAM时,必须考虑这种情况。

另外,在InnoDB存中,自增长值的列必须是索引,同时必须是索引的第一个列。如果不是第一个列会抛出异常,而MyISAM没有这个问题。

外键和锁

外键主要用于引用完整性的约束检查。InnoDB对于一个外键列,如果没有显式地对这个列加索引,会自动对其加一个索引,可以避免表锁。而Oracle不会自动添加索引,需要手动添加,可能会产生死锁问题。

对于外键值的插入或更新,首先需要查询(select)父表中的记录。但是select父表操作不是使用一致性非锁定读,因为这会导致数据不一致的问题,因此这时使用的是SELECT…LOCK IN SHARE MODE方式,即主动对父表加一个S锁。如果这时父表上已经加了X锁,子表上的操作会被阻塞。如下表:

行锁的3种算法

InnoDB有如下3种行锁的算法

  • Record Lock:单个行记录上的锁。总去锁住索引记录,如果表没有设置任何索引,会使用隐式的主键来进行锁定
  • Gap Lock:间隙锁,锁定一个范围,但不包含记录本身
  • Next-Key Lock:Gap Lock+Record Lock,锁定一个范围,并且锁定记录本身。行的查询采用这种锁定算法

例如一个索引有10,11,13和20这四个值,那么该索引可能被Next-Key Locking的区间为

采用Next-Key Lock的锁定技术称为Next-Key Locking。其设计的目的是为了解决幻读问题(Phantom Problem)。Next-Key Lock是谓词锁(predict lock)的一种改进。还有previous-key locking技术。同样上述的索引10、11、13和20,若采用previous-key locking技术,那么锁定的区间为

当查询的索引含有唯一属性时,会对Next-Key Lock进行优化。对聚集索引,将其降级为Record Lock。对辅助索引,将对下一个键值加上gap lock,即对下一个键值的范围为加锁
Gap Lock的作用是为了阻止多个事务将记录插入到同一范围内,而这会产生导致幻读问题,用户可以通过以下两种方式来显式地关闭Gap Lock

  • 将事务的隔离级别设置为READ COMMITTED
  • 将参数innodb_locks_unsafe_for_binlog设置为1

上述设置破坏了事务的隔离性,并且对于replication,可能会导致主从数据的不一致。此外,从性能上来看,READ COMMITTED也不会优于默认的事务隔离级别READ REPEATABLE。

解决幻读问题

幻读问题是指在同一事务下,连续执行两次同样的范围查询操作,得到的结果可能不同

Next-Key Locking的算法就是为了避免幻读问题。对于上述的SQL语句,其锁住的不是单个值,而是对(2,+∞)这个范围加了X锁。因此任何对于这个范围的插入不允许,从而避免了幻读问题。Next-Key Locking机制在应用层还可以实现唯一性的检查。例如:

select * from table_name where col = xxx LOCK IN SHARE MODE;

如果用户通过索引查询一个值,并对该行加上一个SLock,那么即使查询的值不在,其锁定的也是一个范围,因此若没有返回任何行,那么新插入的值一定是唯一的。如果此时有多个事务并发操作,那么这种唯一性检查机制也不会存在问题。因为这时会导致死锁,只有一个事务的插入操作会成功,而其余的事务会抛出死锁的错误。

通过Next-Key Locking实现应用程序的唯一性检查:

总结

以上我们简单简绍了MySQL 如何通过锁机制实现对事务的隔离,也简绍了一些实现这些所的算法,如果对细节比较感兴趣的同学可以参考 官方文档 中对InnoDB 的详细简绍。

点击关注,第一时间了解华为云新鲜技术~

MySQL数据库事务隔离性的实现的更多相关文章

  1. 理解MySQL数据库事务-隔离性

    Transaction事务是指一个逻辑单元,执行一系列操作的SQL语句. 事务中一组的SQL语句,要么全部执行,要么全部回退.在Oracle数据库中有个名字,叫做transaction ID 在关系型 ...

  2. Mysql数据库事务隔离级别

    事务(transaction)是数据库管理系统的执行单位,可以是一个数据库操作(如Select操作)或者是一组操作序列.事务ACID属性,即原子性(Atomicity).一致性(Consistency ...

  3. mysql数据库——事务隔离级别

    四种隔离级别: 一:READ UNCOMMITTED(未提交读) 事务可以读取其他事务未提交的数据,称为脏读 二:READ COMMITTED(提交读) 一个事务开始时,只能"看见" ...

  4. mysql事务之一:MySQL数据库事务隔离级别(Transaction Isolation Level)及锁的实现原理

    一.数据库隔离级别 数据库隔离级别有四种,应用<高性能mysql>一书中的说明: 然后说说修改事务隔离级别的方法: 1.全局修改,修改mysql.ini配置文件,在最后加上 1 #可选参数 ...

  5. MySQL数据库事务隔离级别(Transaction Isolation Level)

    转自: http://www.cnblogs.com/zemliu/archive/2012/06/17/2552301.html  数据库隔离级别有四种,应用<高性能mysql>一书中的 ...

  6. mysql数据库事务隔离原理

    今天在学习JDBC的时候看到了关于MySQL的事务的隔离级别的问题,感觉内容挺高级的,所以记录一篇文章,以备后面使用. 数据库隔离级别有四种,应用<高性能mysql>一书中的说明: 然后说 ...

  7. [转]MySQL 数据库事务隔离级别

    然后说说修改事务隔离级别的方法: 1. 全局修改,修改 mysql.ini 配置文件,在最后加上 1 #可选参数有:READ-UNCOMMITTED, READ-COMMITTED, REPEATAB ...

  8. mysql数据库事务详细剖析

    在写之前交代一下背景吧! 做开发也好久了,没怎么整理过知识,现在剖析一下自己对数据库事务的认识,以前用sqlserver,现在转java后又用mysql.oracle.我这块就主要解释一下mysql数 ...

  9. 数据库事务隔离级别+Spring 声明性事务隔离级别

    数据库事务隔离级别 数据库提供了四种事务隔离级别, 不同的隔离级别采用不同的锁类开来实现. 在四种隔离级别中, Serializable的级别最高, Read Uncommited级别最低. 大多数数 ...

  10. 跟面试官侃半小时MySQL事务隔离性,从基本概念深入到实现

    提到MySQL的事务,我相信对MySQL有了解的同学都能聊上几句,无论是面试求职,还是日常开发,MySQL的事务都跟我们息息相关. 而事务的ACID(即原子性Atomicity.一致性Consiste ...

随机推荐

  1. Jenkins软件平台安装部署

    1.Jenkins软件平台概念剖解: 基于主流的Hudson/Jenkins平台工具实现全自动网站部署.网站测试.网站回滚会大大的减轻网站部署的成本,Jenkins的前身为Hudson,Hudson主 ...

  2. 差异行压缩算法(C#实现)

    private byte[] DifferenceRowOrder(int offset, int count, byte[] inbyte)//差异行命令(此处的offset和count都从1开始) ...

  3. [论文研读]空天地一体化(SAGIN)的网络安全_A_Survey_on_Space-Air-Ground-Sea_Integrated_Network_Security_in_6G

    ------------恢复内容开始------------ 空天地一体化(SAGIN)的网络安全 目前关注的方面: 集中在安全通信.入侵检测.侧通道攻击.GPS欺骗攻击.网络窃听.消息修改/注入等方 ...

  4. OceanBase金融SQL、亿万级别据量优化案例(Row_number 开窗 + 分页SQL)

    最近优化了不少SQL,简单的SQL顺手搞了不好意思发出来了忽悠人,复杂很考验逻辑思维的,但是又不想分享出来(自己收藏的案例),怕被人抄袭思路. 今天遇到一条很有意思的SQL案例:  性能SQL(金融行 ...

  5. TypeScript学习小结:基础使用

    TypeScript学习小结:基础使用 某册子买了两年多了,到最近才开始学习TypeScript,拖延症的严重症状了:不过我还是深信人做一件事是需要一个契机的. 学完之后整体感受是:TypeScrip ...

  6. 三维形体的表面积(3.25leetcode每日打卡)

    在 N * N 的网格上,我们放置一些 1 * 1 * 1  的立方体. 每个值 v = grid[i][j] 表示 v 个正方体叠放在对应单元格 (i, j) 上. 请你返回最终形体的表面积.   ...

  7. 2021-09 .NET 5.0.10 Update for x64 Client (KB5006192) 安装失败,错误代码:0x80070643

    上周五日常检查系统更新(强迫症晚期) 出现一项更新:2021-09 .NET 5.0.10 Update for x64 Client (KB5006192) details: https://www ...

  8. centos虚拟机安装

    目录 一.准备工作 1.vmware workstation软件安装 2.准备ios镜像 二.创建Centos虚拟机 三.进行Centos7的系统安装 四.虚拟机快照的使用 1.创建虚拟机快照 2.还 ...

  9. k8s~envoy上添加wasm插件

    先查看这篇文章k8s~envoy的部署 当在Kubernetes中使用Envoy的WASM过滤器时,WASM过滤器会与Envoy一起部署在同一个Pod中,并与后端服务进行通信.以下是一个简单的关系图示 ...

  10. serdes 复制时钟

    serdes复制时钟一般指的是,将rx lane的CDR 恢复时钟发送给TX/PLL, 这样rx和tx的时钟频偏就一致,在远端环回时经常用到.RX,TX时钟同频后环回数据就可以畅通发出去,否则RX/T ...