MySQL 事务、日志、锁、索引学习总结,
MySQL架构
MySQL可分为Server和存储引擎两部分,如图1所示。
Server层:包括客户端连接器、查询缓存、解析/预处理器、优化器、执行器等,以及MySQL内置函数和所有跨引擎的功能都在这一层实现,比如存储过程、触发器、视图等。每个部分的功能参考
存储引擎层:负责数据的存储和读取,为插件式架构,支持innoDB、MyISAM、Memory等多个存储引擎,InnoDB为默认存储引擎。
图1 MySQL逻辑架构
表存储
表包含两部分,表结构定义和数据。在MySQL中,表由存储引擎负责存储,以InnoDB为例:
- 表结构定义:在MySQL8.0之前,只能存在于.frm 后缀文件中(MySQL Server层和InnoDB中均存在);之后允许将其放在系统数据表中。
- 表数据:包括数据段(主键索引)和索引段(二级索引),由innodb_file_per_table参数控制存储位置, 自5.6.6开始,默认配置为ON。
- OFF表示,存放在系统共享表空间
- ON表示,单独存放在一个.ibd文件中
使用单独文件存储表数据,在删除表时直接删除文件可以回收空间。
而在共享表空间中存储,即使将表删除,空间也是不会回收的。因为InnoDB 中数据以B+树结构组织,删除其中一部分记录,只是将其相应的位置标记为删除可复用(由于索引排序,记录只能被相应的数据所复用);而当数据页上所有记录都被删除时,意味着数据页可以复用到任意位置。
在删除数据之后而又没用复用时,就会造成数据空洞;同样的,在新增时也可能导致数据空洞,当一个数据页A已经写满了,但由于索引的有序性,需要在A中间再插入一条数据,这时就需要进行页分裂再申请一个数据页来保存数据(当前数据以及之后的索引分裂到新的数据页)。
在大量增删操作之后的表可能存在数据空洞,即很多位置无法复用。通过重建表可以实现空间收缩:
- recreate table: alter table t engine = InnoDB,可以实现在线重建表,短暂持有MDL写锁,之后持有MDL读锁。使用一个rowlog存储重建表期间表数据的修改记录,不会阻塞其他事务的增删改。
- analyze table t 对表的索引信息做重新统计,没有修改数据,加MDL读锁。
- optimize table t 等于recreate+analyze。
日志
MySQL 中记录日志的方式为WAL(Write-Ahead Logging),先预写日志再更新数据,对于非内存数据库来说,可以减少磁盘IO提高性能。
MySQL日志:
- binlog:在对数据进行增删改之后,都将会记录一条binlog,可用于数据归档和备份,存在两种格式的binlog_format:
- statement记录的是SQL语句,最后会有COMMIT。
- row记录的实际操作的数据记录,最后会有一个XID event。
sync_binlog设置为1时,表示每次事务操作的binlog都持久化到磁盘中,在MySQL异常重启后可保证binlog不丢失。
InnoDB日志:
- redolog:在对数据进行增删改之后,都将会记录一条redolog。其为物理日志,记录的是在某个数据页上做了什么修改,可用于崩溃后恢复事务数据和减少更新数据时的磁盘IO访问。innodb_flush_log_at_trx_commit这个参数设置成1的时候,表示每次事务的redo log都直接持久化到磁盘。
- undolog:在事务中对数据每进行一次修改便会记录一次undolog,用于将最新数据恢复到之前事务版本。在长事务中可能占用大量存储空间。在系统判定undo-log无用时,会将其删除,即在没有比回滚日志更早的Read View时。
binlog和redolog存在一个共同的数据字段XID,通过这个字段可以将redolog和binlog关联起来,可用于事务恢复。
索引
在InnoDB中,表数据都是根据主键顺序以索引的形式存放的,这种存储方式的表称为索引组织表。索引的底层数据结构为B+树,所以每一个索引在InnoDB中都对应一颗B+树,InnoDB中存在有两种类型的索引:
- 聚簇索引(主键)
聚簇索引的叶子结点存的是整行数据。 - 二级索引
二级索引分为唯一和普通索引,叶子结点中存的是主键的值,如果需要获取整行数据,需要使用主键值再去聚簇索引中回表查询。
索引维护:由于底层数据结构为B+树,所以维护索引就是在维护B+树;而B+树是有序的,插入更新数据时可能导致数据移动而引入额外磁盘IO。而在索引字段重复时,又会页分裂出新的数据页来保存重复Key。
创建高性能索引
B+ 树的高和阶:阶由页大小(默认16K)和索引大小而决定,而高又由阶和行数决定。
InnoDB 事务
数据库事务是数据库管理系统执行过程中的一个逻辑单位,由一个有限的数据库操作序列构成,具备四个基本属性,原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Duarbility)。
如何启动/回滚事务:
- 手动使用 BEGIN, ROLLBACK, COMMIT来实现;BEGIN 开始一个事务,ROLLBACK 事务回滚,COMMIT 事务提交
- 直接用 SET AUTOCOMMIT = 0/1 来改变 MySQL 的自动提交模式:
- 若参数autocommit=0(禁止自动提交),事务则在用户本次对数据进行操作时自动开启,在用户执行commit命令时提交,用户本次对数据库开始进行操作到用户执行commit命令之间的一系列操作为一个完整的事务周期。若不执行commit命令,系统则默认事务回滚。总而言之,当前情况下事务的状态是自动开启手动提交。
- 若参数autocommit=1(系统默认值,开启自动提交),事务的开启与提交又分为两种状态:
- 手动开启手动提交:当用户执行start transaction命令时(事务初始化),一个事务开启,当执行commit命令时事务提交,若不执行commit命令,系统则默认事务回滚。
- 自动开启自动提交:如果用户在当前情况下未执行start transaction命令而对数据库进行了操作,系统则默认用户对数据库的每一个操作为一个孤立的事务,也就是说用户每进行一次操作系都会即时提交或者即时回滚。
事务提交:
InnoDB中事务分为两阶段提交:
- 第一阶段是在更新完数据后,记录redo-log,这时redolog状态为prepare
- 第二阶段是在记完redo-log之后,记录bin-log,将redolog状态置为commit
两阶段提交常用于分布式系统中,InnoDB 中使用两阶段提交可以保证在事务恢复时,其binlog是正确的;如果只记录redolog,在恢复事务之后就会导致数据与binlog不一致。
事务恢复
得益于两阶段提交,事务在恢复之后可以保证数据与binlog的一致,事务恢复时的判断规则为:
- 如果redo log里面的事务是完整的,也就是有prepare、commit标识,则直接提交;
- 如果redo log里面的事务只有完整的prepare,则判断对应的事务binlog是否是存在并且完整的,如果是,则提交事务; 否则,回滚事务。
实现事务隔离
在InndDB中,通过MVCC(一致性视图)实现事务的隔离性,在InnoDB中,一行数据物理上只保存最新值,但通过undolog可以回滚到之前事务版本,所以数据可能存在多个版本(事务Id用作区分)。MVCC便是使用事务Id、数据、undolog来实现一致性视图(read-view),但在生成一致性读时,可重复读(Repeatable read)和读提交(read committed)的read view生成策略是不一致的:
- 在可重复读级别下,整个事务存在期间都使用同一个视图,只会获取小于等于当前事务Id版本数据,如果数据被更新了,就通过undolog计算得到相应版本的数据,解决了不可重复读问题。
- 在读提交级别下,视图在每条SQL执行期间创建,只获取已提交的最新事务版本数据,所以每条SQL看到的数据可能都是不一致的,存在不可重复读问题。
事务问题
- 在可重复读级别下,每条SQL使用到的锁需要等到事务提交或回滚之后才释放,存在长事务时,可能会占用的更多的资源,如锁、undolog等,所以应避免长事务并且将资源占用较多的SQL放在事务后程进行。
- 在读提交级别下,每条SQL使用到的锁在SQL执行完成后便会释放,在多事务并行时,如果binlog_format=statement时可能造成数据和binlog的不一致,所以应将其设置为row。
InnoDB 行锁、间隙锁、临键锁
行锁(record lock):
InnoDB事务中,一条更新语句执行时,必须要获得其行写锁,而行锁分为读锁和写锁,其中读锁之间兼容,读写锁、写锁之间互斥,如 select id from table1 lock in share mode
当前读加读锁;select if from table1 for update
当前读加写锁。在RR级别下,行锁在需要的时候才加上,但是得等到事务结束时才释放,这叫做两阶段锁协议,两阶段加锁协议主要为了保证事务的隔离性(解决不可重复读)和一致性(数据状态一致)。
间隙锁(Gap Lock):
通过两阶段锁协议可以解决不可重复读和数据一致性问题,但幻读(两次当前读时,行数不一致)仍然存在,即便将所有行都加上行锁也无法解决幻读问题。间隙锁(Gap Lock)的引入就是为解决幻读问题,间隙锁锁定的记录之间间隙,是一个区间范围;在被间隙锁锁定的区间范围内,不能插入新的数据。
如索引中存在三个聚簇节点Id[1,3,6],事务A执行update table t1 set name = 'ss' where t1.id = 3
,若没有间隙锁,事务可以同时执行insert into table(id, name) values(4, 's4')
;但由于间隙锁的存在(1,6),事务B需要等待事务A释放间隙锁之后才能新增成功。在当前读时,索引扫描到的记录都会加上间隙锁,区间为前开后开。
临键锁(next-key lock):
临键锁是加锁的基本单位,由行锁+间隙锁组成,区间范围为前开后闭。在使用select * from table for update
时,会将表中所有记录行锁和间隙都锁住,间隙锁区间为(-∞,+∞]。
加锁有两个基本原则,一是加锁基本单位为临键锁;二是索引查找过程中访问到的对象才会加锁。针对等值查询,有两个专门优化的点,一是在唯一索引上加锁时,临键锁退化成行锁(唯一约束已经确保不能新增相同数据);二是在普通索引上时,临键锁退化成间隙锁(间隙已经确保无法新增相同数据)。
InnoDB Buffer
InnoDB使用缓冲池(buffer pool)管理内存,在缓冲池中存在一个change buffer,用来对在数据进行增、删、改时进行优化,可以减少随机IO读取。innodb_change_buffer_max_size=50,表示change buffer最多占用buffer bool的50%
InnoDB中查询记录是一条一条的,但是读取时是以数据页为单位的,读取一条记录时会将记录所在的数据页整个读取到缓冲池中。
Change Buffer的应用
数据的更新/插入/删除都包括对聚簇索引和普通索引的修改,这个过程中分为两种情况:
- 如果对应数据页(聚簇和二级)已经存在于内存:直接更新内存中的数据页,记录redo-log、binlog;
- 如果数据页不在内存之中,对于唯一索引(包括聚簇),需要将数据加载到内存中进行唯一性约束校验,校验通过再在内存中更新数据、记录redolog;对于非唯一索引,直接将数据更改日志存储在change-buffer中(不写磁盘),记录redolog、binlog。
对于一个唯一、非唯一索引皆存的表来说,对于数据的更新可能是不同步的,主键、唯一索引数据已经在内存中更改、而普通索引则是将更改先记录在change buffer中,写入change buffer时也会记录redolog、binlog,确保崩溃后恢复。change buffer不仅在内存中,也会被写入到系统表空间中,change buffer写入磁盘的操作叫做purge。在特定时刻,change buffer中的操作会merge到原数据页中:一是访问这个数据页时;二是后台线程定期维护;三是在系统正常关闭的过程中。
MySQL 事务、日志、锁、索引学习总结,的更多相关文章
- MySQL事务与锁
MySQL事务与锁 锁的基本概念 锁是计算机协调多个进程或线程并发访问某一资源的机制. 相对其他数据库而言,MySQL的锁机制比较简单,其最显著的特点是不同的存储引擎支持不同的锁机制.比如,MyISA ...
- MySQL中的联合索引学习教程
MySQL中的联合索引学习教程 这篇文章主要介绍了MySQL中的联合索引学习教程,其中谈到了联合索引对排序的优化等知识点,需要的朋友可以参考下 联合索引又叫复合索引.对于复合索引:Mysql从左到 ...
- 关于mysql事务行锁for update实现写锁的功能
关于mysql事务行锁for update实现写锁的功能 读后感:用切面编程的理论来讲,数据库的锁对于业务来说是透明的.spring的事务管理代码,业务逻辑代码,表锁,应该是三个不同的设计层面. 在电 ...
- 熬夜肝出5大点,18张图带你彻底弄懂MySQL事务日志
在当今社会,充斥着大量的数据.从众多APP上的账户资料到银行信用体系等个人档案,都离不开对大量数据的组织.存储和管理.而这,便是数据库存在的目的和价值.目前数据库的类型主要分为两种,一种是关系型数据库 ...
- MySQL 事务与锁机制
下表展示了本人安装的MariaDB(10.1.19,MySQL的分支)所支持的所有存储引擎概况,其中支持事务的有InnoDB.SEQUENCE,另外InnoDB还支持XA事务,MyISAM不支持事务. ...
- MySQL入门详解(二)---mysql事务、锁、以及优化
MySQL 事务主要用于处理操作量大,复杂度高的数据.比如说,在一个商城系统中,用户执行购买操作,那么用户订单中应该加一条,库存要减一条,如果这两步由于意外只进行了其中一步那么就会发生很大的问题.而事 ...
- mysql事务与锁机制详解
一.事务 1.事务简介 (1)事务的场景 转账:一个账户减少,另一个账户增加.两个动作同时成功或者同时失败.就要开启事务. (2)事务定义 事务是数据库管理系统执行过程中的一个逻辑单元,由一个有限的数 ...
- 超干货!为了让你彻底弄懂MySQL事务日志,我通宵肝出了这份图解!
还记得刚上研究生的时候,导师常挂在嘴边的一句话,"科研的基础不过就是数据而已."如今看来,无论是人文社科,还是自然科学,或许都可在一定程度上看作是数据的科学. 倘若剥开研究领域的外 ...
- 面试中的老大难-mysql事务和锁,一次性讲清楚!
众所周知,事务和锁是mysql中非常重要功能,同时也是面试的重点和难点.本文会详细介绍事务和锁的相关概念及其实现原理,相信大家看完之后,一定会对事务和锁有更加深入的理解. 本文主要内容是根据掘金小册& ...
- 面试官一口气问了MySQL事务、锁和MVCC,我
面试官:你是怎么理解InnoDB引擎中的事务的? 候选者:在我的理解下,事务可以使「一组操作」要么全部成功,要么全部失败 候选者:事务其目的是为了「保证数据最终的一致性」. 候选者:举个例子,我给你发 ...
随机推荐
- 22、编译安装nginx及性能优化
22.1.编译安装nginx: 1.下载nginx: [root@slave-node1 ~]# mkdir -p /tools/ [root@slave-node1 ~]# cd /tools/ [ ...
- 14、redis安装及数据类型
14.0.服务器配置: 服务器名称 ip地址 controller-node1 172.16.1.90 14.1.什么是redis: 1.redis的特点: (1)redis是一个开源的使用c语言编写 ...
- hdu 2159 二维完全背包
Problem Description 最近xhd正在玩一款叫做FATE的游戏,为了得到极品装备,xhd在不停的杀怪做任务.久而久之xhd开始对杀怪产生的厌恶感,但又不得不通过杀怪来升完这最后一级.现 ...
- kotlin gradle 生成jni头文件
目录 问题 解决方法 使用方法 代码 gradle task位置截图 问题 最近在用kotlin写jni,但是生成头文件的时候遇到了些问题. 首先 javah 在java >= 1.9 就被取消 ...
- 在Xshell中文件内容显示乱码
1.修改系统语言 支持中文 echo $LANG 查看系统语言 默认 en_US.UFT_8 vim /etc/locale.conf 修改配置文件 将LANG的值改为 zh_CN.UT ...
- linux 退出状态码
状态码 描述 0 命令成功结束 1 一般性未知错误 2 不适合的shell 命令 123 命令不可执行 127 没找到命令 128 无效退出参数 128+x 与linux信号x相关的严重错误 130 ...
- jvm代码热替换过程中异常
BTrace java.lang.NoClassDefFoundError: javax/xml/bind/JAXBException 具体如下: 1. 信这个问题很多小伙伴已经遇到了,这是在你的jd ...
- WebContent的子目录里面的jsp文件无法将数据传递给Servlet
在WebContent下创建子目录FormCheck,register.jsp将跳转到RegisterServlet这个Servlet中去 分两种情况:在web.xml里面配置 和 使用注解 1.在w ...
- linux:mysql
数据库介绍 mysql与php是黄金搭档(LAMP.LNMP) 常见的数据库 Oracle.Sql server.Access.Mariadb.Ds2等 安装 安装前确保计算机时间准确 源码包安装 优 ...
- Local dimming algorithm in matlab plus 1
(续)LED局部背光算法MATLAB仿真 在上一篇博客<Local dimming algorithm in matlab>中,我们实现了对一篇论文的算法用matlab仿真.在本篇论文中, ...