MySQL架构

MySQL可分为Server和存储引擎两部分,如图1所示。

Server层:包括客户端连接器、查询缓存、解析/预处理器、优化器、执行器等,以及MySQL内置函数和所有跨引擎的功能都在这一层实现,比如存储过程、触发器、视图等。每个部分的功能参考

存储引擎层:负责数据的存储和读取,为插件式架构,支持innoDB、MyISAM、Memory等多个存储引擎,InnoDB为默认存储引擎。



图1 MySQL逻辑架构

表存储

表包含两部分,表结构定义和数据。在MySQL中,表由存储引擎负责存储,以InnoDB为例:

  1. 表结构定义:在MySQL8.0之前,只能存在于.frm 后缀文件中(MySQL Server层和InnoDB中均存在);之后允许将其放在系统数据表中。
  2. 表数据:包括数据段(主键索引)和索引段(二级索引),由innodb_file_per_table参数控制存储位置, 自5.6.6开始,默认配置为ON。
    1. OFF表示,存放在系统共享表空间
    2. ON表示,单独存放在一个.ibd文件中

使用单独文件存储表数据,在删除表时直接删除文件可以回收空间。

而在共享表空间中存储,即使将表删除,空间也是不会回收的。因为InnoDB 中数据以B+树结构组织,删除其中一部分记录,只是将其相应的位置标记为删除可复用(由于索引排序,记录只能被相应的数据所复用);而当数据页上所有记录都被删除时,意味着数据页可以复用到任意位置。

在删除数据之后而又没用复用时,就会造成数据空洞;同样的,在新增时也可能导致数据空洞,当一个数据页A已经写满了,但由于索引的有序性,需要在A中间再插入一条数据,这时就需要进行页分裂再申请一个数据页来保存数据(当前数据以及之后的索引分裂到新的数据页)。

在大量增删操作之后的表可能存在数据空洞,即很多位置无法复用。通过重建表可以实现空间收缩:

  1. recreate table: alter table t engine = InnoDB,可以实现在线重建表,短暂持有MDL写锁,之后持有MDL读锁。使用一个rowlog存储重建表期间表数据的修改记录,不会阻塞其他事务的增删改。
  2. analyze table t 对表的索引信息做重新统计,没有修改数据,加MDL读锁。
  3. optimize table t 等于recreate+analyze。

日志

MySQL 中记录日志的方式为WAL(Write-Ahead Logging),先预写日志再更新数据,对于非内存数据库来说,可以减少磁盘IO提高性能。

MySQL日志:

  1. binlog:在对数据进行增删改之后,都将会记录一条binlog,可用于数据归档和备份,存在两种格式的binlog_format:

    1. statement记录的是SQL语句,最后会有COMMIT。
    2. row记录的实际操作的数据记录,最后会有一个XID event。

sync_binlog设置为1时,表示每次事务操作的binlog都持久化到磁盘中,在MySQL异常重启后可保证binlog不丢失。

InnoDB日志:

  1. redolog:在对数据进行增删改之后,都将会记录一条redolog。其为物理日志,记录的是在某个数据页上做了什么修改,可用于崩溃后恢复事务数据和减少更新数据时的磁盘IO访问。innodb_flush_log_at_trx_commit这个参数设置成1的时候,表示每次事务的redo log都直接持久化到磁盘。
  2. undolog:在事务中对数据每进行一次修改便会记录一次undolog,用于将最新数据恢复到之前事务版本。在长事务中可能占用大量存储空间。在系统判定undo-log无用时,会将其删除,即在没有比回滚日志更早的Read View时。

binlog和redolog存在一个共同的数据字段XID,通过这个字段可以将redolog和binlog关联起来,可用于事务恢复。

索引

在InnoDB中,表数据都是根据主键顺序以索引的形式存放的,这种存储方式的表称为索引组织表。索引的底层数据结构为B+树,所以每一个索引在InnoDB中都对应一颗B+树,InnoDB中存在有两种类型的索引:

  1. 聚簇索引(主键)

    聚簇索引的叶子结点存的是整行数据。
  2. 二级索引

    二级索引分为唯一和普通索引,叶子结点中存的是主键的值,如果需要获取整行数据,需要使用主键值再去聚簇索引中回表查询。

索引维护:由于底层数据结构为B+树,所以维护索引就是在维护B+树;而B+树是有序的,插入更新数据时可能导致数据移动而引入额外磁盘IO。而在索引字段重复时,又会页分裂出新的数据页来保存重复Key。

创建高性能索引

B+ 树的高和阶:阶由页大小(默认16K)和索引大小而决定,而高又由阶和行数决定。

InnoDB 事务

数据库事务是数据库管理系统执行过程中的一个逻辑单位,由一个有限的数据库操作序列构成,具备四个基本属性,原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Duarbility)。

如何启动/回滚事务:

  1. 手动使用 BEGIN, ROLLBACK, COMMIT来实现;BEGIN 开始一个事务,ROLLBACK 事务回滚,COMMIT 事务提交
  2. 直接用 SET AUTOCOMMIT = 0/1 来改变 MySQL 的自动提交模式:
    • 若参数autocommit=0(禁止自动提交),事务则在用户本次对数据进行操作时自动开启,在用户执行commit命令时提交,用户本次对数据库开始进行操作到用户执行commit命令之间的一系列操作为一个完整的事务周期。若不执行commit命令,系统则默认事务回滚。总而言之,当前情况下事务的状态是自动开启手动提交。
    • 若参数autocommit=1(系统默认值,开启自动提交),事务的开启与提交又分为两种状态:
      • 手动开启手动提交:当用户执行start transaction命令时(事务初始化),一个事务开启,当执行commit命令时事务提交,若不执行commit命令,系统则默认事务回滚。
      • 自动开启自动提交:如果用户在当前情况下未执行start transaction命令而对数据库进行了操作,系统则默认用户对数据库的每一个操作为一个孤立的事务,也就是说用户每进行一次操作系都会即时提交或者即时回滚。

事务提交:

InnoDB中事务分为两阶段提交:

  1. 第一阶段是在更新完数据后,记录redo-log,这时redolog状态为prepare
  2. 第二阶段是在记完redo-log之后,记录bin-log,将redolog状态置为commit

两阶段提交常用于分布式系统中,InnoDB 中使用两阶段提交可以保证在事务恢复时,其binlog是正确的;如果只记录redolog,在恢复事务之后就会导致数据与binlog不一致。

事务恢复

得益于两阶段提交,事务在恢复之后可以保证数据与binlog的一致,事务恢复时的判断规则为:

  1. 如果redo log里面的事务是完整的,也就是有prepare、commit标识,则直接提交;
  2. 如果redo log里面的事务只有完整的prepare,则判断对应的事务binlog是否是存在并且完整的,如果是,则提交事务; 否则,回滚事务。

实现事务隔离

在InndDB中,通过MVCC(一致性视图)实现事务的隔离性,在InnoDB中,一行数据物理上只保存最新值,但通过undolog可以回滚到之前事务版本,所以数据可能存在多个版本(事务Id用作区分)。MVCC便是使用事务Id、数据、undolog来实现一致性视图(read-view),但在生成一致性读时,可重复读(Repeatable read)和读提交(read committed)的read view生成策略是不一致的:

  1. 在可重复读级别下,整个事务存在期间都使用同一个视图,只会获取小于等于当前事务Id版本数据,如果数据被更新了,就通过undolog计算得到相应版本的数据,解决了不可重复读问题
  2. 在读提交级别下,视图在每条SQL执行期间创建,只获取已提交的最新事务版本数据,所以每条SQL看到的数据可能都是不一致的,存在不可重复读问题

事务问题

  1. 在可重复读级别下,每条SQL使用到的锁需要等到事务提交或回滚之后才释放,存在长事务时,可能会占用的更多的资源,如锁、undolog等,所以应避免长事务并且将资源占用较多的SQL放在事务后程进行。
  2. 在读提交级别下,每条SQL使用到的锁在SQL执行完成后便会释放,在多事务并行时,如果binlog_format=statement时可能造成数据和binlog的不一致,所以应将其设置为row。

InnoDB 行锁、间隙锁、临键锁

行锁(record lock):

InnoDB事务中,一条更新语句执行时,必须要获得其行写锁,而行锁分为读锁和写锁,其中读锁之间兼容,读写锁、写锁之间互斥,如 select id from table1 lock in share mode 当前读加读锁;select if from table1 for update 当前读加写锁。在RR级别下,行锁在需要的时候才加上,但是得等到事务结束时才释放,这叫做两阶段锁协议,两阶段加锁协议主要为了保证事务的隔离性(解决不可重复读)和一致性(数据状态一致)。

间隙锁(Gap Lock):

通过两阶段锁协议可以解决不可重复读和数据一致性问题,但幻读(两次当前读时,行数不一致)仍然存在,即便将所有行都加上行锁也无法解决幻读问题。间隙锁(Gap Lock)的引入就是为解决幻读问题,间隙锁锁定的记录之间间隙,是一个区间范围;在被间隙锁锁定的区间范围内,不能插入新的数据。

如索引中存在三个聚簇节点Id[1,3,6],事务A执行update table t1 set name = 'ss' where t1.id = 3,若没有间隙锁,事务可以同时执行insert into table(id, name) values(4, 's4');但由于间隙锁的存在(1,6),事务B需要等待事务A释放间隙锁之后才能新增成功。在当前读时,索引扫描到的记录都会加上间隙锁,区间为前开后开。

临键锁(next-key lock):

临键锁是加锁的基本单位,由行锁+间隙锁组成,区间范围为前开后闭。在使用select * from table for update时,会将表中所有记录行锁和间隙都锁住,间隙锁区间为(-∞,+∞]。

加锁有两个基本原则,一是加锁基本单位为临键锁;二是索引查找过程中访问到的对象才会加锁。针对等值查询,有两个专门优化的点,一是在唯一索引上加锁时,临键锁退化成行锁(唯一约束已经确保不能新增相同数据);二是在普通索引上时,临键锁退化成间隙锁(间隙已经确保无法新增相同数据)

InnoDB Buffer

InnoDB使用缓冲池(buffer pool)管理内存,在缓冲池中存在一个change buffer,用来对在数据进行增、删、改时进行优化,可以减少随机IO读取。innodb_change_buffer_max_size=50,表示change buffer最多占用buffer bool的50%

InnoDB中查询记录是一条一条的,但是读取时是以数据页为单位的,读取一条记录时会将记录所在的数据页整个读取到缓冲池中。

Change Buffer的应用

数据的更新/插入/删除都包括对聚簇索引和普通索引的修改,这个过程中分为两种情况:

  1. 如果对应数据页(聚簇和二级)已经存在于内存:直接更新内存中的数据页,记录redo-log、binlog;
  2. 如果数据页不在内存之中,对于唯一索引(包括聚簇),需要将数据加载到内存中进行唯一性约束校验,校验通过再在内存中更新数据、记录redolog;对于非唯一索引,直接将数据更改日志存储在change-buffer中(不写磁盘),记录redolog、binlog。

对于一个唯一、非唯一索引皆存的表来说,对于数据的更新可能是不同步的,主键、唯一索引数据已经在内存中更改、而普通索引则是将更改先记录在change buffer中,写入change buffer时也会记录redolog、binlog,确保崩溃后恢复。change buffer不仅在内存中,也会被写入到系统表空间中,change buffer写入磁盘的操作叫做purge。在特定时刻,change buffer中的操作会merge到原数据页中:一是访问这个数据页时;二是后台线程定期维护;三是在系统正常关闭的过程中。

MySQL 事务、日志、锁、索引学习总结,的更多相关文章

  1. MySQL事务与锁

    MySQL事务与锁 锁的基本概念 锁是计算机协调多个进程或线程并发访问某一资源的机制. 相对其他数据库而言,MySQL的锁机制比较简单,其最显著的特点是不同的存储引擎支持不同的锁机制.比如,MyISA ...

  2. MySQL中的联合索引学习教程

    MySQL中的联合索引学习教程 这篇文章主要介绍了MySQL中的联合索引学习教程,其中谈到了联合索引对排序的优化等知识点,需要的朋友可以参考下   联合索引又叫复合索引.对于复合索引:Mysql从左到 ...

  3. 关于mysql事务行锁for update实现写锁的功能

    关于mysql事务行锁for update实现写锁的功能 读后感:用切面编程的理论来讲,数据库的锁对于业务来说是透明的.spring的事务管理代码,业务逻辑代码,表锁,应该是三个不同的设计层面. 在电 ...

  4. 熬夜肝出5大点,18张图带你彻底弄懂MySQL事务日志

    在当今社会,充斥着大量的数据.从众多APP上的账户资料到银行信用体系等个人档案,都离不开对大量数据的组织.存储和管理.而这,便是数据库存在的目的和价值.目前数据库的类型主要分为两种,一种是关系型数据库 ...

  5. MySQL 事务与锁机制

    下表展示了本人安装的MariaDB(10.1.19,MySQL的分支)所支持的所有存储引擎概况,其中支持事务的有InnoDB.SEQUENCE,另外InnoDB还支持XA事务,MyISAM不支持事务. ...

  6. MySQL入门详解(二)---mysql事务、锁、以及优化

    MySQL 事务主要用于处理操作量大,复杂度高的数据.比如说,在一个商城系统中,用户执行购买操作,那么用户订单中应该加一条,库存要减一条,如果这两步由于意外只进行了其中一步那么就会发生很大的问题.而事 ...

  7. mysql事务与锁机制详解

    一.事务 1.事务简介 (1)事务的场景 转账:一个账户减少,另一个账户增加.两个动作同时成功或者同时失败.就要开启事务. (2)事务定义 事务是数据库管理系统执行过程中的一个逻辑单元,由一个有限的数 ...

  8. 超干货!为了让你彻底弄懂MySQL事务日志,我通宵肝出了这份图解!

    还记得刚上研究生的时候,导师常挂在嘴边的一句话,"科研的基础不过就是数据而已."如今看来,无论是人文社科,还是自然科学,或许都可在一定程度上看作是数据的科学. 倘若剥开研究领域的外 ...

  9. 面试中的老大难-mysql事务和锁,一次性讲清楚!

    众所周知,事务和锁是mysql中非常重要功能,同时也是面试的重点和难点.本文会详细介绍事务和锁的相关概念及其实现原理,相信大家看完之后,一定会对事务和锁有更加深入的理解. 本文主要内容是根据掘金小册& ...

  10. 面试官一口气问了MySQL事务、锁和MVCC,我

    面试官:你是怎么理解InnoDB引擎中的事务的? 候选者:在我的理解下,事务可以使「一组操作」要么全部成功,要么全部失败 候选者:事务其目的是为了「保证数据最终的一致性」. 候选者:举个例子,我给你发 ...

随机推荐

  1. ShardingSphere 看这一篇就够了

    1.什么是shardingSphere ​ Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈,它由 JDBC.Proxy 和 Sidecar(规划中)这 ...

  2. 重新整理 .net core 实践篇————网关中的身份签名认证[三十七]

    前言 简单整理一下网关中的jwt,jwt用于授权认证的,其实关于认证授权这块https://www.cnblogs.com/aoximin/p/12268520.html 这个链接的时候就已经写了,当 ...

  3. To_Heart—题解——AT2165

    这是一篇解题报告 首先,看到标签,考虑二分答案. 我们二分答案(即塔顶的值),把大于或等于这个值的变为1,否则变为0. 很容易发现,如果塔顶的答案是1,那么就说明值可以更大,否则相反. 复制一波样例 ...

  4. as3.0 Flex 图像处理

    as3.0 Flex 图像处理 已知的一些图像处理,主要是得到颜色过滤矩阵,不完整,大家一起来补充. //颜色转换数组,所有的0都是可调值public var colorArray:Array = [ ...

  5. css 设置body背景图片铺满

    background-image: url(../../../assets/images/workflow/work.png); background-repeat: no-repeat; backg ...

  6. css图片显示文字(上浮)

    <html> <head lang="en"> <meta charset="UTF-8"> <title>&l ...

  7. 【IllegalArgumentException】: object is not an instance of declaring class

    java.lang.IllegalArgumentException: object is not an instance of declaring class 日前在调试动态代理的例子中,出现以上报 ...

  8. Linux系统inodes资源耗尽时的查找及删除

    for i in {1..10}; do echo $i; ls > $i.log; done for i in $(seq 1 10); do echo $i; done 以上为for循环的使 ...

  9. Android Binder 进程间通讯机制梳理

    什么是 Binder ? Binder是Android系统中进程间通讯(IPC)的一种方式,也是Android系统中最重要的特性之一.Binder的设计采用了面向对象的思想,在Binder通信模型的四 ...

  10. TCP/IP 5层协议簇/协议栈

    TCP/IP 5层协议簇/协议栈 数据/PDU 应用层 PC.防火墙 数据段/段Fragment 传输层 防火墙 报文/包/IP包packet 网络层 路由器 帧Frame 数据链路层 交换机.网卡 ...