MySQL实战—更新过程

和查询流程不同的是，更新流程涉及两个重要的日志模块：redo log（重做日志）和 binlog（二进制日志）。

redo log

redo log通常是物理日志，记录的是数据页的物理修改，而不是某一行或某几行的修改，它用来恢复提交后的物理数据页(恢复数据页，且只能恢复到最后一次提交的位置)。

如果MySQL每一次的更新操作都需要写进磁盘，整个过程IO成本会很高。使用redo log能提升更新效率，即WAL技术。

WAL

• Write-Ahead Logging
• 先写日志，再写磁盘

更新记录

• InnoDB引擎先把记录写到redo log里面，并更新内存
• InnoDB会在适当的时候，比如系统空闲时，将操作记录更新到磁盘里

在相同的数据量下，采用WAL的数据库系统在事务提交时，磁盘写操作只有传统的回滚日志的一半左右，大大提高了数据库磁盘IO操作的效率，从而提高了数据库的性能。

redo log

redo log大小固定，可配

• 是InnoDB引擎的日志
• 比如一组4个文件，每个文件大小1GB
• 从头开始写，写到末尾又回到开始循环写
• write pos是当前记录的位置，一边写一边后移，写到第 3 号文件末尾后就回到 0 号文件开头
• checkpoint是当前要擦除的位置，也是往后推移并且循环的，擦除记录前要把记录更新到数据文件
• write pos和checkpoint之间是可写部分，用来记录新的操作
• 如果write pos追上Checkpoint，表示没有可写位置了，此时不能执行新的更新，需要停下来擦掉一些记录（将记录更新到磁盘），将checkpoint向前推进

crash-safe

• 通过redo log，InnoDB保证即使数据库发生异常重启，之前提交的记录都不会丢失，这个能力称为crash-safe

更新过程

以下述操作为例。

mysql> create table T(ID int primary key, c int);
mysql> update T set c=c+1 where ID=2;

• 执行器通过引擎取ID=2这一行。

  • ID是主键，引擎直接用树搜索找到这一行
  • 如果ID=2这一行所在的数据页本来就在内存中，就直接返回给执行器；
  • 否则，需要先从磁盘读入内存，然后再返回。
• 执行器将引擎返回的行数据的这个值加1，即N变成N+1，得到新的一行数据，再调用引擎接口写入新行。
• 引擎将这行新数据更新到内存中，同时将这个更新操作记录到redo log里，此时redo log处于prepare状态。然后告知执行器执行完成了，随时可以提交事务。
• 执行器生成这个操作的binlog，并把binlog写入磁盘。
• 执行器调用引擎的提交事务接口，引擎把刚写入的redo log改成提交（commit）状态，更新完成。

执行流程如下图。浅色步骤在InnoDB内部执行，深色步骤在执行器中执行。

binlog

binlog，即二进制日志，是一个二进制文件，记录了对数据库执行更新的所有操作，并且记录了语句发生时间、执行时长、操作数据等信息。但不记录SELECT、SHOW等查询SQL语句。

二进制日志主要用于数据恢复和主从复制，及审计操作。

• max_binlog_size：日志文件大小上限，二进制日志文件后缀名会由 mysql 自动拼接数字，达到此参数设置大小则写入另一个文件，同时后缀 + 1，所以在设置 log-bin 参数时仅填写路径和文件名即可，后缀名省略

是否开启binlog

log-bin：设置日志文件的位置，设置此参数同时开启日志记录，默认放在 mysql data目录下

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+
1 row in set (0.02 sec)

查看binlog

binlog不能直接查看。可以通过官方提供的mysqlbinlog工具查看。

• 确认日志位置

mysql> show master logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000120 |  47533445 |
| mysql-bin.000121 |  57556996 |
| mysql-bin.000122 | 190963566 |
+------------------+-----------+
3 rows in set (0.01 sec)

mysql>
mysql>
mysql> show master status;
+------------------+-----------+--------------+------------------+--------------------------------------------------------------------------------------------------------------------------------------------------+
| File             | Position  | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                                                                                                                                |
+------------------+-----------+--------------+------------------+--------------------------------------------------------------------------------------------------------------------------------------------------+
| mysql-bin.000122 | 190964654 |              |                  | a30ccda1-22af-11e9-850a-6c92bf668356:4512526-4520657,
df123bc8-3139-11ea-9587-6c92bf9bf658:1-6937,
e001bcc0-3139-11ea-a763-ac853d9f52c8:1-801427 |
+------------------+-----------+--------------+------------------+--------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

• 输出文件内容

# 直接查看
mysqlbinlog mysql-bin.xxx  //xxx表示文件编号

# 输出到指定文件
mysqlbinlog mysql-bin.xxx > mysqllog.log

# 指定时间段输出
mysqlbinlog --start-datetime '2020-01-08 00:00:00' --stop-datetime '2020-01-08 01:00:00' mysql-bin.xxx > mysqllog.log

如果执行过程出现以下提示，可暂时添加--no-defaults参数跳过检查。

mysqlbinlog:[ERROR] unknown variable 'default-character-set=utf8'

更多内容，请参考https://dev.mysql.com/doc/refman/5.7/en/binary-log.html

两阶段提交

写入redo log分为两个步骤

• prepare
• commit

即，两阶段提交。

为什么需要两阶段提交？

redo log和binlog是两个独立的逻辑，如果不用两阶段提交，要么就是先写完redo log再写binlog，要么反过来。

以上述更新为例。假设当前ID=2，字段c的值为0，并假设执行update过程中写完第一个日志后，发生了crash。看看两种方式会发生什么情况。

• 先写redo log后写binlog

  • 假设redo log写完，binlog没有写完的时候，MySQL 进程异常重启
  • redo log写完之后，系统即使崩溃，仍然能够把数据恢复回来，所以恢复后这一行c的值是 1
  • 但由于binlog没写完就crash了，这时候binlog里面就没有记录这个语句。因此，之后备份日志的时候，存起来的binlog里面就没有这条语句。
  • 如果需要用这个binlog来恢复临时库的话，由于这个语句的binlog丢失，这个临时库就会少了这一次更新，恢复出来的这一行c的值就是0，与原库的值不同。
  • 出现不一致

• 先写binlog后写redo log

  • 假设binlog写完之后，redo log没有写完的时候crash
  • 由于redo log还没写，崩溃恢复以后这个事务无效，所以这一行c的值是0。
  • 但是 binlog 里面已经记录了“把c从0改成1”这个日志。
  • 后续用binlog恢复的时候就多了一个事务出来，恢复出来的这一行c的值就是 1，与原库的值不同。
  • 也出现不一致

可以看出，如果不使用“两阶段提交”，数据库的状态有可能和用binlog恢复出来的库的状态不一致。