MySQL笔记之Checkpoint机制

CheckPoint是MySQL的WAL和Redolog的一个优化技术。

一、Checkpoint机制

CheckPoint做了什么事情？将缓存池中的脏页刷回磁盘。

checkpoint定期将db buffer的内容刷新到data file，当遇到内存不足、db buffer已满等情况时，需要将db buffer中的内容/部分内容（特别是脏数据）转储到data file中。

在转储时，会记录checkpoint发生的位置，在故障回复时候，只需要redo/undo最近的一次checkpoint之后的操作。

二、CheckPoint作用

1、缩短数据库的恢复时间

当数据库宕机时，数据库不需要重做所有日志，因为CheckPoint之前的页都已经刷新回磁盘。只需对CheckPoint后的重做日志进行恢复，从而缩短恢复时间

2、缓冲池不够用时，将脏页刷新到磁盘

当缓存池不够用时，LRU算法会溢出最近最少使用的页，若此页为脏页，会强制执行CheckPoint，将该脏页刷回磁盘

3、Redo日志不可用时，刷新脏页

不可用是因为对重做日志的设计是循环使用的。重做日志可以被重用的部分，是指当数据库进行恢复操作时不需要的部分。若此时这部分重做日志还有用，将强制执行CheckPoint，将缓冲池的页至少刷新到当前重做日志的位置

三、CheckPoint种类

InnoDB存储引擎内部，有两种Checkpoint，分别为：Sharp Checkpoint、Fuzzy Checkpoint

1、Sharp CheckPoint

发生在数据库关闭时，会将所有的脏页刷回磁盘，这是默认的工作方式，即参数innodb_fast_shutdown=1。

但是若数据库在运行时也使用Sharp Checkpoint，那么数据库的可用性就会受到很大的影响。故在InnoDB存储引擎内部使用Fuzzy Checkpoint进行页的刷新，即只刷新一部分脏页，而不是刷新所有的脏页回磁盘。

2、Fuzzy CheckPoint

为提高性能，数据库运行时使用Fuzzy CheckPoint进行页的刷新，即只刷新一部分脏页。

Fuzzy Checkpoint（模糊检查点）：

• Master Thread Checkpoint；
• FLUSH_LRU_LIST Checkpoint；
• Async/Sync Flush Checkpoint；
• Dirty Page too much Checkpoint

在Innodb事务日志中，采用了Fuzzy Checkpoint，Innodb每次取最老的modified page(last checkpoint)对应的LSN，再将此脏页的LSN作为Checkpoint点记录到日志文件，意思就是此LSN之前的LSN对应的日志和数据都已经flush到redo log。

三、LSN标记

InnoDB引擎通过LSN(Log Sequence Number)来标记版本，LSN是日志空间中每条日志的结束点，用字节偏移量来表示。

1、LSN（Log Sequence Number）

• LSN是用来标记版本的
• LSN是8字节的数字
• 每个page有LSN，redo log也有LSN，Checkpoint也有LSN

2、Log Sequence Number

当mysql crash的时候，Innodb扫描redo log，从last checkpoint开始apply redo log到buffer pool，直到last checkpoint对应的LSN等于Log flushed up to对应的LSN，则恢复完成。

如上图所示，Innodb的一条事务日志共经历4个阶段：

• 创建阶段：事务创建一条日志
• 日志刷盘：日志写入到磁盘上的日志文件
• 数据刷盘：日志对应的脏页数据写入到磁盘上的数据文件
• 写CKP：日志被当作Checkpoint写入日志文件；

对应这4个阶段，系统记录了4个日志相关的信息，用于其它各种处理使用：

• Log sequence number（LSN1）：当前系统LSN最大值，新的事务日志LSN将在此基础上生成（LSN1+新日志的大小）；
• Log flushed up to（LSN2）：当前已经写入日志文件的LSN；
• Oldest modified data log（LSN3）：当前最旧的脏页数据对应的LSN，写Checkpoint的时候直接将此LSN写入到日志文件；
• Last checkpoint at（LSN4）：当前已经写入Checkpoint的LSN；

对于系统来说，以上4个LSN是递减的，即： LSN1>=LSN2>=LSN3>=LSN4。

参考资料：

https://lefred.be/content/a-graph-a-day-keeps-the-doctor-away-mysql-checkpoint-age/