MySQL中的刷脏机制详解

名词解释

脏页：当内存数据页跟磁盘数据页内容不一致的时候，我们称这个内存页为“脏页”。

干净页：内存数据写入到磁盘后，内存和磁盘上的数据页的内容就一致了，称为“干净页”。

LSN：称为日志的逻辑序列号(log sequence number)，在innodb存储引擎中，lsn占用8个字节。LSN的值会随着日志的写入而逐渐增大。事务中更新操作会产生一个新的LSN。LSN不仅存在于redo log中，还存在于数据页中。

刷脏：刷脏（Flush）是指将内存中已被修改的数据块写回到持久化存储（如磁盘）的操作。

write pos：write pos指的是WAL中当前用于写入日志的位置指针

checkpoint：Checkpoint是数据库中周期性将内存中的修改数据页刷新到磁盘的操作，以确保数据库的持久化和一致性。

为什么要刷脏？

• 数据持久性
• 数据一致性
• 缓存管理
• 保证系统性能

刷脏时机

• checkpoint刷脏
• 空闲时刷脏
• MySQL正常关闭时刷脏

空闲时刷脏

MySQL会在自认为系统“空闲”的时候或者当系统更新很频繁，redo log很快就写满的情况下，合理的定时进行刷脏

正常关闭时刷脏

MySQL 正常关闭的情况。这时候，MySQL 会把内存的脏页都 flush 到磁盘上，这样下次 MySQL 启动的时候，就可以直接从磁盘上读数据，启动速度会很快。

如果关闭的时候不刷脏，启动的时候就需要去读redo log然后同步数据到磁盘，这样启动速度会变慢

checkpoint机制

Redo Log可能会出现的问题

• 缓冲池不够用
• redo log写满了
• 当数据库宕机时，重新应用redo log

checkpoint机制可以解决上面的三个问题:

• 缓冲池不够用时，将脏页刷新到磁盘
• redo log写满时，将脏页刷新到磁盘
• 缩短数据库恢复时间

缓冲池不够用时

当缓冲池中的空间无法存放新读取的页，这个时候innodb就会进行页的淘汰。使用LRU算法，将淘汰LRU链表尾部的页，如果这个被释放的页时脏页，就要强制执行checkpoint，将脏页刷新到磁盘。

缩短数据库恢复时间

当数据库宕机时，数据库不需要重做所有的日志，因为checkpoint之前的页都已经刷新回磁盘了。所以数据库就只需要针对checkpoint后的redo log进行恢复就可以了，这样就减少了恢复的时间。

redo log写满

日志组的概念

• MySQL为了优化磁盘持久的开销，会有一个组提交（group commit）机制
• 每个innodb，至少有一个重做日志文件组，每个文件组下面，至少有两个redo log文件
• 事务日志组路径，当前目录是指的MySQL数据目录为日志组目录

• 

• 事务日志组中的事务文件的个数，默认两个

• 

• 日志组中每个重做日志的大小一致，并且循环使用。单个文件默认大小是48M，最大是512G，最大值是组内文件的大小总和

• 

所谓的redo log不可用就是，就是所有redo file都写满的时候

InnoDB以环形方式写入数据到重做日志的:

checkpoint每次刷新多少页到磁盘？每次从哪里取脏页？什么时间触发checkpoint？

InnoDB存储引擎内部，两种checkpoint，分别为:

• Sharp Checkpoint
• Fuzzy Checkpoint

Sharp Checkpoint（强制落盘）

Sharp Checkpoint发生在数据库关闭时，将所有的脏页都刷新回磁盘，这是默认的工作方式，即参数：innodb_fast_shutdown=1。
不适用于数据库运行时的刷新。

Fuzzy Checkpoint（模糊落盘）

在数据库运行时，InnoDB存储引擎内部采用Fuzzy Checkpoint，只刷新一部分脏页。

几种发生Fuzzy Checkpoint的情况：
①MasterThread Checkpoint
异步刷新，每秒或每10秒从缓冲池脏页列表刷新一定比例的页回磁盘。异步刷新，即此时InnoDB存储引擎可以进行其他操作，用户查询线程不会受阻。
②FLUSH_LRU_LIST Checkpoint

BP中有脏页换出需要执行落盘
InnoDB存储引擎需要保证LRU列表中差不多有100个空闲页可供使用。在InnoDB 1.1.x版本之前，用户查询线程会检查LRU列表是否有足够的空间操作。如果没有，根据LRU算法，溢出LRU列表尾端的页，如果这些页有脏页，需要进行checkpoint。因此叫：flush_lru_list checkpoint。
InnoDB 1.2.x开始，这个检查放在了单独的进程（Page Cleaner）中进行。好处：1.减少master Thread的压力 2.减轻用户线程阻塞。
设置参数：innodb_lru_scan_dept：控制LRU列表中可用页的数量，该值默认1024
③Async/Sync Flush Checkpoint
指重做日志不可用的情况，需要强制刷新页回磁盘，此时的页时脏页列表选取的。
这种情况是保证重做日志的可用性，说白了就是，重做日志中可以循环覆盖的部分空间太少了，换种说法，就是极短时间内产生了大量的redo log。
接下来会有几个变量，图解也不难，仔细看看。
InnoDB存储引擎，通过LSN（Log Sequence Number）来标记版本，LSN是8字节的数字。每个页有LSN，重做日志有LSN，checkpoint有LSN。
写入日志的LSN:redo_lsn
刷新回磁盘的最新页LSN:checkpoint_lsn
有如下定义:
checkpoint_age = redo_lsn - checkpoint_lsn
async_water_mark = 75% * total_redo_file_size
sync_water_mark = 90% * total_redo_file_size
刷新过程如下图所示：

这里总结下来就是：

• 当redo log超过75%小于90%就会执行异步落盘。
• 当redo log超过90%，就会执行同步落盘操作。回阻塞写操作。

④Dirty Page too much Checkpoint

脏页率超过75%执行落盘
即脏页太多，强制checkpoint.保证缓冲池有足够可用的页。
参数设置：innodb_max_dirty_pages_pct = 75 表示：当缓冲池中脏页的数量占75%时，强制checkpoint。1.0.x之后默认75