innodb_max_purge_lag

mysql

现象：  线上数据库每个表分配一个ibdata,但是总的ibdata文件很大，超过10G，用相关工具查看，大部分空间都是undo_log 
分析了db33的ibdata1的记过  Total number of page: 2398464: 2.4M的page * 16K = 38G  Insert Buffer Free List: 2659  B-tree Node: 5720  Freshly Allocated Page: 12725  Undo Log Page: 2352027  File Segment inode: 25333  可以看到绝大部分的空间，都是被undo log占用了.... 
分析：  undo log 过大 看来是Mysql的一个“problematic feature” 从03年到现在一直都有人抱怨这个问题。有补丁(需要自己修改源码编译)，但是不知道是否可靠...  http://bugs.mysql.com/bug.php?id=57611  http://bugs.mysql.com/bug.php?id=1341  出现的原因的一个可能原因：purge 线程赶不上速度，没有即使回收不用的undo page。可以增加一些  这里面http://bugs.mysql.com/bug.php?id=45173 有人提出一些优化参考的方案：  增大innodb_io_capacity （mysq 5.0不支持 5.1才有）  设置独立的purge thread mysql 5.0不支持，5.5才有  调节 innodb_max_purge_lag 这个值表明，当purge赶不上写操作的时候，写操作delay的时间指标，我们是0，表示不等待，有可能大并发写，purge落后 
查看了一下文档，结论：不推荐用innodb_max_purge_lag来实现undo log扩充的问题。  主要原因如下：  1，innodb_max_purge_lag调节参数不好设定，调整不好会强烈影响到正常insert,update的时效，得不偿失  2，innodb_max_purge_lag，有人实验证明，该参数调节影响不是很大，对delete,insert没有作用，副作用大，强烈不推荐 http://mysqldump.azundris.com/archives/81-DELETE,-innodb_max_purge_lag-and-a-case-for-PARTITIONS.html 
undo log较大的原因是：  1，Mysql 每10S操作一次purge  2，每次purge mysql做多回收20 page 的undo log 
如果10S之内删除,update的数据操作20 page，也就是320K的东西,就会出现purge 回收不及时的情况，就会出现undo log过大。 
对应的 queue表，是删除过一次，平均queue数据长度为292 因此只要1S删除queue表超过100行，就会出现上述情况。因此只要线上大规模 delete 数据就会出现删除不干净的情况。 
解决方案：  1，delete操作，脚本控制，不要一口气删除感觉，要sleep，控制在1S删除100条的速度  这个已经证明是一个非常好的方案。删除短信数据的时候，如果速度过快，ibdata显著增加，如果控速适当，该文件是根本不会增加的  2, 如果是全表删除，推荐truncate，ddl不会写undo  3, 如果是delete + where 删除的需求，也可以考虑建立新表，导入部分旧表数据＋truncate 旧表的方式，  4, DAO层面支持分表操作，彻底去掉删除大表数据这种事情