Percona Xtrabackup 备份工具

生成备份

$ xtrabackup --backup --target-dir=/data/backups/

注：--target-dir可以放在my.cnf配置文件中。如果指定的目录不存在，xtrabackup会创建目录。如果目录存在而包含文件，报错。如果日志文件与数据文件不在同一个目录下，可能需要显式的指定。

在备份过程中可能会有的问题：在备份过程中，日志拷贝线程每秒检查一次，查看是否有事务日志需要拷贝。但是如果日志拷贝线程跟不上事务日志写的速度，而导致事务日志被覆盖，会产生错误。

MySQL 8.0.17添加归档日志功能，在系统中设置innodb_redo_log_archive_dirs变量即可。MySQL通过innodb_redo_log_archive_start('label','subdir')、 innodb_redo_log_archive_stop();这两个函数来实现日志开启和关闭归档的功能。

关于innodb_redo_log_archive_dirs系统变量的设置，系统有一些要求。测试使用的是Percona xtrabackup 8.0.9版本。已经实现了在备份时使用归档日志的功能。

在测试过程遇到了这些问题：

Error: failed to fetch query result select innodb_redo_log_archive_start('label1', '1582251381198'): Cannot create redo log archive file '/arch/1582251381198/archive.e68d5e23-5139-11ea-b061-080027db4b37.000001.log' (OS errno: 13 - Permission denied)
xtrabackup: Redo Log Archiving is not used.

Error: failed to fetch query result select innodb_redo_log_archive_start('label1', '1582251957100'): Redo log archiving has been started on '/arch/archive.e68d5e23-5139-11ea-b061-080027db4b37.000001.log' - Call innodb_redo_log_archive_stop() first
xtrabackup: Redo Log Archiving is not used.

完成备份后，如果准备用于恢复，需要做一个Preparing Backup的操作

因为数据库数据文件在拷贝时不是一致的，它们拷贝的时间不同。在这一步需要做的是通过Xtrabackup工具提供的一种嵌入式的InnoDB，通过应用拷贝的日志对拷贝的数据文件做崩溃恢复（crash recovery）。

做法类似下面，给Xtrabackup工具的--prepare 选项传递需要准备（prepare）的目标目录：

xtrabackup --prepare --target-dir=/backups

注：对于已经prepared的数据文件，这个操作没有影响。Percona 建议在做 preparation 时不要中断，因为可能导致恢复的数据文件不一致。如果这个备份将来准备用于增量备份的策略中，就不要使用 --prepare 选项了，应该使用 --apply-log-only 选项。

做好了Prepare的动作后，就可以恢复数据库了，可能是像下面这样：

xtrabackup --copy-back --target-dir=/backups

注：xtrabackup工具也提供了其他的选项：--move-back

也可以通过OS命令比如rsync或者cp拷贝数据文件，注意权限和所有者。

下面是在做恢复时遇到的问题：

xtrabackup: Can't create/write to file '/usr/local/mysql-5.7.28-linux-glibc2.12-x86_64/log/ib_logfile0' (OS errno 17 - File exists)
[01] error: cannot open the destination stream for ib_logfile0
[01] Error: copy_file() failed.

生成增量备份

增量备份依据每个InnoDB page包含的日志序列号（LSN）。通过对于与之前的全备或者增量备份的LSN，以确定需要备份的页（Page）。

两种算法用于计算需要备份的 Page Set。一种是通过直接读取所有数据页以检查页的LSN大小；还有一种是通过changed page tracking功能。

增量备份实际上并不是对比数据文件与之前的备份数据文件。如果知道LSN，即使之前没有备份，也可以通过--incremental-lsn 选项做增量备份。增量备份简单地读取数据页并通过对比数据页的LSN与之前最近一次备份的LSN来确定需要备份的Pages。

创建增量备份前，先做了一个全备，比如像这样：

xtrabackup -uroot -poracle -S /tmp/mysql.sock --backup --target-dir=/data/backups/base

基于全备做增量备份，比如：

xtrabackup -uroot -poracle -S /tmp/mysql.sock --backup --target-dir=/data/backups/incr1 --incremental-basedir=/data/backups/base

基于增量备份做增量备份，比如：

xtrabackup -uroot -poracle -S /tmp/mysql.sock --backup --target-dir=/data/backups/incr2 --incremental-basedir=/data/backups/incr1

注：查看这三次备份的xtrabackup_checkpoints文件，下次的备份起点：from-lsn应该是之前备份的结束位置：to-lsn。如果last-lsn与to-lsn不同，说明在备份过程中服务器有流量。

准备增量备份

准备增量备份不同于准备全备。准备全备通过--prepare 选项通过日志文件应用提交的事务，回滚未提交的事务。这种做法在增量恢复时是不可行的。因为做增量备份时未提交的事务可能在随后提交了，如果在应用前一个备份时，回滚了当时备份时的事务，会使用后面的增量备份不可用。通过--apply-log-only选项对备份只做应用不做回滚，在增量备份的环境里是合理的。

先做全备恢复，比如：

xtrabackup -uroot -poracle -S /tmp/mysql.sock --prepare --apply-log-only --target-dir=/data/backups/base

应用第一个增量备份，比如：

xtrabackup -S /tmp/mysql.sock --prepare --apply-log-only --target-dir=/data/backups/base --incremental-dir=/data/backups/incr1

应用最后一个增量备份，比如：

xtrabackup -S /tmp/mysql.sock --prepare --target-dir=/data/backups/base --incremental-dir=/data/backups/incr2

注：在应用完成最后一个增量备份后，可以同时应用日志做提交和回滚操作。其实即使不做回滚，MySQL启动时也会识别到系统有未回滚事务。在启动时，也会做crash recover。

压缩备份

Xtrabackup可以实现压缩备份，比如：

xtrabackup -uroot -poracle -S /tmp/mysql.sock --backup --compress --compress-threads=4 --target-dir=/data/backups/comress

准备压缩备份

在准备压缩备份前，需要先解压压缩备份。要解压压缩文件需要先安装qpress。

qpress 网站：http://www.quicklz.com/

在编译源码时遇到下面错误：

g++ -O3 -o qpress qpress.cpp aio.cpp quicklz.c utilities.cpp -lpthread
qpress.cpp: In function ‘int main(int, char**)’:
qpress.cpp:1039:39: error: ‘isatty’ was not declared in this scope
tty_stderr = isatty(fileno(stderr));
^
make: *** [g++] Error 1

解决方法：

vim qpress.cpp

--- a/qpress.cpp	2010-09-23 20:09:26.000000000 +0100
+++ b/qpress.cpp	2013-01-28 19:18:21.000000000 +0000
@@ -89,6 +89,7 @@
 #include <sys/stat.h>
 #include <stdlib.h>
 #include <stdio.h>
+#include <unistd.h>
 #include "aio.hpp"
 #include <stdarg.h>
 #include <string>

解压压缩备份：
xtrabackup --decompress --decompress-threads=4 --target-dir=/data/backups/compress
注：默认解压压缩文件时不会删除压缩文件，--remove-original 选项可以删除压缩文件。即使没有删除压缩文件，在--copy-back时
也不会拷贝到数据目录（--datadir）

准备解压后的备份：
xtrabackup --prepare --target-dir=/data/backups/compress

恢复备份：
xtrabackup --copy-back --target-dir=/data/backups/compress