Percona Data Recovery Tool 单表恢复

前几天写过update或者delete忘加where条件的数据恢复。今天介绍一款开源的MySQL数据库InnoDB数据恢复工具：innodb-tools，它通过从原始数据文件中提取表的行记录，实现从丢失的或者被毁坏的MySQL表中恢复数据。例如，当你不小心执行DROP TABLE、TRUNCATE TABLE之后，可以通过以下方式恢复数据。

在介绍innodb-tools工具进行数据恢复之前，首先明确以下几点：

1、这个工具只能对InnoDB/XtraDB表有效，而无法恢复MyISAM表

2、这个工具是以保存的MySQL数据文件进行恢复的，而不用MySQL Server运行。

3、不能保证数据总一定可被恢复。例如，被重写的数据不能被恢复，这种情况下可能需要针对系统或物理的方式来恢复，不属于本工具的范畴。

4、恢复的最好时机是当你发现数据丢失时，尽快备份MySQL数据文件。

5、使用这个工具需要手动做一些工作，并不是全自动完成的。

6、恢复过程依赖于你对丢失数据的了解程度，在恢复过程中可能需要在不同版本的数据之间做出选择。那么如果你越了解自己的数据，恢复的可能性就越大。

接下来，下面通过一个例子来介绍如何通过这个工具进行恢复。

1. 前提条件

首先，需要理解的是innodb-tools工具不是通过连接到在线的database进行数据恢复，而是通过离线拷贝数据的方式进行的。注意：不要在MySQL运行的时候，直接拷贝InnoDB文件，这样是不安全的，会影响数据恢复过程。

为了完成数据恢复，必须知道将要被恢复的表结构（列名、数据类型）。最简单的方式就是SHOW CREATE TABLE，当然后续会介绍几种可替代的方式。因此，如果有一个MySQL server作为备份，即使数据是很早的甚至表中没有记录，可以有助于使用innodb-tools工具进行恢复。不过这个不是必须的。

2.简单例子

mysql> use book;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select count(*) from million_words;
+----------+
| count(*) |
+----------+
|  1000000 |
+----------+
1 row in set (0.13 sec)

mysql> truncate million_words;
Query OK, 0 rows affected (0.23 sec)

mysql> 

3.构建工具

1、下载解压innodb-tools工具源码：

安装依赖，否则抛出如下错误：

/usr/bin/ld: cannot find -lrt
collect2: ld returned  exit
status
make: *** [page_parser] Error 

[root@localhost ~]# yum install glibc-static -y

wget https://launchpad.net/percona-data-recovery-tool-for-innodb/trunk/release-0.5/+download/percona-data-recovery-tool-for-innodb-0.5.tar.gz
tar -xvf percona-data-recovery-tool-for-innodb-0.5.tar.gz -C /usr/local/

cd /usr/local
ln -s percona-data-recovery-tool-for-innodb-0.5 percona-data-recovery-tool

2、进入解压后根目录下的mysql-source目录，运行配置命令（注：不运行make命令）:

[root@localhost mysql-source]# cd /usr/local/percona-data-recovery-tool/mysql-source/
[root@localhost mysql-source]# ./configure 

3、完成配置步骤后，回到解压后的根目录，运行make命令，编译生成page_parser和constraints_parser工具：

[root@localhost mysql-source]# cd ..
[root@localhost percona-data-recovery-tool]# make

page_parser工具将根据InnoDB的底层实现原理，解析表的页和行结构。constraints_parser工具暂时不使用，后续还需要在定义表结构之后，重新编译生成它。

4. 提取需要的页

InnoDB页的默认大小是16K，每个页属于一个特定表中的一个特定的index。page_parser工具通过读取数据文件，根据页头中的index ID，拷贝每个页到一个单独的文件中。

如果启用了innodb_file_per_table=1，也就是独立表空间文件，那么将无法完全恢复数据，本人也已经测试过，官方文档也没有提到启用独立表空间是否可以成功，在官方文档中，是设置innodb_file_per_table=0。

参考资料如下：

http://www.percona.com/docs/wiki/innodb-data-recovery-tool:mysql-data-recovery:example_data_loss_scenario

4.1 切分页

运行page_parser工具进行切分：

如果MySQL是5.0之前的版本，InnoDB采取的是REDUNDANT格式，运行以下命令：

./page_parser - -f /path/to/ibdata1

如果MySQL是5.0以后的版本，InnoDB采取的是COMPACT格式，运行以下命令：

./page_parser - -f /path/to/ibdata1

运行后，page_parser工具会创建一个pages-<TIMESTAMP>的目录，其中TIMESTAMP是UNIX系统时间戳。在这个目录下，为每个index ID，以页的index ID创建一个子目录。例如：

[root@localhost percona-data-recovery-tool]# ./page_parser - -f /data/mysql/ibdata1
Opening file: /data/mysql/ibdata1:
            ID of device containing file
          inode number
           protection
               number of hard links
             user ID of owner
             group ID of owner
               device ID (if special file)
               total size, in bytes
            blocksize for filesystem I/O
          number of blocks allocated
      time of last access
      time of last modification
      time of last status change
       Size to process in bytes
       Disk cache size in bytes
1.00% done. -- :: ETA(in : hours). Processing speed:  B/sec
2.00% done. -- :: ETA(in : hours). Processing speed:  B/sec
8.80% done. -- :: ETA(in : hours). Processing speed:  B/sec
9.80% done. -- :: ETA(in : hours). Processing speed:  B/sec
20.80% done. -- :: ETA(in : hours). Processing speed:  B/sec
28.25% done. -- :: ETA(in : hours). Processing speed:  B/sec
40.96% done. -- :: ETA(in : hours). Processing speed:  B/sec
51.43% done. -- :: ETA(in : hours). Processing speed:  B/sec
56.49% done. -- :: ETA(in : hours). Processing speed:  B/sec
76.23% done. -- :: ETA(in : hours). Processing speed:  B/sec
83.23% done. -- :: ETA(in : hours). Processing speed:  B/sec
84.74% done. -- :: ETA(in : hours). Processing speed:  B/sec
90.79% done. -- :: ETA(in : hours). Processing speed:  B/sec
99.00% done. -- :: ETA(in : hours). Processing speed:  B/sec
[root@localhost percona-data-recovery-tool]# 

[root@localhost percona-data-recovery-tool]# ll pages-/FIL_PAGE_INDEX/-
total
-rw-r--r--  root root  Mar   : -.page

4.2 选择需要的Index ID

一般来说，我们需要根据表的主键（PRIMARY index）进行恢复，主键中包含了所有的行。以下是一些可以实现的步骤：

如果数据库仍处于运行状态，并且表没有被drop掉，那么可以启动InnoDB Tablespace Monitor，输出所有表和indexes，index IDs到MySQL server的错误日志文件。创建innodb_table_monitor表用于收集innodb存储引擎表及其索引的存储方式：

mysql> CREATE TABLE test.innodb_table_monitor (id int) ENGINE=InnoDB;
Query OK, 0 rows affected (0.31 sec)

mysql> 

如果innodb_table_monitor已经存在，drop表然后重新create表。等MySQL错误日志输出后，可以drop掉这张表以停止打印输出更多的监控。一个输出的例子如下：

TABLE: name book/million_words, id , flags , columns , indexes , appr.rows
  COLUMNS: id: DATA_INT DATA_UNSIGNED DATA_BINARY_TYPE DATA_NOT_NULL len ; word: DATA_VARMYSQL DATA_NOT_NULL len ; DB_ROW_ID: DATA_SYS prtype  len ; DB_TRX_ID: DATA_SYS prtype  len ; DB_ROLL_PTR: DAT
A_SYS prtype  len ;
  INDEX: name PRIMARY, id , fields /, uniq , type
   root page , appr.key vals , leaf pages , size pages
   FIELDS:  id DB_TRX_ID DB_ROLL_PTR word
  INDEX: name word, id , fields /, uniq , type
   root page , appr.key vals , leaf pages , size pages
   FIELDS:  word id

这里，我们恢复的是sakila库下的customer表，从上面可以获取其主键信息：

INDEX: name PRIMARY, id 374, fields /, uniq , type 

Index ID是0 374，因此我们需要恢复的InnoDB页位于0-374子目录下。

备注：参考文档原文中之描述了以上这种获取表的index ID的方法，本文在实际操作中，采取了更简单的一种方式，即直接恢复page_parser生成的所有InnoDB页。实践证明这种方法也是可行的.

5. 生成表定义

步骤4中，我们已经找到了需要的数据，接下来需要找到表结构，创建表定义，将其编译到constraints_parser中，然后使用这个工具从InnoDB页中提取表中的行。

表定义包含了表中的列、列顺序、数据类型。如果MySQL server仍处于运行且表未被drop掉，那么简单实用SHOW CREATE TABLE就可以收集到这些信息。接下来将使用这些表结构信息来创建一个C结构体标识的表定义，然后编译到constraints_parser工具。C结构体的定义存放在include/table_defs.h中。

最简单的方式是create_defs.pl Perl 脚本，连接到MySQL server，读取SHOW CREATE TABLE的结果，输出生成的表定义到标准输出。下面是个例子，其中直接将结果重定向到了include/table_defs.h中：

[root@localhost percona-data-recovery-tool]# ./create_defs.pl --host=127.0.0.1 --user=root --password=yayun --db=book --table=million_words  > include/table_defs.h

下面是生成的表定义：

#ifndef table_defs_h
#define table_defs_h

// Table definitions
table_def_t table_definitions[] = {
        {
                name: "million_words",
                {
                        { /* int(10) unsigned */
                                name: "id",
                                type: FT_UINT,
                                fixed_length: ,

                                has_limits: FALSE,
                                limits: {
                                        can_be_null: FALSE,
                                        uint_min_val: ,
                                        uint_max_val: 4294967295ULL
                                },

                                can_be_null: FALSE
                        },
                        { /*  */
                                name: "DB_TRX_ID",
                                type: FT_INTERNAL,
                                fixed_length: ,

                                can_be_null: FALSE
                        },
                        { /*  */
                                name: "DB_ROLL_PTR",
                                type: FT_INTERNAL,
                                fixed_length: ,

                                can_be_null: FALSE
                        },
                        { /* varchar(50) */
                                name: "word",
                                type: FT_CHAR,
                                min_length: ,
                                max_length: ,

                                has_limits: FALSE,
                                limits: {
                                        can_be_null: FALSE,
                                        char_min_len: ,
                                        char_max_len: ,
                                        char_ascii_only: TRUE
                                },

                                can_be_null: FALSE
                        },
                        { type: FT_NONE }
                }
        },
};

#endif

如果需要，可以根据需要编辑修改include/table_defs.h；然后根据include/table_defs.h，重新编译constraints_parser工具：

[root@localhost percona-data-recovery-tool]# make
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS= -D_LARGEFILE64_SOURCE= -D_LARGEFILE_SOURCE= -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -c tables_dict.c -o lib/tables_dict.o
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS= -D_LARGEFILE64_SOURCE= -D_LARGEFILE_SOURCE= -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -c print_data.c -o lib/print_data.o
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS= -D_LARGEFILE64_SOURCE= -D_LARGEFILE_SOURCE= -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -c check_data.c -o lib/check_data.o
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS= -D_LARGEFILE64_SOURCE= -D_LARGEFILE_SOURCE= -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -o constraints_parser constraints_parser.c lib/tables_dict.o lib/print_data.o lib/check_data.o lib/libut.a lib/libmystrings.a
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS= -D_LARGEFILE64_SOURCE= -D_LARGEFILE_SOURCE= -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -static -lrt -o page_parser page_parser.c lib/tables_dict.o lib/libut.a
[root@localhost percona-data-recovery-tool]# 

6. 从页中提取行记录

6.1 合并页到一个文件

前面已经提到，我们需要恢复的index ID 0 374，包含数据的页位于pages-1394180806/FIL_PAGE_INDEX/0-374/ 目录。

[root@localhost percona-data-recovery-tool]# cd pages-/FIL_PAGE_INDEX/-/
[root@localhost -]# ll
total
-rw-r--r--  root root  Mar   : -.page
-rw-r--r--  root root  Mar   : -.page
-rw-r--r--  root root  Mar   : -.page
-rw-r--r--  root root  Mar   : -.page
-rw-r--r--  root root  Mar   : -.page
-rw-r--r--  root root  Mar   : -.page
-rw-r--r--  root root  Mar   : -.page
-rw-r--r--  root root  Mar   : -.page
-rw-r--r--  root root  Mar   : -.page
-rw-r--r--  root root  Mar   : -.page
................................
................................

输入以下命令进行合并页：

[root@localhost percona-data-recovery-tool]# find pages-/FIL_PAGE_INDEX/-/ -type f -name '*.page' | sort -n | xargs cat > pages-/FIL_PAGE_INDEX/-/customer_pages_concatenated
[root@localhost percona-data-recovery-tool]#

生成的结果文件:pages-1394180806/FIL_PAGE_INDEX/0-374/customer_pages_concatenated,将作为constraints_parser工具的输入。

6.2 运行constraints_parser工具

下面到恢复数据最核心的步骤——运行constraints_parser工具以提取行记录。和page_parser工具一样，需要通过-5或-4参数指定InnoDB页格式（COMPACT/REDUNDANT），-f指定输入文件。

回到例子中，我们可以这样运行constraints_parser工具

我们可以这样运行constraints_parser工具（下面的命令是恢复一个单一的页，也可以直接恢复经过6.1步骤合并所有页之后的文件）：

./constraints_parser - -f pages-/FIL_PAGE_INDEX/-/-.page

会输出恢复数据相关语句:

LOAD DATA INFILE '/usr/local/percona-data-recovery-tool/dumps/default/million_words' REPLACE INTO TABLE `million_words` FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '"' LINES STARTING BY 'million_words\t' (id, word);

既然这样，那么我们就创建dumps/default/文件夹

[root@localhost percona-data-recovery-tool]# pwd
/usr/local/percona-data-recovery-tool
[root@localhost percona-data-recovery-tool]# mkdir dumps/default -p
[root@localhost percona-data-recovery-tool]# 

恢复全部页的数据到/dumps/default/million_words

[root@localhost percona-data-recovery-tool]# ./constraints_parser - -f pages-/FIL_PAGE_INDEX/-/customer_pages_concatenated >> dumps/default/million_words

输出提示如下,省略了一些内容：

95.98% done
96.42% done
96.86% done
97.30% done
97.74% done
98.19% done
98.63% done
99.07% done
99.51% done
99.96% done
LOAD DATA INFILE '/usr/local/percona-data-recovery-tool/dumps/default/million_words' REPLACE INTO TABLE `million_words` FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '"' LINES STARTING BY 'million_words\t' (id, word);

7. 导入数据到数据库中

mysql> use book
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> LOAD DATA INFILE '/usr/local/percona-data-recovery-tool/dumps/default/million_words' REPLACE INTO TABLE `million_words` FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '"' LINES STARTING BY 'million_words\t' (id, word);
Query OK, 1062600 rows affected (14.99 sec)
Records: 1031300  Deleted: 31300  Skipped: 0  Warnings: 0

mysql> select count(*) from million_words;
+----------+
| count(*) |
+----------+
|  1000000 |
+----------+
1 row in set (0.20 sec)

mysql> 

可以看见数据已经恢复回来，我测试的MySQL版本如下：

mysql> select version();
+-------------+
| version()   |
+-------------+
| 5.5.25a-log |
+-------------+
1 row in set (0.00 sec)

mysql> show variables like 'innodb_file_per_table';
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_file_per_table | OFF   |
+-----------------------+-------+
1 row in set (0.00 sec)

mysql> 

希望各位小伙伴永远不需要用到此方法，备份才是王道啊！

参考资料如下：

http://www.percona.com/docs/wiki/innodb-data-recovery-tool:mysql-data-recovery:start

http://hidba.org/?p=852