MySQL八、备份和还原

 

 

 

 

 

 

MySQL 八、数据库备份和还原

 

 

 

1、二进制日志相关配置

 

 

1）查看使用中的二进制日志文件列表，及大小

 

　　SHOW {BINARY | MASTER} LOGS

 

　　ex: show master logs;

　　show binary logs;

 

这两个命令是一样的

物理大小

2）查看使用中的二进制日志文件

 

SHOW MASTER STATUS;

 

表示当前二进制数据库，处于什么位置（下图中当前处于245位置）

当对表进行修改后，可看到位置发生了变化

 

update students set name='Shi Banyu' where stuid=1;

show master status;

 

3）查看查看二进制文件中的指定内容

 

SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]

 

ex: show binlog events in ‘mysql-bin.000001' from 6516 limit 2,3

 

show binlog events in 'a.000002';

 

show binlog events in 'a.000002' from 245;

2、二进制日志客户端命令工具：mysqlbinlog

 

 

 

1）生成新日志文件: flush logs

 

flush logsl 触发生成新的日志

生成新的日志a.000003,

新的事件将记录到这个新的日志文件里

2）窥探二进制文件的内容

 

mysqlbinlog [OPTIONS] log_file…

 

ex： mysqlbinlog /data/mylog/a.000003

 

对表做一次修改

再查看二进制日志文件，可看到：

at 245及之后的位置，记录了数据库发生的改变。

因此，也就可以利用二进制文件，来还原数据库

3）一个还原的小实验

 

将二进制文件导出到文件

mysqlbinlog /data/mylog/a.000003 > bin.sql

 

对表再次进行修改：

 

update students set name='Shi Po Tiandi' where stuid=2;

select * from students;

 

将修改之前的二进制文件内容，再导入到数据库中（猜猜会发生什么？）

mysql < bin.sql

 

表又复原到修改之前的状态了

 

可以看到

4）mysqlbinlog客户端命令参数

 

mysqlbinlog [OPTIONS] log_file…

 

--start-position=# 指定开始位置

--stop-position=#

--start-datetime=

--stop-datetime=

 

时间格式：YYYY-MM-DD hh:mm:ss

--base64-output[=name]

 

示例：

 

mysqlbinlog --start-position=6787 --stop-position=7527 /var/lib/mysql/mariadb-bin.000003

 

mysqlbinlog --start-datetime="2018-01-30 20:30:10" --stop-datetime="2018-01-30 20:35:22" mariadb-bin.000003;

 

 

 

ex:

 

mysqlbinlog /data/mylog/a.000003 --start-position=316 --stop-position=431

 

5）删除二进制日志文件

 

PURGE { BINARY | MASTER } LOGS

{ TO 'log_name' | BEFORE datetime_expr }

 

 

删除指定日志文件之前的文件

purge binary logs to 'a.000003'; （删除到3,3之前的都删掉）

删除所有二进制日志，index文件重新记数

 

RESET MASTER [TO #];

 

日志文件从#开始记数，默认从1开始，一般是master第一次启动时执行，MariaDB10.1.6开始支持TO #

 

RESET MASTER; 彻底删除，重新计数

二、备份和恢复

 

 

1）全备份、增量备份示意（每周全备、每日增量备份）

 

全 增 增 增 增 增 增

+--------+-------+---------+------+-------+-------+

日 一 二 三 四 五 六

 

 

2）默认mysql备份相关配置

 

 

 

 

分库、分表

innodb_file_per_table=ON （建议默认配置）

 

2、备份工具

 

mysqldump：逻辑备份工具，适用所有存储引擎，温备；支持完全或部分备份；对InnoDB存储引擎支持热备

 

cp, tar等复制归档工具：物理备份工具，适用所有存储引擎；只支持冷备；完全和部分备份

 

LVM的快照：先加锁，做快照后解锁，几乎热备；借助文件系统管理工具进行备份

 

mysqlhotcopy：几乎冷备；（仅适用于MyISAM存储引擎）

 

 

1）mysqldump备份工具的使用

 

mysqldump是一个客户端命令，通过mysql协议连接至mysqld服务器进行备份：

 

mysqldump [OPTIONS] database [tables] 备份特定数据库的某张单表

mysqldump [OPTIONS] –B DB1 [DB2 DB3...] 备份指定的若干个数据库

mysqldump [OPTIONS] –A [OPTIONS] 备份所有数据库

 

官方说明参考：https://dev.mysql.com/doc/refman/5.7/en/mysqldump.html

 

 

2）mysqldump选项

 

-A， --all-databases 备份所有数据库，含create database

-B , --databases db_name… 指定备份的数据库，包括create database语句

-E, --events：备份相关的所有event scheduler

-R, --routines：备份所有存储过程和存储函数

--triggers：备份表相关触发器，默认启用,用--skip-triggers，不备份触发器

--master-data[=#]： 此选项须启用二进制日志

1：所备份的数据之前加一条记录为CHANGE MASTER TO语句，非注释，不指定#，默认为1

2：记录为注释的CHANGE MASTER TO语句

此选项会自动关闭--lock-tables功能，自动打开--lock-all-tables功能（除非开启--single-transaction）

 

-F, --flush-logs ：备份前滚动日志，锁定表完成后，执行flush logs命令,生成新的二进制日志

文件，配合-A时，会导致刷新多次数据库，在同一时刻执行转储和日志刷新，则应同时使

用--flush-logs和-x，--master-data或-single-transaction,此时只刷新一次，建议：

和-x，--master-data或 --single-transaction一起使用

 

--compact 去掉注释，适合调试，生产不使用

-d, --no-data 只备份表结构

-t, --no-create-info 只备份数据,不备份create table

-n,--no-create-db 不备份create database，可被-A或-B覆盖

--flush-privileges 备份mysql或相关时需要使用

-f, --force 忽略SQL错误，继续执行

--hex-blob 使用十六进制符号转储二进制列（例如，“abc”变为0x616263），受影响的数据类型包括BINARY， VARBINARY，BLOB，BIT

-q, --quick 不缓存查询，直接输出，加快备份速度

 

 

 

 

实验一 ：冷备份数据库，并还原

 

思路：停服务，拷贝出数据库文件，进行冷备份

 

 

备份

 

1）查看当前的数据库，共有5个数据库

mysql -e 'show databases'

2）停服务

systemctl stop mariadb

 

 

3）备份文件：打包压缩拷贝出来 （对/var/lib/mysql整个文件夹，即所有数据全都备份）

tar Jcvf /data/all.tar.xz /var/lib/mysql/

 

注：1、生产环境应将备份文件与数据库服务器分开存放

2、将备份文件传输到非本 地服务器保存，以备还原时使用

4）模拟mysql数据库出现故障

 

rm -rf /var/lib/mysql/* （仅删除/var/lib/mysql/目录下的所有文件）

 

还原

 

 

5）用备份的文件读数据库进行还原

 

tar xvf /data/all.tar.xz

mv  var/lib/mysql/* /var/lib/mysql/

 

查看文件都已复原回去

 

6）重启服务

 

systemctl start mariadb

 

7）测试还原效果

实验三、基于LVM快照的备份（配合tar、cp等工具）

 

前提：

 

要实现基于LVM快照的备份，需要将数据库放到快照的空间，才能实现这种备份

 

1、将数据库数据迁移到逻辑卷

2、

 

 

备份

 

1）创建逻辑卷

 

fdisk /dev/sda

 

pvcreate /dev/sda6 创建pv

pvdisplay 确认

 

vgcreate vg0 dev/sda6 创建vg，将该pv加到vg中

vgdisplay 确认

 

lvcreate -L 5G -n lv_mysql vg0 创建lv.存放mysql数据

lvcreate -L 3G -n lv_binlog vg0 创建lv.存放二进制日志文件

lvs

 

mkfs.xfs /dev/vg0/lv_mysql 格式化文件系统

mkfs.xfs /dev/vg0/lv_binlog

mkdir /data/{mysql,binlog} 创建两个挂载点

 

mount /dev/vg0/lv_mysql /data/mysql/ 挂载

mount /dev/vg0/lv_binlog /data/binlog/

 

或需要永久挂载，修改/etc/fstab

 

vim /etc/fstab

添加两行

 

UUID=4615d276-95f9-4d03-a337-9438e9fb89d4 /data/mysql xfs default 0 0

UUID=9ab9b41f-1315-490a-b573-3144807f7313 /data/binlog xfs default 0 0

 

mount -a

 

 

2）修改目录权限

 

chown -R mysql: /data/mysql

chown -R mysql: /data/binlog

3）修改配置文件

 

按照规划将二进制日志和数据库文件分别存放于这两个目录

 

vim /etc/my.cnf

4）重启服务

 

systemctl restart mariadb

 

 

5）对数据库添加读锁，防止写入数据的操作

 

备份过程中暂停用户的读写，因此要先对数据库添加读锁，暂时禁止写的操作

 

MariaDB[(none)]> flush tables with read lock;

 

flush logs; 刷新日志，让生成新的日志

 

记录当前的二进制日志：mysql-bin.000004 245

注意：锁定，然后做快照再解锁，这个过程要快速，不能让用户一直不能访问，达到近乎热备的效果

 

6）对数据库中的某张表进行修改

 

MariaDB [(none)]> use hellodb;

MariaDB [hellodb]> show tables;

6）创建lvm快照（相当于对数据库做了备份）

 

lvcreate -L 1G -n lv_mysql_snap -s -p r /dev/vg0/lv_mysql

 

-s ：快照

-p r：只读

 

 

7）对数据库解锁（恢复让用户正常访问）

 

MariaDB [(none)]> unlock tables; 解锁

 

测试下解锁后能否正常写入

create database dbx1;

show databases;

8）挂载逻辑卷快照

 

要导出快照里的备份，必须先能够访问快照的内容，因此对快照进行临时挂载

 

mount -o nouuid,norecovery /dev/vg0/lv_mysql_snap /mnt

9）拷贝出逻辑卷快照里的文件,进行备份

 

cp -a /mnt/* /backup/

10）删除快照，否则影响用户访问数据库性能

 

umount /mnt 取消快照挂载

lvremove /dev/vg0/lv_mysql_snap 删除快照

 

再创建两个数据库，这是删除快照后创建的

 

MariaDB [(none)]> create database dbx2;

MariaDB [(none)]> create database dbx3;

 

 

模拟数据库损坏

 

　　rm -rf /data/mysql/*

 

 

还原

 

1）停止服务

systemctl stop mariadb

 

 

2） 拷贝备份文件至数据目录

 

cp -av /backup/* /data/mysql/

 

3）启动服务

systemctl start mariadb

 

此时可看到，数据库还原至快照前状态

但是删除快照后创建的两个数据库dbx2,dbx3已经丢失了。

如果想恢复，可用二进制日志继续恢复:

 

5）添加读锁

 

flush tables with read lock; 添加读锁，暂时保持数据不能修改

 

（记录当前的二进制日志：mysql-bin.000004 245）

 

当前二进制已变为：mysql-bin.000005 | 245

6）将二进制日志导出，用以修复数据库

 

因为mysql-bin.000004 和mysql-bin.000005是快照之后，记录了最近发生的变化，因此将其导出，再利用它们修复数据库

 

cd /data/binlog （必须在此目录下）

 

mysqlbinlog --start-position=245 mysql-bin.000004 > /backup/bin.sql

mysqlbinlog mysql-bin.000005 >> /backup/bin.sql

 

 

7）确保恢复过程中，没有用户可以读取或写入

 

vim /etc/my.cnf

 

[mysqld]

skip_networking （禁止使用网络连接将使用户将无法连接数据库，只有自己可连）

或

iptables –A

 

重启mysql服务使生效

systemctl  restart mariadb

 

导入二进制文件

mysql < /backup/bin.sql

 

此时数据库已还原至最新状态

8）恢复用户访问数据库

 

vim /etc/my.cnf

 

[mysqld]

skip_networking              去掉

或清除防火墙

systemctl restart mariadb

 

至此，通过lvm快照方式的备份还原就完成了。