MySQL | 使用Xtrabackup进行备份和备份恢复
备份
进行备份前需要先创建备份用户，直接使用 root 用户进行备份也行，但是这样不太规范。
create user backup@'localhost' identified by '123456';
grant reload,process,lock tables,replication client on *.* to backup@localhost;
全备
备份整个库，使用的是备份用户，备份文件存放地址为 /backup/
innobackupex --defaults-file=/etc/my.cnf --user=backup --password=123456 /backup/
增备
指定为增量备分，使用的是备份用户，增量的基础为上一次的全备，已经使用 --incremental-basedir 进行指定了，备份后存放的文件为 /backup/
innobackupex --defaults-file=/etc/my.cnf --user=backup --password=123456 --incremental --incremental-basedir=/backup/2021-06-01_14-44-54 /backup/
备份恢复
准备数据
回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态
innobackupex --apply-log --redo-only /backup/2021-06-01_14-44-54/
# 将增量备份整合进全备份中
innobackupex --apply-log --redo-only /backup/2021-06-01_14-44-54/ --incremental-dir=/backup/2021-06-01_14-48-24
进行恢复
在恢复前，需要确保 MySQL 的数据目录为已经删除了。
innobackupex --copy-back --datadir=/usr/local/mysql/data /backup/2021-06-01_14-44-54/
恢复后，需要对 MySQL 的data 目录进行重新赋权：
chown -R mysql:mysql data/
到这恢复就完成了。
目录结构
备份脚本
脚本
backup.sh
#!/bin/bash
# 获得程序路径名
program_dir=`dirname $0`/..
# 读取配置文件中的所有变量值, 设置为全局变量
# 配置文件
conf_file="$program_dir/conf/backup.conf"
# mysql 用户
user=`sed '/^user=/!d;s/.*=//' $conf_file`
# mysql 密码
password=`sed '/^password=/!d;s/.*=//' $conf_file`
# mysql 备份目录
backup_dir=`sed '/^backup_dir=/!d;s/.*=//' $conf_file`
# mysql 备份压缩打包目录
gzip_dir=`sed '/^gzip_dir=/!d;s/.*=//' $conf_file`
# percona-xtrabackup命令xtrabackup路径
xtrabackup_bin=`sed '/^xtrabackup_bin=/!d;s/.*=//' $conf_file`
# mysql 全备前缀标识
full_backup_prefix=`sed '/^full_backup_prefix=/!d;s/.*=//' $conf_file`
# mysql 增量备前缀标识
increment_prefix=`sed '/^increment_prefix=/!d;s/.*=//' $conf_file`
# 备份错误日志文件
error_log=$program_dir/var/`sed '/^error_log=/!d;s/.*=//' $conf_file`
# 备份索引文件
index_file=$program_dir/var/`sed '/^index_file=/!d;s/.*=//' $conf_file`
# 备份日期
backup_date=`date +%F`
# 备份时间
backup_time=`date +%H-%M-%S`
# 备份时的周几
backup_week_day=`date +%u`
# 创建相关目录
log_dir=$program_dir/log/backup
var_dir=$program_dir/var
mkdir -p $backup_dir
mkdir -p $log_dir
mkdir -p $var_dir
mkdir -p $gzip_dir
# 全量备份
function full_backup() {
backup_folder=${full_backup_prefix}_${backup_date}_${backup_time}_${backup_week_day}
mkdir -p $backup_dir/$backup_folder
$xtrabackup_bin \
--user=$user \
--password=$password \
--backup \
--target-dir=$backup_dir/$backup_folder > $log_dir/${backup_folder}.log 2>&1
return $?
}
# 增量备份
function increment_backup() {
backup_folder=${increment_prefix}_${backup_date}_${backup_time}_${backup_week_day}
incr_base_folder=`sed -n '$p' $index_file | \
awk -F '[, {}]*' '{print $3}' | \
awk -F ':' '{print $2}'`
mkdir -p $backup_dir/$backup_folder
$xtrabackup_bin \
--user=$user \
--password=$password \
--backup \
--target-dir=$backup_dir/$backup_folder \
--incremental-basedir=$backup_dir/$incr_base_folder > $log_dir/${backup_folder}.log 2>&1
return $?
}
# 删除之前的备份(一般在全备完成后使用)
function delete_before_backup() {
cat $index_file | awk -F '[, {}]*' '{print $3}' | \
awk -v backup_dir=$backup_dir -F ':' '{if($2!=""){printf("rm -rf %s/%s\n", backup_dir, $2)}}' | \
/bin/bash
cat $index_file | awk -F '[, {}]*' '{print $3}' | \
awk -v gzip_dir=$gzip_dir -F ':' '{if($2!=""){printf("rm -rf %s/%s\n", gzip_dir, $2)}}' | \
/bin/bash
cat $index_file | awk -F '[, {}]*' '{print $3}' | \
awk -v log_dir=$log_dir -F ':' '{if($2!=""){printf("rm -rf %s/%s.log\n", log_dir, $2)}}' | \
/bin/bash
}
# 备份索引文件
function backup_index_file() {
cp $index_file ${index_file}_$(date -d "1 day ago" +%F)
}
# 备份索引文件
function send_index_file_to_remote() {
# ./expect_scp ip地址 账号 密码 ${index_file} 目标服务器存放的文件夹 端口号
echo 'send index file ok'
}
# 添加索引, 索引记录了当前最新的备份
function append_index_to_file() {
echo "{week_day:$backup_week_day, \
dir:${1}_${backup_date}_${backup_time}_${backup_week_day}, \
type:${1}, \
date:${backup_date}}" >> $index_file
}
# 记录错误消息到文件
function logging_backup_err() {
echo "{week_day:$backup_week_day, \
dir:${1}_${backup_date}_${backup_time}_${backup_week_day}, \
type:${1}, \
date:${backup_date}}" >> $error_log
}
# 清空索引
function purge_index_from_file() {
> $index_file
}
# 清空错误日志信息
function purge_err_log() {
> $error_log
}
# 打包备份
function tar_backup_file() {
cd $backup_dir
tar -jcf ${gzip_dir}/${1}_${backup_date}_${backup_time}_${backup_week_day}.tar.bz2 \
${1}_${backup_date}_${backup_time}_${backup_week_day}
cd - > /dev/null
rm -rf ${backup_dir}/${1}_${backup_date}_${backup_time}_${backup_week_day}
}
# 发送备份到远程
function send_backup_to_remote() {
# ./expect_scp ip地址 账号 密码 ${gzip_dir}/${1}_${backup_date}_${backup_time}_${backup_week_day}.tar.bz2 目标服务器存放的文件夹 端口号
echo "send $1 remote ok"
}
# 判断是应该全备还是增量备份
# 0:full, 1:incr
function get_backup_type() {
backup_type=0
if [ 1 -eq `date +%H` ]; then
backup_type=0
else
backup_type=1
fi
touch $index_file
if [ ! -n "`cat $index_file`" ]; then
backup_type=0
fi
return $backup_type
}
# 测试配置文件正确性
function test_conf_file() {
# 判断每个变量是否在配置文件中有配置，没有则退出程序
if [ ! -n "$user" ]; then echo 'fail: configure file user not set'; exit 2; fi
if [ ! -n "$password" ]; then echo 'fail: configure file password not set'; exit 2; fi
if [ ! -n "$backup_dir" ]; then echo 'fail: configure file backup_dir not set'; exit 2; fi
if [ ! -n "$gzip_dir" ]; then echo 'fail: configure file backup_dir not set'; exit 2; fi
if [ ! -n "$full_backup_prefix" ]; then echo 'fail: configure file full_backup_prefix not set'; exit 2; fi
if [ ! -n "$increment_prefix" ]; then echo 'fail: configure file increment_prefix not set'; exit 2; fi
if [ ! -n "$error_log" ]; then echo 'fail: configure file error_log not set'; exit 2; fi
if [ ! -n "$index_file" ]; then echo 'fail: configure file index_file not set'; exit 2; fi
}
# 执行
function main() {
# 检测配置文件值
test_conf_file
# 判断是执行全备还是增量备份
get_backup_type
backup_type=$?
case $backup_type in
0 )
# 全量备份
full_backup
backup_ok=$?
if [ 0 -eq "$backup_ok" ]; then
# 全备成功
# 打包最新备份
tar_backup_file $full_backup_prefix
# # 将tar备份发送到远程
send_backup_to_remote $full_backup_prefix
# 备份索引文件
backup_index_file
# 清除之前的备份
delete_before_backup
# 清除索引文件
purge_index_from_file
# 添加索引, 索引记录了当前最新的备份
append_index_to_file $full_backup_prefix
# 发送索引文件到远程
send_index_file_to_remote
else
# 全备失败
# 删除备份目录
rm -rf ${backup_dir}/${full_backup_prefix}_${backup_date}_${backup_time}_${backup_week_day}
# 记录错误日志
logging_backup_err $full_backup_prefix
fi
;;
1 )
# 增量备份
increment_backup
backup_ok=$?
if [ "$backup_ok" -eq 0 ]; then
# 增量备份成功
# 打包最新备份
tar_backup_file $increment_prefix
# # 将tar备份发送到远程
send_backup_to_remote $increment_prefix
# 添加索引, 索引记录了当前最新的备份
append_index_to_file $increment_prefix
# # 发送索引文件到远程
send_index_file_to_remote
else
# 增量备份失败
# 删除备份目录
rm -rf ${backup_dir}/${increment_prefix}_${backup_date}_${backup_time}_${backup_week_day}
# 记录错误日志
logging_backup_err $increment_prefix
fi
;;
esac
}
main
如果同有安装expect 的需要安装一下，使用这个插件可以自动输入密码
expect_scp
#!/usr/bin/expect -f
set timeout 10
set host [lindex $argv 0]
set username [lindex $argv 1]
set password [lindex $argv 2]
set src_file [lindex $argv 3]
set dest_file [lindex $argv 4]
set dest_prot [lindex $argv 5]
spawn scp -P $dest_prot $src_file $username@$host:$dest_file
expect {
"(yes/no)?"
{
send "yes\n"
expect "*assword:" { send "$password\n"}
}
"*assword:"
{
send "$password\n"
}
}
expect "100%"
expect eof
配置文件
backup.conf
# mysql 用户名
user=backup
# mysql 密码
password=123456
# 备份路径
backup_dir=/data/backup
# 备份压缩打包目录
gzip_dir=/data/backups/backups_zip
# innobackupex 命令路径
xtrabackup_bin=/opt/xtrabackup/bin/xtrabackup
# 全量备信息名称 前缀
full_backup_prefix=full
# 增量备信息名称 前缀
increment_prefix=incr
# 错误日志文件(根据此文件知道备份是否成功)
# format:
# {week_day:1,dir:full/incr_2015-12-29_00-00-00_7,type:full/incr,date:2015-12-30}
error_log=mysql_increment_hot_backup.err
# 索引文件
# format:
# {week_day:1,dir:full/incr_2015-12-29_00-00-00_7,type:full/incr,date:2015-12-30}
index_file=mysql_increment_hot_backup.index
恢复脚本
脚本
restore.sh
#!/bin/bash
# 获得程序路径名
program_dir=`dirname $0`/..
# 读取配置文件中的所有变量值, 设置为全局变量
# 配置文件
conf_file="$program_dir/conf/restore.conf"
# MySQL 数据文件夹
data_dir=`sed '/^data_dir=/!d;s/.*=//' $conf_file`
# 备份索引文件路径
backup_index_file=`sed '/^backup_index_file=/!d;s/.*=//' $conf_file`
# percona-xtrabackup命令xtrabackup路径
xtrabackup_bin=`sed '/^xtrabackup_bin=/!d;s/.*=//' $conf_file`
# 备份文件目录
backup_restore_dir=`sed '/^backup_restore_dir=/!d;s/.*=//' $conf_file`
# 检查配置文件正确性
function exam_conf_file() {
# 判断每个变量是否在配置文件中有配置，没有则退出程序
if [ ! -n "$data_dir" ]; then echo 'fail: configure file data_dir not set'; exit 2; fi
if [ ! -n "$backup_index_file" ]; then echo 'fail: configure file backup_index_file not set'; exit 2; fi
if [ ! -n "$xtrabackup_bin" ]; then echo 'fail: configure file xtrabackup_bin not set'; exit 2; fi
if [ ! -n "$backup_restore_dir" ]; then echo 'fail: configure file backup_restore_dir not set'; exit 2; fi
}
# 检查备份文件是否是压缩格式
function exam_backup_restore_file(){
file_backup_restore_name_arr=`ls $backup_restore_dir`
for file_name in $file_backup_restore_name_arr;do
if [ "${file_name##*.}"x = "bz2"x ];then
tar -jxf $backup_restore_dir/$file_name -C $backup_restore_dir
rm -rf $backup_restore_dir/$file_name
fi
done
}
# 检查 MySQL 是否停止
function exam_mysql_is_stop(){
if [ 0 -eq `ps -ef | grep mysql | grep -v grep | wc -l` ]; then
echo "MySQL 服务已停止"
else
/etc/init.d/mysqld stop
echo "正在停止 MySQL 服务"
sleep 3
echo "已停止 MySQL 服务"
fi
}
# 检查 MySQL data 文件是否删除
function exam_data_is_del(){
if [ -d $data_dir ];then
echo "正在删除 MySQL 的data文件"
rm -rf $data_dir
else
echo "MySQL 的数据文件已删除 "
fi
}
# 读取备份索引文件
function read_backup_index() {
cat $backup_index_file | awk '{print $2}' | awk -F: '{print $2}' | awk '{sub(/.$/,"")}1'
}
# 准备全备文件
function ready_full(){
full_file_name=`echo ${1} | awk '{print $1}'`
$xtrabackup_bin/innobackupex \
--apply-log \
--redo-only \
$backup_restore_dir/$full_file_name
echo "全备文件已准备好"
}
# 准备增备文件
function ready_incr(){
backup_index=$(read_backup_index)
full_file_name=`echo $backup_index | awk '{print $1}'`
for file_name in $backup_index;do
if [ 1 -eq `echo "$file_name" | grep incr | wc -l` ]; then
$xtrabackup_bin/innobackupex \
--apply-log \
--redo-only \
$backup_restore_dir/$full_file_name \
--incremental-dir=$backup_restore_dir/$file_name
fi
done
echo "增备文件已准备好"
}
# 执行备份恢复
function exec_backup_restore(){
echo "开始进行备份恢复"
full_file_name=`echo ${1} | awk '{print $1}' `
$xtrabackup_bin/innobackupex \
--copy-back \
--datadir=$data_dir \
$backup_restore_dir/$full_file_name
}
# 执行
function main() {
# 检查配置文件正确性
exam_conf_file
# 检查备份文件是否是压缩格式
exam_backup_restore_file
# 检查 MySQL 是否停止
exam_mysql_is_stop
# 检查 MySQL data 文件是否删除
exam_data_is_del
# 读取索引文件
backup_index=$(read_backup_index)
# 准备全备文件
ready_full $backup_index
# 准备增备文件
ready_incr
# 执行备份恢复
exec_backup_restore $backup_index
# 对数据文件进行赋权
echo "重新对数据目录赋权"
chown -R mysql:mysql $data_dir
echo "正在启动MySQL"
/etc/init.d/mysqld start
echo "备份恢复成功"
}
main
配置文件
restore.conf
# MySQL 数据文件夹
data_dir=/opt/mysql/data
#备份索引文件路径
backup_index_file=/opt/xtrabackup/backup/var/mysql_increment_hot_backup.index
#xtrabackup bin 的目录
xtrabackup_bin=/opt/xtrabackup/bin
# 备份文件目录
backup_restore_dir=/data/backups/backups_zip
细节决定成败!
个人愚见，如有不对，恳请扶正!
MySQL | 使用Xtrabackup进行备份和备份恢复的更多相关文章
- mysql innobackupex xtrabackup 大数据量 备份 还原
大数据量备份与还原,始终是个难点.当MYSQL超10G,用mysqldump来导出就比较慢了.在这里推荐xtrabackup,这个工具比mysqldump要快很多. 一.Xtrabackup介绍 1, ...
- mysql innobackupex xtrabackup 大数据量 备份 还原（转）
原文:http://blog.51yip.com/mysql/1650.html 作者:海底苍鹰 大数据量备份与还原,始终是个难点.当MYSQL超10G,用mysqldump来导出就比较慢了.在这里推 ...
- xtrabackup备份（MySQL备份）与恢复
xtrabackup备份(MySQL备份)与恢复 1. innobackupex参数选项 --no-timestamp: 不创建一个时间戳 --defaults-file=[MY.CNF] //指定配 ...
- mysql之 xtrabackup原理、备份日志分析、备份信息获取
一. xtrabackup备份恢复工作原理: extrabackup备份简要步骤 InnoDB引擎很大程度上与Oracle类似,使用redo,undo机制,XtraBackup在备份的时候,以read ...
- MySQL 采用Xtrabackup对数据库进行全库备份
1,xtrabackup简介 关于数据库备份以及备份工具,参考:http://blog.itpub.net/26230597/viewspace-1460065/,这里来介绍xtrabackup已经如 ...
- MySQL 利用xtrabackup进行增量备份详细过程汇总 (转)
Xtrabackup下载.安装以及全量备份请参考:http://blog.itpub.net/26230597/viewspace-1465772/ 1,创建mysql备份用户 mysql -uroo ...
- 【MySQL】全量+增量的备份/恢复
生产环境中,有时需要做MySQL的备份和恢复工作.因MySQL是在运行过程中的,做全量备份需要时间,全量备份完成后又有数据变动,此时需要增量备份辅助.如果想恢复数据到一个空库(例如数据迁移或者上云等更 ...
- xtrabackup之Innobackupex增量备份及恢复
演示增量备份 #启动一个全备 innobackupex \ > --defaults-/my.cnf \ > --host=127.0.0.1 \ > --user=xtrabk \ ...
- mysql 数据表备份导出，恢复导入操作实践
因为经常跑脚本的关系, 每次跑完数据之后,相关的测试服数据库表的数据都被跑乱了,重新跑脚本恢复回来速度也不快,所以尝试在跑脚本之前直接备份该表,然后跑完数据之后恢复的方式,应该会方便一点.所以实践一波 ...
随机推荐
- object_pool对象池
object_pool对象池 object_pool是用于类实例(对象)的内存池,它能够在析构时调用所有已经分配的内存块调用析构函数,从而正确释放资源,需要包含以下头文件: #include < ...
- 微调BERT：序列级和令牌级应用程序
微调BERT:序列级和令牌级应用程序 Fine-Tuning BERT for Sequence-Level and Token-Level Applications 为自然语言处理应用程序设计了不同 ...
- 外部NORFlash是第一个以硬件为基础的信任
外部NORFlash是第一个以硬件为基础的信任 External NOR Flash memory is first with hardware root-of-trust 英飞凌科技公司宣布了它声称 ...
- SQL进阶总结（二）
2.第二个特性----以集合为单位进行操作 在我们以往面向过程语言不同,SQL是一门面向集合的一门语言.由于习惯了面向过程的思考方式,导致我们在使用SQL时往往也陷入之前的思维定式. 我们现在分别创建 ...
- 【题解】【洛谷 P1967】 货车运输
目录 洛谷 P1967 货车运输 原题 题解 思路 代码 洛谷 P1967 货车运输 原题 题面请查看洛谷 P1967 货车运输. 题解 思路 根据题面,假设我们有一个普通的图: 作图工具:Graph ...
- 【NX二次开发】Block UI 曲线收集器
属性说明 属性 类型 描述 常规 BlockID String 控件ID Enable Logical 是否可操作 Group ...
- day20200911
UG12.0进入运动仿真模块 新建仿真 定义固定连杆 定义其他连杆 定义运动副 定义驱动 定义解算方案并求解 导出动画
- Django基础之自定义分页器
自定义分页器 针对批量插入的数据,我们在前端展示的时候发现一个很严重的问题,一页展示了所有的数据,数据量太大,查看不方便 针对数据量大但又需要全部展示给用户观看的情况下,我们统一做法都是做分页处理 分 ...
- 每天凌晨 2:00 将 mysql 数据库 testdb ，备份到文件中。
步骤:1, 首先编写一个 脚本 backupdb.sh#!/bin/bash #备份路径 BACKUP=/data/backup/sql/dy #当前时间 DATETIME=$(date +%Y-%m ...
- 惊呆了，Spring Boot居然这么耗内存！
Spring Boot总体来说,搭建还是比较容易的,特别是Spring Cloud全家桶,简称亲民微服务,但在发展趋势中,容器化技术已经成熟,面对巨耗内存的Spring Boot,小公司表示用不起.如 ...