mysql实时增量备份
采用binlog日志的好处
掌控所有更改操作,必要时可用于恢复数据
数据库主从复制的必要条件
[linyouyi@localhost~]# vim /etc/my.cnf
[mysqld]
.. ..
log-bin=mysql-bin //启用二进制日志,并指定前缀
.. ..
[linyouyi@dbsvr1 ~]# service mysqld restart
确认binlog日志文件
新启用binlog后,每次启动MySQl服务都会新生成一份日志文件:
[linyouyi@localhost~]# ls /var/lib/mysql/mysql-bin.*
/var/lib/mysql/mysql-bin. /var/lib/mysql/mysql-bin.index
清除binlog日志
删除早前指定版本的binlog日志
RURGE MASTER LOGS TO "binlog日志"
删除所有binlog日志,重新新建日志
RESET MASTETR
分析binlog日志
使用mysqlbinlog工具
格式:mysqlbinlog [选项] 日志文件
常用选项
--start-datatime="YYYY-mm-dd HH:MM:SS"
--stop-datatime="YYYY-mm-dd HH:MM:SS"
--start-position=起止位置
--stop-positon=结束位置
[linyouyi@localhost ~]# mysqlbinlog /var/lib/mysql/mysql-bin.
[linyouyi@localhost ~]# mysqlbinlog --start-datetime="2018-10-20 23:30" /var/lib/mysql/mysql-bin.
利用binlog恢复数据
基本方法
使用mysqlbinlog提取历史SQL操作
通过管道交给mysql命令重做
案例
重做第一份binlog所记录的更改操作
执行指定Pos节点范围内的sql命令恢复数据
根据上述日志分析,只要恢复从2018-10-12 20:40:50到2018-10-20 23:15:50之间的操作即可。可通过mysqlbinlog指定时间范围输出,结合管道交给msyql命令执行导入重做:
[linyouyi@loclahost ~]# mysqlbinlog \
--start-datetime="2018-10-12 20:40:50" \
--stop-datetime="2018-10-20 23:15:50" \
/var/lib/mysql/mysql-bin. | mysql -u linyouyi -p
Enter password:
若是全部重做
[linyouyi@loclahost ~]# mysqlbinlog /var/lib/mysql/mysql-bin. | mysql -u linyouyi -p
Enter password:
mysql备份工具
mysqlhotcopy不足
仅适用于MyISAM引擎的数据库
备份过程中,数据插入和更新操作都会被挂起
mysqldump不足
效率较低,备份和还原速度慢
备份过程中,数据插入和更新操作会被挂起
XtraBackup工具
在线热备份工具
备份过程中不锁表,适合生产环境适用
支持整体备份和增量备份
组件一xtrabackup:C程序,支持InnoDB和XtraDB,不能备份数据表结构
组件二innobackupex:以Perl脚本封装xtrabackup,还支持MyISAM,能备份数据表结构
xtrabackup基本选项 | |
基本选项 | 解释 |
--backup | 执行备份操作 |
--target-dir | 备份到目标文件夹 |
--datadir | 备份的原始文件夹(Mysql库的位置) |
--prepare | 准备恢复数据 |
--increamental-basedir | 增量备份时,指定参照的完整备份路径 |
--incremental-dir | 准备恢复目录时,指定增量备份的路径 |
1)使用XtraBackup执行数据库备份
[linyouyi@localhost~]# mkdir -p /backup/mysql
[linyouyi@localhost~]# xtrabackup_56 –backup --datadir=/var/lib/mysql/ --target-dir=/backup/mysql/
2)确认备份好的文件数据:
[linyouyi@loclahost~]# ls /backup/mysql/
3)做一个增量备份(基于前一步的完整备份)
[linyouyi@localhost ~]# xtrabackup_56 --backup \ #xtrabackup_55 是5.5版本,xtrabackup_56是5.6版本
--datadir=/var/lib/mysql/ \
--target-dir=/backup/inc01/ \
--incremental-basedir=/backup/mysql/
确认备份好的文件数据:
[linyouyi@localhost~]# ls /backup/inc01/
对比完整备份、增量备份的大小:
[linyouyi@localhost~]# du -sh /backup/mysql/ /backup/inc01/
11M /backup/mysql/ //完整备份的大小
264K /backup/inc01/
准备用于恢复的数据库目录
以/backup/mysql/可用来重建MySQL服务器。这种情况下,官方建议连做两次--prepare,以确保数据一致性:
[linyouyi@localhost ~]# xtrabackup_56 --prepare --target-dir=/backup/mysql/
[linyouyi@localhost ~]# xtrabackup_56 --prepare --target-dir=/backup/mysql/
准备恢复“完整备份+增量备份”
以/backup/mysql/用来重建MySQL服务器,但这种情况下需提前合并相关增量备份的数据:
先准备完整备份目录,添加--apply-log-only仅应用日志:
[linyouyi@loclahost ~]# xtrabackup_56 --prepare --target-dir=/backup/mysql --apply-log-only
然后整合增量备份的数据,通过--incremental-dir选项指定增量位置:
[linyouyi@localhost ~]# xtrabackup_56 --prepare \
--target-dir=/backup/mysql --apply-log-only \
--incremental-dir=/backup/inc01
至此,已经把全量备份和增量备份合并了
接着停止数据库,删除/var/lib/mysql/下的内容,拷贝数据
[linyouyi@localhost home]# systemctl stop mariadb
//删除/var/lib/mysql/下的内容
[linyouyi@localhost home]# rm -rf /var/lib/mysql/*
#[linyouyi@hadoop01 home]# innobackupex --defaults-file=/etc/my.cnf --copy-back /home/mysql --user=linyouyi --password=123456
[linyouyi@localhost home]# xtrabackup --copy-back --target-dir=/home/mysql
[linyouyi@localhost home]# chown -R mysql:mysql /var/lib/mysql/
[linyouyi@localhost home]# systemctl start mariadb
至此,数据已经恢复成功
mysql实时增量备份的更多相关文章
- MYSQL数据库增量备份
MySQL数据库增量备份,在这之前修改我们的数据库配置文件/etc/my.cnf开启bin-log日志功能即可.接下来是我参考了下网上的一些方法,自己写的,主要还是要能学到他的一些思路和方法. #fu ...
- NFS +inotify+rsync 实现数据的远程挂载与实时增量备份
NFS 网络文件系统 功能: 用户可以像访问自己的本地文件系统一样使用网络中的远端系统上的文件 原理: 用户进程-->RPC服务(portman)-->tcp/ip协议栈-->远端主 ...
- 通过innobackupex实现对MySQL的增量备份与还原
备份 增量备份是基于完整备份的,所以我们需要先做一次完整备份: innobackupex --password=test /backup/ 备注:test是我的MySQL服务的root用户的密码,/b ...
- mysql 二进制文件增量备份
1.首先在my.cnf下添加二进制文件路径(windows下文件名称为my.ini) 在[mysqld]下添加 log-bin=mysql-bin 2.centos下默认安装mysql 5.6,数据默 ...
- Python 生产环境MySQL数据库增量备份脚本
MySQL数据库常用的办法是通过MySQLdump导出sql进行备份,但是不适合数据量很大的数据库,速度,锁表是两个严重的问题.前面写了一遍文章介绍xtrabackup的热备工具,见 http://w ...
- mysql实现增量备份
有点要注意 如果你误删了表 想通过这个恢复 必须恢复日志里面有创建表的日志 不然的话是无法回复的 就是必须是从你开始创建表的时候就已经记录日志了 恢复到哪个位置 就按照哪个位置来计算 mysql ...
- mysql xtrabackup增量备份
mysql 增量备份策略 周一全备,其他增量备份,根据业务需要,设定保留日期,如保留一月. 增量备份步骤; 1 创建全备 2 根据全备目录,创建增量备份 3 第二次增量备份根据第一次增量备份目录,依次 ...
- mysql的增量备份与全备的脚本
mysql全量备份.增量备份.开启mysql的logbin日志功能.在/etc/my.cnf文件中加入以下代码: [mysqld]log-bin = "/home/mysql/logbin. ...
- innobackupex实现对MySQL的增量备份与还原
备份增量备份是基于完整备份的,所以我们需要先做一次完整备份: innobackupex --defaults-file=/etc/my.cnf --user root --password cheng ...
随机推荐
- RandomForest中的feature_importance
随机森林算法(RandomForest)的输出有一个变量是 feature_importances_ ,翻译过来是 特征重要性,具体含义是什么,这里试着解释一下. 参考官网和其他资料可以发现,RF可以 ...
- Latest China Scam: I've Been Arrested in the Brothel Crackdown!
Latest China Scam: I've Been Arrested in the Brothel Crackdown! If the sex industry is fastest to se ...
- day7 七、字符编码,字符字节与文件操作
一.字符编码 1.定义:人类能识别的是字符等高级标识符,电脑只能识别0,1组成的标识符,要完成人与机器之间的信息交流,一定需要一个媒介,进行两种标识符的转化(两种标识符的对应关系) 对应关系形成的结构 ...
- MPD软件工作坊北京站:技术创新与研发效率带来的前沿思考
在新技术层出不穷.不断迭代的当下,多数企业都在面临技术能力提升,认知升级等问题.面对技术企业的研发环节,为什么你的效率总是提不上来?都在寻找创新的技术领域,为何别人总能抢占先机?提升自己的研发竞争力, ...
- { MySQL基础数据类型}一 介绍 二 数值类型 三 日期类型 四 字符串类型 五 枚举类型与集合类型
MySQL基础数据类型 阅读目录 一 介绍 二 数值类型 三 日期类型 四 字符串类型 五 枚举类型与集合类型 一 介绍 存储引擎决定了表的类型,而表内存放的数据也要有不同的类型,每种数据类型都有自己 ...
- [No0000162]如何不靠运气致富|来自硅谷著名天使投资人的40条致富经
1. Seek wealth, not money or status. Wealth is having assets that earn while you sleep. Money is how ...
- [No000010F]Git8/9-使用GitHub
我们一直用GitHub作为免费的远程仓库,如果是个人的开源项目,放到GitHub上是完全没有问题的.其实GitHub还是一个开源协作社区,通过GitHub,既可以让别人参与你的开源项目,也可以参与别人 ...
- [No000010B]Git4/9-时光机穿梭
我们已经成功地添加并提交了一个readme.txt文件,现在,是时候继续工作了,于是,我们继续修改readme.txt文件,改成如下内容: Git is a distributed version c ...
- 【魔改】hdu6325 多校赛3G xy排序凸包+llvector模板
凸包算法前的预处理,可以极角排序,也可以按X,Y轴排序, 极角排序需要找到角落里的一个点,Xy轴排序要跑两遍凸包 而本题的要求只要一个上半凸包,并且有X轴从小到大以及字典序限制,完全符合xy排序,直接 ...
- PHP之类型转化
类型转化的判别 PHP在变量定义中不需要(或者不支持)明确的类型定义:变量类型是根据使用该变量的上下文所决定的, 也就是说,如果把一个string值付给变量$var,$var就成了一个string,如 ...