0. precondition a) install mysql 5.7, for  detail please refer my blog post. 1. login mysql and check the variables to see if the binlog has  been enabled. mysql -h 127.0.0.1 -uroot -proot show variables like '%log_bin%'; we can see, the log_bin is d…

MySQL Q&A 解析binlog的两个问题 博客分类: MySQL mysqlbinlog字符集解析binlog格式 连续碰到两个同学问类似的问题,必须要记录一下. 问题:     一个作解析binlog应用的同学发现不论用utf8还是gbk来解析binlog都可能会碰到无法解析的语句,因为有些用户会用utf8,有些用gbk.尤其在处理Query类型的SQL语句中的中文字符,比如建表语句中的中文注释. 于是他想到用mysqlbinlog来看看binlog里面的内容. Mysqlbinlog这…

前言: MySQL的完全恢复,我们可以借助于完整的 备份+binlog 来将数据库恢复到故障点. 备份可以是热备与逻辑备份(mysqldump),只要备份与binlog是完整的,都可以实现完全恢复. 1. 准备实验环境 mysql> select version(); +------------+ | version() | +------------+ | -log | +------------+ row in set (0.00 sec) mysql> create database c…

发现mysql库的binlog日志出来都是乱码,如下所示: BINLOG ’ IXZqVhNIAAAALQAAAGcBAAAAAHoAAAAAAAEABHRlc3QAAno0AAEDAABUOcnY IXZqVh5IAAAAKAAAAI8BAAAAAHoAAAAAAAEAAgAB//4BAAAAcu+UpA==,如果强行用-v出来也得不到具体执行的sql语句,这个问题困扰了很近,今天深入研究才发现核心问题所在. 1,binlog日志的困扰,先看下日志格式 mysql> show variable…

需求描述: 在mysql中如何删除binlog,因为随着数据库的运行,mysql中产生的binlog会越来越大,有可能把磁盘撑爆了,所以记录下删除 binlog的方法. 操作过程: 1.通过系统参数控制保留多久的binlog 在my.cnf中,加入以下的参数,重启实例 expire_logs_days = 3 #意思是保留3天的binlog;默认值是0,表示不自动删除. 备注:设置完该参数之后,当重启实例,或者刷新日志的时候,就会进行检查,然后删除3天之前的日志 2.测试在刷新日志的时候,触发删…

MySQL redo log 与 binlog 的区别 什么是redo log 什么是binlog redo log与binlog的区别 1. 什么是redo log? redo log又称重做日志文件,用于记录事务操作的变化,记录的是数据修改之后的值,不管事务是否提交都会记录下来.在实例和介质失败(media failure)时,redo log文件就能派上用场,如数据库掉电,InnoDB存储引擎会使用redo log恢复到掉电前的时刻,以此来保证数据的完整性. 1.1 redo日志文件名 每…

日常开发,运维中,经常会出现误删数据的情况.误删数据的类型大致可分为以下几类: 使用 delete 误删行 使用 drop table 或 truncate table 误删表 使用 drop database 语句误删数据库 使用 rm 命令误删整个 MySQL 实例. 不同的情况,都会有其优先的解决方案: 针对误删行,可以通过 Flashback 工具将数据恢复 针对误删表或库,一般采用通过 BINLOG 将数据恢复. 而对于误删 MySQL 实例,则需要我们搭建 HA 的 MySQL 集群…

mysql打开.查看.清理binlog 1.开启日志 log_bin=/var/lib/mysql/mysql-bin mysql> show variables like '%log_bin%'; +---------------------------------+--------------------------------+ | Variable_name | Value | +---------------------------------+--------------------…

注:文中有个易混淆的地方 sql事务,即每次数据库操作生成的事务,这个事务trx_id只在undolog里存储,同时undolog维护了此事务是否完成的状态. 日志持久化事务,为了保证redolog和binlog的一致性而用的Mysql内部独立维护的2PC提交事务.这个xid只有在redolog和binlog持久化文件中存储. 各日志的存储内容 阅读前提:需要对mysql的数据存储结构有一定了解,即数据页的持久化和内存读取逻辑. binlog日志 binlog日志存储的是对数据库实际的数据操作,…

有一个表 tbl1 的结构如下: CREATE TABLE `tbl1` ( `id` int(10) unsigned NOT NULL auto_increment, `name` char(20) NOT NULL default '', PRIMARY KEY (`id`), KEY `name` (`name`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; 该表里已经存在了200万条记录. 现在, 需要把 tbl1 中的所有记录全部导到另一个完全相同的表…