文档结构: 在生产环境中如果遇到误删,改错数据的情况,利用mysql闪回工具binlog2sql,可以实现数据的快速回滚,从binlog中提取SQL,并能生成回滚SQL语句.Binlog以event作为单位记录数据库变更的数据信息,闪回就是可以重现这些变化数据信息之前的操作.也就是说,对于insert操作,会生成相反的update语句.这块工具只能使用在binlog格式为row模式下,且只支持DML语句不支持DDL语句. binlog2sql下载地址:https://github.com/dan…

binlog2sql闪回工具的使用 一.下载安装依赖的python yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel yum install python34 -y python3 --version wget --no-check-certificate https://bootstrap.pypa.io/get-pip.py python3 get-pip.py p…

在前面的文章中我们介绍了MySQL误操作后数据恢复(update,delete忘加where条件),大概操作是通过sed命令把binlog中相关SQL误操作给逆向回来,然后导入SQL文件来恢复错误操作,sed相关命令也比较复杂.如果没有正则基础的同学肯定搞不清楚在干嘛.今天无意中发现淘宝的大神(翻译高性能mysql第三版的作者之一)开发了一个补丁,该补丁能够模拟Oracle的闪回操作,这样以来我们的MySQL也可以实现闪回咯.真是给力.注意:同样binlog格式需要是ROW 项目主页:http:…

2014-06-25 Created By BaoXinjian…

2014-07-02 Created By BaoXinjian…

Oracle闪回操作 1. 记录当前时间或SCN 在数据库变动前记录时间或SCN SQL> select  to_char(sysdate,'YYYY-MM-DD HH24:mi:ss') from dual; SQL> select  current_scn from v$database; 2.开启闪回 开启闪回需要数据库在归档模型下,所以首先需要开启归档.并且在mount状态下. 首先查看是否开启闪回: SQL> select flashback_on from V$databas…

从MySQL binlog解析出你要的SQL.根据不同选项,你可以得到原始SQL.回滚SQL.去除主键的INSERT SQL等. 用途=========== * 数据快速回滚(闪回)* 主从切换后新master丢数据的修复* 从binlog生成标准SQL,带来的衍生功能 项目状态===正常维护.应用于部分公司线上环境. * 已测试环境    * Python 2.7, 3.4+    * MySQL 5.6, 5.7 安装============== ```shell> git clone ht…

用途: .数据快速回滚 .从binlog生成标准sql 使用限制: .必须设置binlog_format=ROW .binlog_row_image=full,该参数默认为FULL .恢复用户拥有的最小权限集合为:select, super/replication client, replication slave 建议授权 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 权限说明 select:需要读取server端i…

2014-12-09 Created By BaoXinjian…

2014-12-09 Created By BaoXinjian…

Oracle10g中引入了闪回技术,但这并不意味着所有的表都能闪回成功,当没有足够的磁盘空间,Oracle将使用回收站中的磁盘空间,而且位图连接索引和引用完整性约束也不受回收站的保护. recyclebin参数的设置 show parameter bin --展示是否使用了闪回技术,默认是使用闪回技术的alter session set recyclebin=off; --在session级别修改alter system set recyclebin=off DEFERRED; --不加DEFE…

通过DELETE删除数据后相当于放入回收站,一般情况下可以找回:通过UPDATE更新数据后数据库也会保留数据快照.闪回就是恢复指定时间的数据快照以达到恢复数据的目的.根据步骤一查询出数据快照,恢复数据自行决定(之前的数据都有了,咋恢复还不会吗?) 一.查询指定时间的数据快照--1.查询执行过SQL语句,确定快照的时间SELECT R.FIRST_LOAD_TIME,R.SQL_TEXT,R.* FROM V$SQLAREA R WHERE R.SQL_TEXT LIKE '%ABOUT YOUR…

下载git clone https://github.com/danfengcao/binlog2sql.git 原理使用python连接到指定的库,读取要恢复表的表结构和对应的binlog日志,在binlog 为row格式并且DML记录所有字段值的情况下,将set 与where后字段值对换位置,拼接成的SQL就是回滚SQL. 安装unzip binlog2sql-master.zip cd binlog2sql-master/pip install -r requirements.txt 误操…

    today,i'll using the open source tool named "binlog2sql" which is release by danfengchao to do some flashback test.     here's the github address:https://github.com/danfengcao/binlog2sql     according to the readme.md doc,using "git&quo…

2014-12-09 Created By BaoXinjian…

2014-12-09 Created By BaoXinjian…

delete from conf_ty_parser_title; INSERT INTO conf_ty_parser_title ( SELECT * FROM conf_ty_parser_title AS OF TIMESTAMP TO_TIMESTAMP('2018-08-22 14:22:00', 'YYYY-MM-DD HH24:MI:SS') ); 我这边的数据比较少  就先删除 然后 再还原…

生产上误删数据.误改数据的现象也是时常发生的现象,作为 DBA 这时候就需要出来补锅了,最开始的做法是恢复备份,然后从中找到需要的数据再进行修复,但是这个时间太长了,对于大表少数数据的修复来讲,动作太大,成本也大.当然还有其他的一些操作方法,这里暂不展开来讲,我们今天有主角. 最近有些朋友在用大众点评开源的一个 MySQL 闪回工具 -- binlog2sql,因此也测试了一把,一探究竟. 用途 数据回滚 主从切换后数据不一致的修复 从 binlog 生成标准 SQL,带来的衍生功能 官方文档:…

生产上误删数据.误改数据的现象也是时常发生的现象,作为运维这时候就需要出来补锅了,最开始的做法是恢复备份,然后从中找到需要的数据再进行修复,但是这个时间太长了,对于大表少数数据的修复来讲,动作太大,成本也大. 当然还有其他的一些操作方法,我们今天有主角. MySQL 闪回工具 --   binlog2sql 用途 数据回滚 主从切换后数据不一致的修复 从 binlog 生成标准 SQL,带来的衍生功能 闪回原理简析 开始之前,先说说闪回.我们都知道 MySQL binlog 以 event 为单…

https://github.com/danfengcao/binlog2sql 一.说明: DML(data manipulation language):       它们是SELECT.UPDATE.INSERT.DELETE,就象它的名字一样,这4条命令是用来对数据库里的数据进行操作的语言DDL(data definition language):       DDL比DML要多,主要的命令有CREATE.ALTER.DROP等,DDL主要是用在定义或改变表(TABLE)的结构,数据类型…

提交DML操作后,该操作使用的还原段就可以被其它对象使用了,为了保证闪回操作时这些数据仍然被保存在还原段中,可能需要重新设置undo_retention参数,表示一个事务提交后,该事务的数据必须保存在还原段中的时间:但是这也并不能完全保证指定的时间的数据一定能够被恢复,还原表空间没有足够的时间时,仍会覆盖要求保留的磁盘空间. 查看undo_retention的当前值: SQL> show parameter undo_retention NAME TYPE VALUE -------------…

今天操作Oracle数据库时,做一个Update数据时,不小心少写了个where,看这粗心大意的. 于是乎,把所有的员工工号都给更新成一个同一个工号了.这是一个悲催的故事. 因为工号是Check了好多次才存入数据库,工号是唯一性的啊~~ 不过,好在更新过后意识到这一点了.于是乎,先停止操作数据库.想想数据库Commit过后的数据可以回退不!在网上搜索了一下.发现Oracle有“闪回”的功能.具体“闪回”的概念,可以参见百度百科. 如果多次commit数据后,那可不可以闪回呢?貌似不可以.闪回只能…

由于一时的粗心,在做update操作时,忘记了加where条件,导致全表数据被修改.此类错误实属不该!!特此记录一下!! 网上搜索Oracle数据回退操作,介绍如下: 闪回级别 闪回场景 闪回技术 对象依赖 影响数据 数据库 表截断.逻辑错误.其他多表意外事件 闪回DATABASE 闪回日志.undo 是 DROP 删除表 闪回DROP 回收站(recyclebin) 是 表 更新.删除.插入记录 闪回TABLE 还原数据,undo 是 查询 当前数据和历史数据对比 闪回QUERY 还原数据,u…

利用闪回数据库(flashback)修复Failover后的DG环境 1.1  BLOG文档结构图 1.2  前言部分 1.2.1  导读和注意事项 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① Failover后DG环境的恢复方法(重点) ② DG的基本维护操作 ③ GC客户端软件的安装 ④ 利用GC快速搭建一套DG环境 ⑤ Failover和Switchover的区别 ⑥ 其它维护操作 Tips: ① 本文在itpub(htt…

Oracle 闪回 (flashback)是9i版本提供的新特性.这一特性:其他数据库(PostgreSQL,Mysql)是羡慕不已.对数据恢复提供非常便捷的方式.闪回技术通常用于快速简单恢复数据库中出现的认为误操作等逻辑错误. 从闪回的方式可以分为: FLASHBACK DATABASE 数据库级别闪回 FLASHBACK TABLE 表级别闪回 FLASHBACK QUERY 事务级别闪回 一. 启动 Oracle 闪回 Oracle 闪回特性在 Oracle 数据库安装界面有配置打开 Or…

 概述: 闪回技术是Oracle强大数据库备份恢复机制的一部分,在数据库发生逻辑错误的时候,闪回技术能提供快速且最小损失的恢复(多数闪回功能都能在数据库联机状态下完成).需要注意的是,闪回技术旨在快速恢复逻辑错误,对于物理损坏或是介质丢失的错误,闪回技术就回天乏术了,还是得借助于Oracle一些高级的备份恢复工具如RAMN去完成(这才是Oracle强大备份恢复机制的精髓所在啊)  撤销段(UNDO SEGMENT) 在讲闪回技术前,需要先了解Oracle中一个逻辑结构--撤销段.因为大部分闪回技…

一.闪回 1.可能的误操作 (1)错误的删除了记录 (2)错误的删除了表 (3)查询历史记录 (4)撤销已经提交了的事务. 2.对应着以上四种类型的误操作,有四种闪回类型 (1)闪回表:将表回退到过去的一个时间上 (2)闪回删除:还原Oracle回收站 (3)闪回版本查询:所有历史记录 (4)闪回事务查询:通过一个select 语句得到一个undo_sql,通过该undo_sql闪回 3.事实上oracle数据库还有另外两种闪回类型 (5)闪回数据库 (6)闪回归档日志 4.系统改变号:由时间戳…

Flashback Tips The following tips and restrictions apply to using flashback features. Flashback Tips – Performance For better performance, generate statistics on all tables involved in a Flashback Query by using the DBMS_STATS package, and keep the s…

闪回表,实际上就是将表中的数据快速恢复到过去的一个时间点或者系统改变号SCN上.实现表的闪回,需要用到撤销表空间相关的UNDO信息,通过SHOW PARAMETER UNDO命令就可以了解这些信息.用户对表的数据的修改操作,都记录在撤销表空间中,这为表的闪回提供的数据恢复的基础. 修改记录被提交到undo表空间中的默认保留时间为900秒,用户可以在这900秒的时间内对表的进行闪回操作,从而将表中的数据恢复的修改前的状态. 如上图显示的默认900秒,我们通过sql来修改这个默认时间为1200: f…

2014-07-02 Created By BaoXinjian…