1.1. 前言 对数据库数据进行备份都是日常的工作(虽然都是自动做的),备份中有一项必备的那就是binglog了.在工作中一般这些备份都会保留一段时间后归档.时间长了归档的数据将会非常大.这时候我们就需要考虑如何存储这些归档的binlog. 1.2. 思路 将需要归档的 binlog 使用 mysqlbinlog 分析到其他文件,再将文件给压缩.这样空间就能省出好多空间来了.  …

最近一个项目需要保存到本地文件,想用plist,但是发现很多内容是自定义的,于是只能自己归档接档.不难,找了一篇范文大家保存一下,方便以后学习使用. 转自:http://mobile.51cto.com/iphone-282203_4.htm iPhone开发应用之Archiving NSCoder教程是本文要介绍的内容,一个面向对象程序在运行的时候,一般都创建了一个复杂的对象关系图,经常需要把这样一个复杂的对象关系图表示成字节流.这样的过程我们叫做Archiving 如图10.1, 这个字节流…

日志系统主要有redo log(重做日志)和binlog(归档日志).redo log是InnoDB存储引擎层的日志,binlog是MySQL Server层记录的日志, 两者都是记录了某些操作的日志(不是所有)自然有些重复(但两者记录的格式不同). 图来自极客时间的mysql实践,该图是描述的是MySQL的逻辑架构. redo log日志模块 redo log是InnoDB存储引擎层的日志,又称重做日志文件,用于记录事务操作的变化,记录的是数据修改之后的值,不管事务是否提交都会记录下来.在实例…

mysql整体来看其实只有两部分,一部分是server层,一部分是引擎层. 1.redo log(重做日志):当有一条记录需要更新的时候,InnoDB 引擎就会先把记录写入redo log里面,并更新内存,这个时候更新就算完完成了.同时,innodb引擎会在适当的时候,将这个操作记录更新到磁盘里面,而这个更新往往是在系统比较空闲的时候做的.redo log是固定大小的,从前往后写,写完后会继续从开头开始写,把以前的内容覆盖.有了redo log,innodb就可以保证即使数据库发生异常重启,之前…

文章内容学习:极客时间-林晓彬老师-MySQL实战45讲 整理而得 我们知道MySQL数据库在发生意外宕机的情况下,可以将数据恢复到历史的某个时间点,能实现这个功能依靠的是日志,MySQL提供两种类型的日志,也是两个模块中的日志,分别是存储引擎中的日志(redo log(重做日志))和Server层的日志(binlog(归档日志)) redo log MySQL在执行一条更新语句的时候,需要更新内存中的数据,然后在更新磁盘中的数据,这里运用到了WAL技术,全称是Write-Ahead Loggi…

笔记记录自林晓斌(丁奇)老师的<MySQL实战45讲> 2) --日志系统,一条SQL查询语句如何执行 MySQL可以恢复到半个月内任意一秒的状态,它的实现和日志系统有关.上一篇中记录了一条查询语句是如何执行的,对于更新语句,这一套流程也是同样会走一遍.与查询流程不一样的是,更新流程还涉及到两个重要的日志模块.redo log(重做日志) 和 binlog(归档日志). redo log: 这里林老师举了一个很好的例子,摘录如下. <孔乙己>中的酒店掌柜有一个粉板,用来记录客人的赊…

1.基础架构:一条sql查询语句是如何执行的? mysql> select * from T where ID=10: 2.基础架构:一条sql更新语句是如何执行的? mysql> update T set c=c+1 where ID=2; redo log (1)存储引擎的日志,InnoDB特有的: (2)物理日志 (3)循环写,空间固定会用完: binlog (1)server端日志,所有引擎都有: (2)逻辑日志 (3)追加写,文件写到一定大小,切换下一个,并不会覆盖之前的日志: re…

名词 MySQL 里经常说到的 WAL 技术,Write-Ahead Logging 第一个日志模块 redo log 也叫日志重写,是InnoDB 引擎特有的日志 - write pos and checkpoint              - crash-safe 另外一个日志模块binlog 归档日志,是server(功能层面)具有的日志 ## 参数 innodb_flush_log_at_trx_commit redo log 用于保证 crash-safe 能力,innodb_flu…

概览 本篇文章会分析下一个sql语句在mysql中的执行流程,包括sql的查询在mysql内部会怎么流转,sql语句的更新是怎么完成的. 一.mysql架构分析 mysql主要分为Server层和存储引擎层 Server层:主要包括连接器.查询缓存.分析器.优化器.执行器等,所有跨存储引擎的功能都在这一层实现,比如存储过程.触发器.视图,函数等,还有一个通用的日志模块 binglog日志模块. 存储引擎: 主要负责数据的存储和读取,采用可以替换的插件式架构,支持InnoDB.MyISAM.Mem…

下面是一个表的创建语句,这个表有一个主键id和一个整型字段c: create table t(id int primary key,c int); 如果要将 id = 2 这一行的值加 1,sql语句就会这么写: ; 上一篇文章介绍过sql语句几本的执行链路,首先可以确定的说,查询语句的流程,更新语句也是同样的会走一遍. 我们执行语句之前都要先连接数据库,这是连接器的工作. 前面有说过,当更新一条语句的时候,跟这个表相关的查询缓存会失败,所以现在这条语句会把表t上所有缓存结果都清空.这就是不建议…

一:更新流程 - 对于更新来说,也同样会根据 SQL 的执行流程进行. -  - 连接器 - 连接数据库,具体的不做赘述. - 查询缓存 - 在一个表上有更新的时候,跟这个表有关的查询缓存会失效. - 这也就是我们一般不建议使用查询缓存的原因. - 分析器 - 接下来,分析器会通过词法和语法解析知道这是一条更新语句. - 优化器 - 优化器决定要使用 ID 这个索引. - 执行器 - 然后,执行器负责具体执行,找到这一行,然后更新. - PS - 与查询流程不一样的是,更新流程还涉及两个重要的日…

联系上文SQL查询语句的执行 查询语句的那一套流程,更新语句也是同样会走一遍. 更新流程还涉及两个重要的日志模块: ​ redo log(重做日志)和 binlog(归档日志) redo log:重做日志 redo log是InnoDB引擎特有的日志 WAL技术,全称是Write-Ahead Logging 它的关键点就是先写日志,再写磁盘. 具体来说,当有一条记录需要更新的时候,InnoDB引擎就会先把记录写到redo log里,并更新内存,此时更新就算完成了. 同时,InnoDB引擎会在适当…

一.背景 在上一篇[MySQL笔记(5)-- SQL执行流程,MySQL体系结构]中讲述了select查询语句在MySQL体系中的运行流程,从连接器开始,到分析器.优化器.执行器等,最后到达存储引擎.那么对于update更新语句来说对应的流程又是怎样的呢,今天我们来探讨下更新跟查询之间的区别. 二.更新语句的执行流程 当我们创建一张表时: create table T(ID int primary key,c int); 如果这张表在创建完后插入了一些数据,现在要对一条数据执行更新操作: upd…

我们经常能看到如下的逻辑架构图,但是往往不能进行很好的记忆,看过就忘记了,也不知道它的实现方式.今天通过简单的画图来简单了解一下mysql到底是如何执行一个select语句,如何update一条语句. 1.Mysql逻辑架构图 场景一:一条SQL语句如何执行? 1.1 一条SQL语句的执行过程 如图: 大体来说,MySQL可以分为Server层和存储引擎层两部分. Server层包括连接器.查询缓存.分析器.优化器.执行器等,涵盖MySQL的大多数核心服务功能,以及所有的内置函数(如日期.时间.…

1. 前言 当前公司的大数据实时链路如下图,数据源是MySQL数据库,然后通过Binlog Query的方式消费或者直接客户端采集到Kafka,最终通过基于Spark/Flink实现的批流一体计算引擎处理,最后输出到下游对应的存储. 2. 模型特征架构的演进 2.1 第一代架构 广告业务发展初期,为了提升策略迭代效率,整理出一套通用的特征生产框架,该框架由三部分组成:特征统计.特征推送和特征获取模型训练.如下图所示: 客户端以及服务端数据先通过统一服务Sink到HDFS上 基于基HDFS数据,统…

MySQL事务是什么,它就是一组数据库的操作,是访问数据库的程序单元,事务中可能包含一个或者多个 SQL 语句.这些SQL 语句要么都执行.要么都不执行.我们知道,在MySQL 中,有不同的存储引擎,有的存储引擎比如MyISAM 是不支持事务的,所以说MySQL 事务实际上是发生在 存储引擎部分. 事务主要有四大特性,分别是原子性(Atomicity).持久性(Consistency).隔离性(Isolation)和 持久性(Durability).它实际上是从四个方面来阐述MySQL 事务的特…

[转载]mysql的binlog安全删除  理论上,应该在配置文件/etc/my.cnf中加上binlog过期时间的配置项,expire_logs_days = 10 但是如果没有加这一项,随着产生越来越多的binlog,磁盘被吃掉了不少.可以直接删除binlog文件,但是可以通过mysql提供的工具来删除更安全.因为purge会更新mysql-bin.index中的条目,而直接删除的话,mysql-bin.index文件不会更新.mysql-bin.index的作用是加快查找binlog文件的…

说明:当开启mysql数据库主从时,会产生大量如mysql-bin.00000* log的文件,这会大量耗费您的硬盘空间.mysql-bin.000001mysql-bin.000002mysql-bin.000003mysql-bin.000004mysql-bin.000005…有三种解决方法:1.关闭mysql主从,关闭binlog:2.开启mysql主从,设置expire_logs_days:3.手动清除binlog文件,> PURGE MASTER LOGS TO ‘MySQL-bin…

pt-archiver官方地址:https://www.percona.com/doc/percona-toolkit/3.0/pt-archiver.html 介绍:归档数据,比如将一年前的数据备份到其他mysql实例+删除一年前的数据,原表只保留最近一年,更好的方案我觉得应该是对大表做分区表.更多详细介绍参考官方或者其他博客. 常用的参数 pt-archiver --source h=$source_host,P=$source_port,u=$source_user,p=$source_p…

引言 这篇是<研发应该懂的binlog知识(上)>的下半部分.在本文,我会阐述一下binlog的结构,以及如何使用java来解析binlog.不过,话说回来,其实严格意义上来说,研发应该还需要懂如何监听binlog的变化.我本来也想写这块的知识,但是后来发现,这块讲起来篇幅过长,需要从mysql的通讯协议开始讲起,实在是不适合放在这篇文章讲,所以改天抽时间再写一篇监听binlog变化的文章. 说到这里,大家可能有一个疑问: 研发为什么要懂得如何解析binlog? 说句实在话,如果在实际项目中遇…

----------------------------------------------------------------------------------------------------------------- 版权声明:本文为CSDN博主「孤独烟」的原创文章,转载请附上原文出处链接及声明. 原文链接:https://www.cnblogs.com/rjzheng/p/9721765.html -------------------------------------------…

Qt 学习之路 2归档 http://www.devbean.net/2012/08/qt-study-road-2-catelog/…

背景:   默认情况下,mysql的数据.binlog.relaylog都是保存在同一个磁盘上,路径根据每个人的设置不一. 当mysql数据库中数据或日志增长很快时,磁盘可能面临空间不够或者IO性能跟不上,所以把日志迁移到其他磁盘是首先想到的工作. 但日志迁移的文档并不多,本文根据实践记录,希望对大家有点参考作用.   假设迁移前的路径如下: binlog:    /data/mysql_data/mysql数据: /data/mysql_data/mysql relay log :/data/…

前几篇文章说到了OC中的Foundation框架,今天我们来看一下OC中的一个重要知识点:归档 OC中的归档就是将对象写入到一个文件中,Java中的ObjectInputStream和ObjectOutputStream来进行操作的.当然在操作的这些对象都是需要实现一个接口:Serializable,同样的OC中操作的对象也是需要实现一个协议的,后面会说到. 一.已有类型的归档和解档 首先来看一个简单的例子: // // main.m // 33_ObjectToFile // // Creat…

原文地址:http://www.cnblogs.com/yangliheng/p/6187327.html 1.1 Row Level  行模式 日志中会记录每一行数据被修改的形式,然后在slave端再对相同的数据进行修改 优点:在row level模式下,bin-log中可以不记录执行的sql语句的上下文相关的信息,仅仅只需要记录那一条被修改.所以rowlevel的日志内容会非常清楚的记录下每一行数据修改的细节.不会出现某些特定的情况下的存储过程或function,以及trigger的调用和触…

http://blog.itpub.net/15480802/viewspace-1411356/ Redo组提交 Redo提交流程大致如下 lock log->mutex write redo log buffer to disk unlock log->mutex fsync Fsync写磁盘耗时较长且不占用log->mutex,也就是其执行期间其他线程可以write log buffer: 假定一次fsync需要10ms,而写buffer只需要1ms,则fsync执行期间最多可以有…

http://blog.csdn.net/woqutechteam/article/details/51178803 MySQL  Binary log在MySQL 5.1版本后推出主要用于主备复制的搭建,我们回顾下MySQL 在开启/关闭 Binary Log功能时是如何工作的 . MySQL没有开启Binary log的情况下: InnoDB存储引擎通过redo和undo日志可以safe crash recovery数据库,当数据crash recovery时,通过redo日志将所有已经在存…

11g RAC 更改归档模式 ASM 本实验有两个节点tip01,tip02oracle_sid 分别是 tips1,tips2 1.在节点1 tip01上执行[root@tip01 ~]# su - grid[grid@tip01 ~]$ sqlplus / as sysasm SQL> select name from v$asm_diskgroup; NAME------------------------------DATAOCR SQL> alter diskgroup data a…

from: http://www.cnblogs.com/duanxz/p/5062833.html 背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数据库同步业务,主要是基于trigger的方式获取增 量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此 开启了一段新纪元.ps. 目前内部使用的同步,已经支持mysql5.x和oracle部分版本的日志解析 基于日…

简介: 如果你的 Mysql 搭建了主从同步 , 或者数据库开启了 log-bin 日志 , 那么随着时间的推移 , 你的数据库 data 目录下会产生大量的日志文件 shell > ll /usr/local/mysql/data/ # 如下 -rw-rw----. 1 mysql mysql 63278 9月 11 02:03 mysql-bin.000001 -rw-rw----. 1 mysql mysql 1096670 9月 11 02:03 mysql-bin.000002 -rw…