笔记记录自林晓斌(丁奇)老师的《MySQL实战45讲》

2) --日志系统,一条SQL查询语句如何执行

  MySQL可以恢复到半个月内任意一秒的状态,它的实现和日志系统有关。上一篇中记录了一条查询语句是如何执行的,对于更新语句,这一套流程也是同样会走一遍。与查询流程不一样的是,更新流程还涉及到两个重要的日志模块。redo log(重做日志) 和 binlog(归档日志)。

redo log:

  这里林老师举了一个很好的例子,摘录如下。

  《孔乙己》中的酒店掌柜有一个粉板,用来记录客人的赊账记录。如果赊账的人不多,他可以把顾客名和账目写在粉板上。如果赊账的人太多,粉板写不下了,掌柜的还会有一个专门记录赊账的账本。如果有人要赊账或者还账的话,掌柜的一般有两种做法:

    1. 一种做法是直接把账本翻出来,把这次赊账的记录加上去或者除掉。
    2. 另一种做法是先再粉板上记下这次的账,等打烊以后再把账本翻出来核算。

  如果客人太多,掌柜的一定会选择后者,因为前者的操作实在是太麻烦了。要在账本上翻上个几十页再一条条的查找,然后再用算盘计算。相比之下,在粉板上记录下来就简单的多。

  同样,在MySQL里也会有这个问题。如果每次更新操作都要写进磁盘,然后磁盘也要找到对应的那条记录,然后再更新,整个过程IO成本及查找成本都很高。

  1. MySQL中这种类似粉板和账本配合的过程就是WAL技术(Write-Ahead Logging)它的关键点是先写日志,再写磁盘。
  2. 当一条记录需要更新时,InnoDB引擎就会先把记录写到redo log里面,并更新内存(粉板)。同时,InnoDB引擎会在适当的时候将他更新到磁盘里(账单)。
  3. redo log的大小是固定。因此如果系统繁忙,redo log很快就会写满。此时就不得不先把一部分记录更新到磁盘里,然后再进行后续的写入。
  4. 有了redo log, InnoDB就可以保证记录不会丢失,这个能力称为 crash-safe。(掌柜把记录写入了粉板,没写入账单。晚上掌柜的忘记这件事了(DB异常重启),一看粉板(redo log)也可以重新写入账单)

binlog:

  1. 之前提到过MySQL分为两层,一是Server层,另一个是引擎层。redo log是InnoDB引擎特有的日志,而Server层也有自己的日志,成为binlog(归档日志)
  2. redo log 与 binlog 有三点不同:
  • redo log是InnoDB引擎特有的日志,binlog是MySQL的Server层实现,所有引擎都可以使用。
  • redo log是物理日志,记录的是“在某个数据页上做了什么操作”;binlog是逻辑日志,记录是语句的原始逻辑,比如“给ID=2这一行的c字段加1”.
  • redo log大小固定,循环写入。binlog可以追加写,不会覆盖以前的日志。

两阶段提交:

(图片来源于 极客时间 林晓斌 《MySQL 实战45讲》,如有版权问题请联系我删除)

  可以看到最后一部分把redo log拆成了两部分,prepare和commit,这就是“两阶段”提交。

  关于两阶段提交,如果不这样做的话则上述过程会演变成先写完redo log或者先写完binlog,假设在写完一个log,正在写第二个log时发生异常

  1. 先写redo log:前面有提到,由于redo log已经写完,仍能将redo log中的数据恢复回来。但由于binlog中没有这个记录,所以当你使用binlog来恢复临时库时,临时库便会少一次逻辑上的更新,即临时库认为没有这次的更新,故与原数据不同。
  2. 先写binlog:由于binlog已经写完,恢复临时库时会执行这次的操作,但redo log中并没有相关记录,这个事务无效也无法恢复,与=原数据不同。

另:innodb_flush_log_at_trx_commit这个参数设置为1表示把redo log直接持久化到磁盘,保证mysql异常重启之后数据不丢失。

sync_binlog设置为1时表示binlog持久化到磁盘,保证mysql异常重启后binlog不丢失。

上篇问题答案:

如果表T中没有字段k,而去执行这个语句 select * from T where k = 1,那么会报错“Unknown column ‘k’ in ‘where clause’”。请问这个错误是在哪个阶段报出的?

答案是 分析器。笔记中有暗示啦,

分析器:分析器会先做“词法分析”,即从你输入的"select"这个关键字识别出来这是一个查询语句,把你输入的字符串“ID”识别成“列ID”。之后会进行“语法分析”,判断你输入的sql语句是否满足语法规则。

问题:

请问在什么场景下,一天一次备份会比一周一次备份更有优势?或者说,它影响了这个数据系统的哪些指标?

MySQL 笔记整理(2) --日志系统,一条SQL查询语句如何执行的更多相关文章

  1. MySQL 笔记整理(1) --基础架构,一条SQL查询语句如何执行

    最近在学习林晓斌(丁奇)老师的<MySQL实战45讲>,受益匪浅,做一些笔记整理一下,帮助学习.如果有小伙伴感兴趣的话推荐原版课程,很不错. 1) --基础架构,一条SQL查询语句如何执行 ...

  2. 1 基础架构:一条sql查询语句如何执行?

    1 基础架构:一条sql查询语句如何执行? 分析一个最简单的查询 mysql> select * from T where ID=10: MySQL基本架构示意图 大体来说,mysql可以分为s ...

  3. mysql数据库系统学习(一)---一条SQL查询语句是如何执行的?

    本文基于----MySQL实战45讲(极客时间----林晓斌 )整理----->https://time.geekbang.org/column/article/68319 一.第一节:一条sq ...

  4. mysql系列-⼀条SQL查询语句是如何执⾏的?

    ⼀条SQL查询语句是如何执⾏的? ⼤体来说,MySQL 可以分为 Server 层和存储引擎层两部分 Server 层 Server 层包括连接器.查询缓存.分析器.优化器.执⾏器等,涵盖 MySQL ...

  5. 一文读懂一条 SQL 查询语句是如何执行的

    2001 年 MySQL 发布 3.23 版本,自此便开始获得广泛应用,随着不断地升级迭代,至今 MySQL 已经走过了 20 个年头. 为了充分发挥 MySQL 的性能并顺利地使用,就必须正确理解其 ...

  6. 01.基础架构:一条SQL查询语句是如何执行的?学习记录

    01.基础架构:一条SQL查询语句是如何执行的?学习记录http://naotu.baidu.com/file/1c8fb5a0f2497c3a2655fed89099cb96?token=ff25d ...

  7. MySQL 笔记整理(18) --为什么这些SQL语句逻辑相同,性能却差异巨大?

    笔记记录自林晓斌(丁奇)老师的<MySQL实战45讲> (本篇内图片均来自丁奇老师的讲解,如有侵权,请联系我删除) 18) --为什么这些SQL语句逻辑相同,性能却差异巨大? 本篇我们以三 ...

  8. mysql实战45讲读书笔记(一) 一条SQL查询语句是如何执行的

    我们经常说,看一个事儿千万不要直接陷入细节里,你应该先鸟瞰其全貌,这样能够帮助你从高维度理解问题.同样,对于MySQL的学习也是这样.平时我们使用数据库,看到的通常都是一个整体.比如,你有个最简单的表 ...

  9. 一条SQL查询语句是如何执行的?

    本篇文章将通过一条 SQL 的执行过程来介绍 MySQL 的基础架构. 首先有一个 user_info 表,表里有一个 id 字段,执行下面这条查询语句: select * from user_inf ...

随机推荐

  1. Oracle (分类、数据库类型、序列)

    分类: 1.DDL (定义语句) create  .alter .drop 不需要commit create table aaa( tt1 varchart ) 2. DML (操纵语句) lnset ...

  2. codeforces_Codeforces Round #541 (Div. 2)_abc

    A. Sea Battle time limit per test 1 second memory limit per test 256 megabytes input standard input ...

  3. php使用protobuf3

    protoc的介绍,安装 1.定义一个protoc 文件 示例:person.proto syntax="proto3"; //声明版本,3x版本支持php package tes ...

  4. C语言复习3_条件结构

    if条件结构 if else 结构一般处理区间情况 #include <stdio.h> #include <stdlib.h> int main() { //打印剧情 dou ...

  5. 3-3 Hadoop集群完全分布式配置部署

    Hadoop集群完全分布式配置部署 下面的部署步骤,除非说明是在哪个服务器上操作,否则默认为在所有服务器上都要操作.为了方便,使用root用户. 1.准备工作 1.1 centOS6服务器3台 手动指 ...

  6. sha256 js 前端加密

    <html> <head></head> <body> <script type="text/javascript" src= ...

  7. 深入理解Spring Redis的使用 (九)、通过Redis 实现 分布式锁 的 BUG,以及和数据库加锁的性能测试

    在多节点的项目中,经常要涉及到某些方法加锁的控制.而这个时候,简单易用的synchronized已经不能满足多节点的部署结构. 之前在项目中,用的比较多的是数据库的更新锁:for udpate.但是这 ...

  8. ubuntu系统界面改变

    主题:https://gitzab.com/Anduin/GNOME-OSX-II-Theme.git图标:https://github.com/keeferrourke/la-capitaine-i ...

  9. [Swift]LeetCode846. 一手顺子 | Hand of Straights

    Alice has a hand of cards, given as an array of integers. Now she wants to rearrange the cards into ...

  10. Hystrix概念设计

    1. Hystrix概念设计 1.1. 大纲 1.2. 基本的容错模式 1.3. 断路器模式 1.4. 舱壁隔离模式 1.5. 容错理念 凡事依赖都可能失败 凡事资源都有限制 网络并不可靠 延迟是应用 ...