有一次在线上提了一个sql变更,就是下面这条,

-- 修改字段的数据类型由varchar(500)变更为text
ALTER TABLE t MODIFY COLUMN name text;

提完之后,上级审批人给我打来了电话,说不允许进行字段类型的变更,要变更的话需要找大领导审批,一想还是算了,不要打扰领导了。最后把varchar的长度变更为1000,才把这个事情解决了。后来查阅资料才明白原来一条普通的DDL却暗藏玄机。什么玄机呐今天细细说来。

要了解DDL的执行原理,必须区分mysql的版本,不同的版本DDL执行原理是不一样的。

一、DDL执行原理(5.6之前)

在mysql5.6版本之前,执行一条DDL语句,mysql内部会使用两种方式执行,分别是copy和inplace。

1.1、copy

所谓copy就是在执行过程中需要copy table,看下其具体步骤,

  1. 新建跟原表格一致的临时表,并在该临时表上执行DDL语句;
  2. 锁原表,不允许执行DML,仅允许查询;
  3. 逐行把数据从原表拷贝到临时表(无排序);
  4. 拷贝结束后,原表禁止读操作,也就是原表此时不提供读写服务;
  5. 进行rename操作,完成DDL过程;

可以看到在copy这种方式下,执行DDL语句的时候会锁表,且无法执行DML语句;再看下inplace的方式,

1.2、inplace方式(仅针对索引创建、删除)

这种方式仅对索引的创建、删除有效,其他类型的DDL还是使用copy的方式,其步骤如下,

  1. 新建frm临时文件;
  2. 锁住原表,不允许DDL,允许查询;
  3. 按照聚集索引的顺序查询数据,找到需要的索引列数据,排序后插入到新的索引中;
  4. 原表禁止读操作,也就是原表此时不提供读写服务;
  5. 进行rename操作,替换frm文件,完成DDL;

可以看到inplace这种方式依然需要锁表,且无法执行DML。

copy和inplace两种都会阻止DML语句的执行,也就是insert/update/delete操作,只能执行select操作。相对于copy的需要拷贝全表的数据外,inplace只需要拷贝索引数据,就好很多,但inplace只支持索引新增、删除。

在5.6版本之前的mysql在执行DDL的时候,一定要注意选择业务低峰期,同时做好影响范围的预测,以为在执行DDL的时候是无法执行DML的。

在5.6及之后,mysql推出了online DDL的方式。很好的解决了无法执行DML的问题。

二、online DDL

online DDL是mysql在5.6版本推出的执行DDL的方式,可以解决执行DDL时无法执行DDL的情况。online DDL有自己的语法,在传统的DDL语句后加相应的参数,当然参数可以省略,省略的话mysql则会选择一种适合的方式执行。

2.1、online DDL语法

标准的online DDL写法如下,

-- 修改字段的数据类型由varchar(500)变更为text
ALTER TABLE t MODIFY COLUMN name text,algorithm=default|copy|inplace|instant,lock=none|shared|default|exclusive;

在algorithm参数中有四个值,

default,默认的,由系统决定

copy,和早期的copy方式一致;

inplace,和早期的inplace方式一致;

instant,mysql8.0新增的。只会修改数据字典中的元数据,会短暂的占用元数据上的排它锁,操作是即时的,允许并发DML;

lock参数有四个值,其限制级别由少到多,

none,允许并发查询和MDL语句,

shared,允许并发查询,但阻止DML

default,允许尽可能多的并发查询、DML。省略lock和default是一样的。

exclusive,阻止并发查询和DML,

2.2、online DDL执行过程

mysql将online DDL的执行过程分为三步,

初始化(initialization)

在这个阶段,服务器根据存储引擎、语句中指定的选项等来确定允许的并发,使用共享的可升级元数据锁来保护当前表定义。

执行(execution)

语句被准备和执行,元数据锁是否升级为排它锁取决于初始化阶段的评估,如果需要独占元数据锁,只在语句准备期间短暂使用。

提交(commit table definition)

元数据锁升级为排它锁,退出旧的表定义并提交新表定义,元数据锁持续时间很短。

2.3、常用的DDL

总结了常用的DDL的执行方式,

需要特别注意的是对于varchar的长度变化,其使用的算法是不一样的。

有个很有趣的点,平时定义的varchar(50),这里的50是字节数还是字符数吗?

其实在mysql5.0之后varchar(50),代表的是50个字符,在5.0之前是50个字节;

按照UTF8编码,一个字符3个字节;按照GBK编码一个字符2个字节;

了解了上面的知识后,还需要了解字符串的长度是怎么存储的,当小于256字节时使用1个字节存储,当大于256字节小于65535字节时,使用2个字节存储;varchar的最大长度是65535字节。

varchar类型字符长度的变化带来的是字节的变化,同时会引起存储字节长度的变化,也就是使用1个字节还是2个字节存储其长度。

增加

以UTF8编码为例,也就是一个字符3个字节。

1、如果字节的变化在256以内,也就是存储长度使用1个字节则使用inplace,如,

varchar(10)-->varchar(50)

varchar(50)-->varchar(80)

2、如果字节的变化跨越了256,也就是存储长度由1个字节变成2个字节则使用copy,如

varchar(80)-->varchar(90)

3、如果字节的变化超过256,也就是存储长度使用2个字节则使用inplace,如

varchar(90)-->varchar(250)

varchar(250)-->varcahr(1000)

减少

对varchar的长度减少统一是copy方式。

下面总结了各种DDL语句使用的算法及是否允许并发DML,是否需要重建表等,可参考。

需要特别注意下面这些不允许并发DML的DDL,其均使用copy方式:
    1、改变列的数据类型;
    2、删除主键;
    3、变更表字符集;
    4、varchar长度变短;
    5、varchar长度边长,存储字节超过255;

三、总结

在mysql中执行DDL语句是很正常的,很多时候并不会想到会锁表或者阻止DML的执行,因为DDL执行的太快了,相对于大表则要格外注意,尤其是线上业务高峰期,千万不要执行DDL,在业务低峰期也要进行评估;

1、关注表的数据量;

2、确定mysql的版本;

3、关注CPU及内存使用情况;

4、做好应急措施;

参考:

https://www.cnblogs.com/hankyoon/p/15128334.html

https://www.cnblogs.com/xinysu/p/6732646.html

https://dev.mysql.com/doc/refman/8.0/en/innodb-online-ddl-operations.html#online-ddl-column-operations

因为一条DDL,差点搞挂整个系统,这次真的长了教训的更多相关文章

  1. 三招搞挂Mysql(转)

    一.产生大量的undo日志 众所周知,InnoDB是一个支持MVCC的存储引擎,为了支持MVCC,InnoDB需要保存undo日志,以便对用户提供记录的历史版本.如果我们开启一个事务,反复地更新一条记 ...

  2. sqlserver 将多行数据查询合并为一条数据

    有这样一个需求:表T_FUN_TASK为任务表,有字段(TASKID,TASKNAME),表T_FUN_LOGBOOK为日志表,有字段(LOGID,TASKID,LOGDATE),一个任务可持续多天, ...

  3. 如何将多条update语句合并为一条

    需求: 如何将多条update语句合并为一条update语句:如,update table1 set col='2012' where id='2014001'      update table1  ...

  4. 多人开发的git项目如何保持提交日志为一条直线?

    多人开发的git项目如何保持提交日志为一条直线? 一.Git的项目的git常用操作 a)Git clone 项目地址 从远程仓库克隆项目到本地 b)Git pull 从当前分支拉取更新代码 c)Git ...

  5. SQL 一列数据整合为一条数据

    SQL 一列数据整合为一条数据: SELECT  STUFF(( SELECT distinct  ',' + 列名 FROM 表名 where  [条件] FOR XML PATH('') ), 1 ...

  6. [转] git merge 将多个commit合并为一条之--squash 选项

    [FROM] https://blog.csdn.net/themagickeyjianan/article/details/80333645 1.一般的做法(直接git merge) Git相对于C ...

  7. GROUP_CONCAT 将mysql多条数据合并为一条

    实现将多条数据合并为一条数据,在mysql中可以通过 GROUP_CONCAT 函数实现 上面是潇leader发我的和工作不相关的小小小需求描述,很明显是要把id和name相同的数据合并为一条,下面按 ...

  8. git merge 将多个commit合并为一条之--squash 选项

    转自: https://blog.csdn.net/themagickeyjianan/article/details/80333645 改进版本:合并多个提交为一条(git merge --squa ...

  9. 一条sql语句搞定基于mysql的sql执行顺序的基本理解

    对数据库基本操作是每个程序员基本功,如何理解并快速记住sql执行的顺序呢,其实一条复杂的sql就能搞定: SELECT DISTINCT <select_list> FROM <le ...

  10. git合并分支上的commit为一条commit到master

    标签: git 缘由? 有一次被人问到怎么把一个分支的所有commit按一个commit合并到主分支上,当时一脸蒙B,平时开发都是直接merge,很少考虑到这种问题,于是特意搜索了相关资料. 场景 其 ...

随机推荐

  1. css盒子水平垂直居中的几种方式

    第一种:son盒子中定位的上下左右全部为0,然后margin:auto 1 <!DOCTYPE html> 2 <html lang="en"> 3 < ...

  2. Python 使用QQ 邮箱进行发送邮件及经验总结

    今天我带大家实现下简单的发邮件功能.我们要使用到email和smtplib库,这两个库时python自带的,直接import 引用就好了,实现环境python3.6. 对QQ邮箱进行开启SMTP服务 ...

  3. 前端获取不到环境变量NODE_ENV

    有时候我们期望通过执行不同的 npm script 来区分诸如 dev.prod.uat.sit等多环境下使用的不同变量 今天我也在整环境变量,碰到一个小小的bug.装了 cross-env 但还是没 ...

  4. 以SQLserver为例的Dapper详细讲解

    Dapper是一种轻量级的ORM(对象关系映射)工具,它提供了高效且易于使用的方式来执行数据库操作.Dapper是由Stack Overflow团队开发并维护的,它的主要目标是提供比EF更快.更直接的 ...

  5. Spring之AOP理解及使用

    文章目录 AOP是什么 AOP Spring的通知类型 1.Before通知 2. AfterReturning通知 3.AfterThrowing通知 4. After通知 5. Around通知 ...

  6. Spring 之bean的生命周期

    文章目录 IOC Bean的生命周期 运行结果 实例演示 实体类 实例化前后置代码 初始化的前后置代码 application.xml 总结 今天我们来聊一下Spring Bean的生命周期,这是一个 ...

  7. linux安装tomcat,mysql

    环境:centos7.6 ssh连接工具:tabby 安装tomcat 创建目录 mkdir /opt/tomcat 获取tomcat: 1.自己百度下载 2.我这里提供百度网盘 链接:https:/ ...

  8. mosn基于延迟负载均衡算法 -- 走得更快,期待走得更稳

    前言 这篇文章主要是介绍mosn在v1.5.0中新引入的基于延迟的负载均衡算法. 对分布式系统中延迟出现的原因进行剖析 介绍mosn都通过哪些方法来降低延迟 构建来与生产环境性能分布相近的测试用例来对 ...

  9. Django, urls的参数name的demo

    Django的路由变化 遇到需要修改路由的需求,特别记录一下 项目开始 django-admin startproject sandboxOA. # 外部文件夹可以改变名字, '.'的意思是上一级不需 ...

  10. python列表函数的基本使用

    一.列表简介 序列是Python最常见的操作,是最经常使用的一种数据操作.列表是当前序列中使用最多的. 序列中的每一个值对应的位置,称之为索引.通常情景下,第一个索引是位置为0,第二个索引位置为1.. ...