MySQL8新特性(1)--原子DDL
mysql 8支持原子ddl。一个原子DDL语句包含数据字典更新、存储引擎操作、二进制日志写,事务要么被提交,应用修改被持持久化到数据字典、存储引擎和二进制日志,或者被回滚。
原子ddl是随着mysql 8中数据字典的引入被引入的。在早期版本,元数据被存储在元数据文件中,非事务型表中,存储引擎指定的目录中,这就需要协调提交操作。mysql数据字典提供了集中的、事务型元数据存储,就减少的早期版本中存在的障碍,使得可以重构ddl语句操作到原子事务中。
下面来看下在MySQL8.0之前和MySQL8.0 数据字典的区别。
1.支持的ddl语句
原子ddl特性支持表ddl语句和非表ddl语句。与表相关的ddl操作需要存储引擎的支持,非表相关的ddl操作不需要存储引擎的支持。
·支持表ddl的语句包含对数据库、表空间、表和索引的create、alter、drop操作,以及对表的truncate操作
·支持非表ddl的语句包含:create,drop语句,以及对存储函数、触发器、视图和用户定义的函数的alter语句;账号管理语句如create、alter、drop以及对角色和用户的rename语句,grant、revoke语句
2.原子ddl特性不支持以下语句:
·表相关的ddl语句涉及到非innodb存储引擎
·install plugin、uninstall plugin语句
·install component、uninstall component语句
·create server、alter server、drop server语句
3.原子ddl的特征
·元数据更新、二进制日志写、存储引擎操作被整合到一个单事务中
·ddl操作不需要在sql层协调事务提交
·数据字典、routine、event和用户定义的函数在缓存中的状态和ddl操作的状态是一致的。也即是缓存被修改来反应ddl操作是否成功还是回滚
·一个ddl操作中的存储引擎方法不执行协调提交,存储引擎会将自己注册成ddl事务的一部分
·存储引擎支持redo和回滚,发生在ddl操作的后期
·ddl操作的可见行为是原子的
4.ddl语句行为的变化
·drop table操作是完全原子的,如果所有表都是支持原子ddl的存储引擎。要么删除所有的表,要么都回滚。如果表不存在、或者没有做任何修改,drop table就会失败,无论是什么存储引擎。
·drop database操作是原子的,如果所有的表都是使用支持原子ddl的存储引擎。
·如果表使用的是不支持原子ddl的存储引擎,表删除操作就发生在原子drop table或原子drop database事务之外。也是单独写入二进制日志。对于删除多个表的操作,不使用原子ddl支持的存储引擎的表将在使用原子ddl支持的存储引擎的表之前删除。
·create table、alter table、rename table、truncate table、create tablespace、drop tablespace,对于支持原子ddl的引擎表,要么全部提交,要么全部回滚。
·如果视图不存在,drop view会失败,不做任何修改。
·不再支持部分执行账号管理操作,账号管理操作要么全部成功,要么全部回滚。
5.存储引擎的支持
目前,只有innodb存储引擎支持原子ddl。
为了支持redo和回滚ddl操作,innodb将ddl日志写入mysql.innodb_ddl_log字典表(这是隐藏的数据字典表,位于mysql.ibd数据字典表空间)
要查看ddl日志,可以开启参数innodb_print_ddl_logs
redo logs的变更会立即被刷新到mysql.innodb_ddl_log表,不管innodb_flush_log_at_trx_commit的设置。
立即刷新redo logs可以避免数据文件被DDL操作修改而redo logs没有被写入mysql.innodb_ddl_log表而引起的不一致。(这种情况会导致回滚或恢复时发生错误)
innodb分阶段执行ddl操作。比如alter table在执行提交之前可能需要多次执行prepare、perform:
(1)prepare:创建需要的对象,写ddl日志到mysql.innodb_ddl_log表。ddl日志定义了如何前滚和回滚ddl操作
(2)perform:执行ddl操作。例如为create table操作执行一个create routine
(3)commit:更新数据字典和提交数据字典事务
(4)post-ddl:replay和remove mysql.innodb_ddl_log表中ddl日志。为了保证回滚可以安全执行而不产生不一致,文件操作比如重命名或移除数据文件就发生在这一步。这一步中也会移除来自数据字典mysql.innodb_dynamic_metadata表中的动态元数据。
在post-ddl期间,会replay和remove mysql.innodb_ddl_log表中的ddl日志。只有在执行ddl操作期间,mysql server发生了halted,ddl日志才会保留在mysql.innodb_ddl_log表中,这种情况下,在恢复时会replay和remove ddl日志。
在恢复情形下,ddl事务可能被提交或者回滚。如果在DDL操作的commit阶段执行的数据字典事务出现在重做日志和二进制日志中,则该操作被认为是成功的,并被前滚。否则,在InnoDB replay数据字典重做日志时回滚不完整的数据字典事务,并回滚DDL事务。
6.查看ddl日志
要想查看存储在数据字典mysql.innodb_ddl_log表中的ddl日志。需要开启innodb_print_ddl_logs参数。开启后,ddl日志被写到stderr。取决于操作系统和mysql的配置,stderr可能是error log,终端,windows控制台。
innodb将ddl日志写入mysql.innodb_ddl_log表来支持redo和回滚ddl操作。mysql.innodb_ddl_log表是一个隐藏的数据字典表,位于mysql.ibd数据字典表空间。在非debug模式下,不能直接访问。
mysql.innodb_ddl_log的表结构:
CREATE TABLE mysql.innodb_ddl_log (
id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY, #ddl日志记录的唯一标识符
thread_id BIGINT UNSIGNED NOT NULL, #线程id,用于replay和remove ddl日志
type INT UNSIGNED NOT NULL, #ddl操作类型。free:删除一个索引树;delete:删除一个文件;rename:重命名文件;drop:从mysql.innodb_dynamic_metadata数据字典表删除元数据
space_id INT UNSIGNED, #表空间id
page_no INT UNSIGNED, #页号
index_id BIGINT UNSIGNED, #索引id
table_id BIGINT UNSIGNED, #表id
old_file_path VARCHAR(512) COLLATE UTF8_BIN, #老的表空间文件路径
new_file_path VARCHAR(512) COLLATE UTF8_BIN, #新的表空间文件路径
KEY(thread_id)
);
7.ddl日志示例:
mysql> SET GLOBAL innodb_print_ddl_logs=1;
mysql> CREATE TABLE t1 (c1 INT) ENGINE = InnoDB;
ddl日志如下:
[Note] [000000] InnoDB: DDL log insert : [DDL record: DELETE SPACE, id=18, thread_id=7,
space_id=5, old_file_path=./test/t1.ibd]
[Note] [000000] InnoDB: DDL log delete : by id 18
[Note] [000000] InnoDB: DDL log insert : [DDL record: REMOVE CACHE, id=19, thread_id=7,
table_id=1058, new_file_path=test/t1]
[Note] [000000] InnoDB: DDL log delete : by id 19
[Note] [000000] InnoDB: DDL log insert : [DDL record: FREE, id=20, thread_id=7,
space_id=5, index_id=132, page_no=4]
[Note] [000000] InnoDB: DDL log delete : by id 20
[Note] [000000] InnoDB: DDL log post ddl : begin for thread id : 7
[Note] [000000] InnoDB: DDL log post ddl : end for thread id : 7
网上有一篇关于原子ddl的源码分析的文章:https://yq.aliyun.com/articles/560507
MySQL8新特性(1)--原子DDL的更多相关文章
- MySQL8.0新特性——支持原子DDL语句
MySQL 8.0开始支持原子数据定义语言(DDL)语句.此功能称为原子DDL.原子DDL语句将与DDL操作关联的数据字典更新,存储引擎操作和二进制日志写入组合到单个原子事务中.即使服务器在操作期间暂 ...
- MySQL 8.0新特性之原子DDL
文章来源:爱可生云数据库 简介 MySQL8.0 开始支持原⼦ DDL(atomic DDL),数据字典的更新,存储引擎操作,写⼆进制日志结合成了一个事务.在没有原⼦DDL之前,DROP TABLE ...
- MySQL8新特性(2)--mysql的升级过程
在之前的版本中,安装新的版本mysql之后,mysql server在下一次启动时,会自动升级数据字典表,然后dba需要执行mysql_upgrade手动升级mysql schema中的系统表,以及其 ...
- mysql8新特性(一)
https://www.oschina.net/news/95325/mysql-8-0-ga-released http://blog.itpub.net/28218939/viewspace-21 ...
- MySQL8.0新特性实验1
Server层,选项持久化 mysql> show variables like '%max_connections%';+------------------------+-------+| ...
- MySQL8.0 原子DDL
Edit MySQL8.0 原子DDL 简介 MySQL8.0 开始支持原子 DDL(atomic DDL),数据字典的更新,存储引擎操作,写二进制日志结合成了一个事务.在没有原子DDL之前,DROP ...
- mysql8.0 新特性,对json类型的常用操作
mysql8 新特性-json数据类型操作 -- 根据key(可多个)获取value SELECT JSON_EXTRACT('{"id": 14, "name" ...
- MySQL8 Group By 新特性
MySQL8 Group By 新特性 此生此夜不长好,明月明年何处看. 一.简介 MySQL8 新特性之 Group By 不再隐式排序.MySQL8对于group by 字段不再隐式排序,如需 ...
- 【mysql】mysq8.0新特性
一.MySQL8.0简介 mysql8.0现在已经发布,2016-09-12第一个DM(development milestone)版本8.0.0发布.新的版本带来很多新功能和新特性,对性能也得到 ...
随机推荐
- Flask整合WebLoader 用于大附件拆分上传再合并
博客:https://blog.csdn.net/jinixin/article/details/77545140 github:https://github.com/jinixin/upload-d ...
- springboot + 自定义配置文件读取
新建一个配置文件 src\main\resources\resources\config.properties #自定义配置文件 #System Encoding #File Upload Temp ...
- golang之网络开发
TCP Server/Client开发 net包提供network I/O开发接口,包括TCP/IP.UDP.DNS和Unix domain sockets. 常用开发一般仅需要最基础接口或函数: 服 ...
- C++中string的实现原理
C++中string的实现原理 背景 当我刚开始学习C++,对C还是有一部分的了解,所以以C的思维去学C++,导致我很长一段时间的学习都处于一个懵逼的状态,C++的各种特性,标准库,模板还有版本的迭代 ...
- pyecharts绘制geo地图
pyecharts是一种非常强大的绘图python库,绘制的图形非常好看,并且有代表性,不仅仅是地图,还可以绘制条形图.饼图.词云图等等. # 安装方法 pip install pyecharts # ...
- MySQL/MariaDB数据库的存储引擎
MySQL/MariaDB数据库的存储引擎 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.MySQL体系结构 连接管理模块: 负责接收远程用户的连接. 线程管理模块: 维护 ...
- css3卡片阴影效果
1.css3阴影用到的知识点:阴影box-shadow和插入:after before HTML部分: <!DOCTYPE html> <html> <head> ...
- Strength(HDU6563+2018年吉林站+双指针瞎搞)
题目链接 传送门 题意 你有\(n\)只怪,每只怪的伤害为\(a_i\),对手有\(m\)只怪,每只怪的伤害为\(b_i\),对手的怪有普通状态和防守状态(普通状态:如果你用攻击力为\(a_i(a_i ...
- Codeforces_Round_547 (Div. 3)题解
题目链接 传送门 A题 题目 题意 给你两个正整数\(n\)和\(m\),然后你可以进行无数次操作(每次操作可以将\(n\)扩大两倍,或者扩大三倍),问你是否能够得到\(m\). 代码实现如下 n, ...
- datagrid中的排序
sortable的属性设置为true后就能看到标志 属性名称 属性值类型 描述 默认值 sortable boolean 如果为true,则允许列使用排序. undefined order strin ...