MySQL · 引擎特性 · InnoDB 事务子系统介绍

http://mysql.taobao.org/monthly/2015/12/01/ 前言在前面几期关于 InnoDB Redo 和 Undo 实现的铺垫后,本节我们从上层的角度来阐述 InnoDB 的事务子系统是如何实现的,涉及的内容包括:InnoDB的事务相关模块.如何实现MVCC及ACID.如何进行事务的并发控制.事务系统如何进行管理等相关知识.本文的目的是让读者对事务系统有一个较全面的理解. 由于不同版本对事务系统都有改变,本文的所有分析基于当前GA的最新版本MySQL5.7.9,但…

MySQL · 引擎特性 · InnoDB 事务系统

前言关系型数据库的事务机制因其有原子性,一致性等优秀特性深受开发者喜爱,类似的思想已经被应用到很多其他系统上,例如文件系统等.本文主要介绍InnoDB事务子系统,主要包括,事务的启动,事务的提交,事务的回滚,多版本控制,垃圾清理,回滚段以及相应的参数和监控方法.代码主要基于RDS 5.6,部分特性已经开源到AliSQL.事务系统是InnoDB最核心的中控系统,涉及的代码比较多,主要集中在trx目录,read目录以及row目录中的一部分,包括头文件和IC文件,一共有两万两千多行代码. 基础知识…

MySQL · 引擎特性 · InnoDB 事务锁简介

https://yq.aliyun.com/articles/4270# zhaiwx_yinfeng 2016-02-02 19:00:43 浏览2194 评论0 mysql innodb lock 摘要: InnoDB 事务锁系统简介前言本文的目的是对InnoDB的事务锁模块做个简单的介绍,使读者对这块有初步的认识.本文先介绍行级锁和表级锁的相关概念,再介绍其内部的一些实现:最后以两个有趣的案例结束本文. 本文所有的代码和示例都是基于当前最新的MySQL5.7.10版本. 行级锁 Inn…

MySQL · 引擎特性 · InnoDB IO子系统

前言 InnoDB做为一款成熟的跨平台数据库引擎,其实现了一套高效易用的IO接口,包括同步异步IO,IO合并等.本文简单介绍一下其内部实现,主要的代码集中在os0file.cc这个文件中.本文的分析默认基于MySQL 5.6,CentOS 6,gcc 4.8,其他版本的信息会另行指出. 基础知识 WAL技术 : 日志先行技术,基本所有的数据库,都使用了这个技术.简单的说,就是需要写数据块的时候,数据库前台线程把对应的日志先写(批量顺序写)到磁盘上,然后就告诉客户端操作成功,至于真正写数据块的操作…

MySQL · 引擎特性 · InnoDB 崩溃恢复过程

MySQL · 引擎特性 · InnoDB 崩溃恢复过程在前面两期月报中,我们详细介绍了 InnoDB redo log 和 undo log 的相关知识,本文将介绍 InnoDB 在崩溃恢复时的主要流程. 本文代码分析基于 MySQL 5.7.7-RC 版本,函数入口为 innobase_start_or_create_for_mysql,这是一个非常冗长的函数,本文只涉及和崩溃恢复相关的代码. 在阅读本文前,强烈建议翻阅我们之前的两期月报:1. MySQL · 引擎特性 · InnoDB…

MySQL · 引擎特性 · InnoDB index lock前世今生

http://mysql.taobao.org/monthly/2015/07/05/ MySQL · 引擎特性 · InnoDB index lock前世今生前言 InnoDB并发过程中使用两类锁进行同步. 1. 事务锁维护在不同的Isolation level下数据库的Atomicity和Consistency两大基本特性. InnoDB定义了如下的lock mode: /* Basic lock modes */ enum lock_mode { LOCK_IS = 0, /* int…

MySQL · 引擎特性 · InnoDB Buffer Pool

前言用户对数据库的最基本要求就是能高效的读取和存储数据,但是读写数据都涉及到与低速的设备交互,为了弥补两者之间的速度差异,所有数据库都有缓存池,用来管理相应的数据页,提高数据库的效率,当然也因为引入了这一中间层,数据库对内存的管理变得相对比较复杂.本文主要分析MySQL Buffer Pool的相关技术以及实现原理,源码基于阿里云RDS MySQL 5.6分支,其中部分特性已经开源到AliSQL.Buffer Pool相关的源代码在buf目录下,主要包括LRU List,Flu List,Do…

MySQL · 引擎特性 · InnoDB奔溃恢复

前言数据库系统与文件系统最大的区别在于数据库能保证操作的原子性,一个操作要么不做要么都做,即使在数据库宕机的情况下,也不会出现操作一半的情况,这个就需要数据库的日志和一套完善的奔溃恢复机制来保证.本文仔细剖析了InnoDB的奔溃恢复流程,代码基于5.6分支. 基础知识 lsn: 可以理解为数据库从创建以来产生的redo日志量,这个值越大,说明数据库的更新越多,也可以理解为更新的时刻.此外,每个数据页上也有一个lsn,表示最后被修改时的lsn,值越大表示越晚被修改.比如,数据页A的lsn为100…

MySQL · 引擎特性 · InnoDB崩溃恢复

前言数据库系统与文件系统最大的区别在于数据库能保证操作的原子性,一个操作要么不做要么都做,即使在数据库宕机的情况下,也不会出现操作一半的情况,这个就需要数据库的日志和一套完善的崩溃恢复机制来保证.本文仔细剖析了InnoDB的崩溃恢复流程,代码基于5.6分支. 基础知识 lsn: 可以理解为数据库从创建以来产生的redo日志量,这个值越大,说明数据库的更新越多,也可以理解为更新的时刻.此外,每个数据页上也有一个lsn,表示最后被修改时的lsn,值越大表示越晚被修改.比如,数据页A的lsn为100…

MySQL · 引擎特性 · InnoDB 数据页解析

前言之前介绍的月报中,详细介绍了InnoDB Buffer Pool的实现细节,Buffer Pool主要就是用来存储数据页的,是数据页在内存中的动态存储方式,而本文介绍一下数据页在磁盘上的静态存储方式以及相关的操作.由于数据页的结构涉及InnoDB非常底层的代码,因此各个版本的MySQL都可以参考.相关代码主要集中在page目录下. 基础知识数据库采用数据页的形式组织数据.MySQL默认的非压缩数据页为16KB.在ibd中间中,0-16KB偏移量即为0号数据页,16KB-32KB的为1号数…

MySQL · 引擎特性 · InnoDB redo log漫游（转）

前言 InnoDB 有两块非常重要的日志,一个是undo log,另外一个是redo log,前者用来保证事务的原子性以及InnoDB的MVCC,后者用来保证事务的持久性. 和大多数关系型数据库一样,InnoDB记录了对数据文件的物理更改,并保证总是日志先行,也就是所谓的WAL,即在持久化数据文件前,保证之前的redo日志已经写到磁盘. LSN(log sequence number) 用于记录日志序号,它是一个不断递增的 unsigned long long 类型整数.在 InnoDB 的日志…

MySQL · 引擎特性 · InnoDB COUNT(*) 优化(?)

http://mysql.taobao.org/monthly/2016/06/10/ 在5.7版本中,InnoDB实现了新的handler的records接口函数,当你需要表上的精确记录个数时,会直接调用该函数进行计算. 使用实际上records接口函数是在优化阶段调用的,在满足一定条件时,直接去计算行级计数.其explain出来的结果相比老版本也有所不同,这里我们使用sysbench的sbtest表来进行测试,共200万行数据. mysql> show create table sbtes…

MySQL · 引擎特性 · InnoDB 同步机制

前言现代操作系统以及硬件基本都支持并发程序,而在并发程序设计中,各个进程或者线程需要对公共变量的访问加以制约,此外,不同的进程或者线程需要协同工作以完成特征的任务,这就需要一套完善的同步机制,在Linux内核中有相应的技术实现,包括原子操作,信号量,互斥锁,自旋锁,读写锁等.InnoDB考虑到效率和监控两方面的原因,实现了一套独有的同步机制,提供给其他模块调用.本文的分析默认基于MySQL 5.6,CentOS 6,gcc 4.8,其他版本的信息会另行指出. 基础知识同步机制对于其他数据库模…

MySQL · 引擎特性 · 基于InnoDB的物理复制实现(转载)

http://mysql.taobao.org/monthly/2016/05/01/ 在开始之前,你需要对InnoDB的事务系统有个基本的认识.如果您不了解,可以参考我之前的几篇关于InnoDB的文章,包括InnoDB的事务子系统,事务锁,redo log,undo log,以及崩溃恢复逻辑.在这里我们简单的概述一下几个基本的概念: 事务ID:一个自增的序列号,每次开启一个读写事务(或者事务从只读转换成读写模式)时分配并递增,每更新256次后持久化到Ibdata的事务系统页中.每个读写事务都必…

MySQL · 引擎特性 · 临时表那些事儿

前言相比于普通的用户数据表,MySQL/InnoDB中的临时表,大家应该会陌生很多.再加上不同的临时表创建的时机和创建的位置都不固定,这也进一步加大神秘感.最让人捉摸不透的是,临时表很多时候会先创建文件,然后什么都不做,就把文件删除,留一个句柄读写,给人的感觉是神龙见首不见尾.本文分析了详细MySQL各个版本临时表的处理方式,希望对大家有所帮助. 综述准确的说,我们常说的临时表分为两种,一种真的是表,用来存储用户发送的数,读写走的是表读写接口,读写的时候表一定在文件系统上存在,另外一种,应该…

Mysql引起的spring事务失效

老项目加新功能,导致出现service调用service的情况..一共2张表有数据的添加删除.然后测试了一下事务,表A和表B,我在表B中抛了异常,但结果发现,表B回滚正常,但是表A并没有回滚.显示事务失效. 比较巧的是表A和表B是在不同的service中,所以最开始想到的是多service导致的,但是查看了事务的定义后发现,事务的传播被设置成required,所以按理说所有service会处在一个事务中.经过痛苦的各种折腾各种尝试未果后,无意中发现每次都是表A事务无法回滚,这就有点奇怪了,这明显…

MySQL引擎介绍ISAM,MyISAM,HEAP,InnoDB

MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的.要添加一个新的引擎,就必须重新编译MYSQL. 在缺省情况下,MYSQL支持三个引擎:ISAM.MYISAM和HEAP.另外两种类型INNODB和BERKLEY(BDB),也常常可以使用. 如果技术高超,还可以使用MySQL++ API自己做一个引擎.下面介绍几种数据库引擎: ISAM: ISAM是一个定义明确且历经时间考验的数据表格管理方法,它在设计之时就考虑到数据库被查询的次数要远大于更新的次数.因此,ISAM执行读取操作的速…

(转)Mysql技术内幕InnoDB存储引擎－事务&备份&性能调优

事务原文:http://yingminxing.com/mysql%E6%8A%80%E6%9C%AF%E5%86%85%E5%B9%95innodb%E5%AD%98%E5%82%A8%E5%BC%95%E6%93%8E%EF%BC%8D%E4%BA%8B%E5%8A%A1%E5%A4%87%E4%BB%BD%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98/ transaction是数据库区别于文件系统的重要特性之一,innodb引擎完全符合事务的ACID特性. At…

MySQL技术内幕InnoDB存储引擎（七）——事务

什么是数据库的事务? 事务是访问并更新数据库中各种数据的一个程序执行单元.事务也是数据库区别于文件系统的一个重要特性. 事务需要满足的特性 1.原子性原子性就是指数据库中的一个完整的事务是不可分割的工作单位.要么都成功,要么都失败,不能执行一部分. 2.一致性一致性指事务将数据库从一种状态转变为下一种一致的状态. 所谓一致性状态,就是数据库的数据满足约束的要求. 3.隔离性事务的隔离性要求每个读写事务的对象对其他事务的操作对象能相互分离,也就是一个事务提交对其他事务不可见,可以用锁来实现.…

MySql存储引擎特性对比

下表显示了各种存储引擎的特性: 其中最常见的两种存储引擎是MyISAM和InnoDB 刚接触MySQL的时候可能会有些惊讶,竟然有不支持事务的存储引擎,学过关系型数据库理论的人都知道,事务是关系型数据库的核心.但是在现实应用中(特别是互联网),为了提高性能,在某些场景下可以摈弃事务.下面一一介绍各种存储引擎: MyISAM存储引擎 MyISAM是MySQL官方提供默认的存储引擎,其特点是不支持事务.表锁和全文索引,对于一些OLAP系统,操作速度快. 每个MyISAM在磁盘上存储成三个文件.文…

Mysql表的七种引擎类型,InnoDB和MyISAM引擎对比区别总结

InnoDB和MyISAM区别总结我用MySQL的时候用的是Navicat for MySQL(Navicat for mysql v9.0.15注册码生成器)操作库.表操作的,默认的表就是InnoDB类型,也就没有在意.最近做项目时发现表里除了有InnoDB类型外还有MyISAM类型,上官网看了看之后做以下总结: 原来是MyISAM类型不支持事务处理等高级处理,而InnoDB类型支持. MyISAM类型的表强调的是性能,其执行数度比InnoDB类型更快,但是不提供事务支持,而InnoDB提供…

搞懂MySQL InnoDB事务ACID实现原理

前言说到数据库事务,想到的就是要么都做修改,要么都不做.或者是ACID的概念.其实事务的本质就是锁和并发和重做日志的结合体.那么,这一篇主要讲一下InnoDB中的事务到底是如何实现ACID的. 原子性(atomicity) 一致性(consistency) 隔离性(isolation) 持久性(durability) 一.隔离性其实隔离性的实现原理就是锁,因而隔离性也可以称为并发控制.锁等.事务的隔离性要求每个读写事务的对象对其他事务的操作对象能互相分离.再者,比如操作缓冲池中的LRU列表,…

Mysql存储引擎特性总结

几个常用存储引擎的特点下面我们重点介绍几种常用的存储引擎并对比各个存储引擎之间的区别和推荐使用方式. 特点 Myisam BDB Memory InnoDB Archive 存储限制没有没有有 64TB 没有事务安全支持支持锁机制表锁页锁表锁行锁行锁 B树索引支持支持支持支持哈希索引支持支持全文索引支持集群索引支持数据缓存支持支持索引缓存支持支持支持数据…

二、mysql存储引擎之InnoDB

一.存储引擎简介 mysql采用业务逻辑和数据存储分离的架构,底层的存储引擎为上层的SQL层提供了支持:mysql采用的是插件的方式将存储引擎直接加载到正在运行的MySQL中,这是mysql的一个重要特性: 以下命令可以查询当前mysql支持的存储引擎: show engines; 本文环境: 1)mysql版本为:5.7.18 2)系统: mac os 存储引擎9种: 除了FEDERATED以外的8种都是支持的,默认是InnoDB: 二.InnoDB特点 1)存储限制:64TB 2)事务安全:…

MySQL引擎各个引擎对比介绍

1.什么是存储引擎? 存储引擎类似于录制的视频文件,可以转换成不同的格式,如MP4,avi等格式,而存储在我们的磁盘上也会存在于不同类型的文件系统中如:Windows里常见的NTFS,fat32等.存在于linux系统中的ext3,ext4,xfs,但是呈现给客户的东西是一样的,只是存储的内部方式不一样.直观的区别是清晰度和占用的空间不一样. 类比于,就是数据库表里的数据存储在数据库里及磁盘上的系统格式特征,不同的存储引擎存取,引擎功能,占用的空间大小,读取性能等可能有区别. 2.MySQL的存…

一文快速搞懂MySQL InnoDB事务ACID实现原理（转）

这一篇主要讲一下 InnoDB 中的事务到底是如何实现 ACID 的: 原子性(atomicity) 一致性(consistency) 隔离性(isolation) 持久性(durability) 隔离性隔离性的实现原理就是锁,因而隔离性也可以称为并发控制.锁等.事务的隔离性要求每个读写事务的对象对其他事务的操作对象能互相分离. 再者,比如操作缓冲池中的 LRU 列表,删除,添加.移动 LRU 列表中的元素,为了保证一致性那么就要锁的介入. InnoDB 使用锁为了支持对共享资源进行并发访问,…

TokuDB · 引擎特性 · HybridDB for MySQL高压缩引擎TokuDB 揭秘

原文出处:阿里云RDS-数据库内核组 HybridDB for MySQL(原名petadata)是面向在线事务(OLTP)和在线分析(OLAP)混合场景的关系型数据库.HybridDB采用一份数据存储来进行OLTP和OLAP处理,解决了以往需要把一份数据多次复制来分别进行业务交易和数据分析的问题,极大地降低了数据存储的成本,缩短了数据分析的延迟,使得实时分析决策称为可能. HybridDB for MySQL兼容MySQL的语法及函数,并且增加了对Oracle常用分析函数的支持,100%完全兼…