J. Cole 的 InnoDB 系列 - 1. 学习 InnoDB - 深入探索核心原理之旅
原文地址:https://blog.jcole.us/2013/01/02/on-learning-innodb-a-journey-to-the-core/,本系列翻译会在其基础上扩展一些 MySQL 源码相关的一些注释和思路解读,以及配图
我已经使用 InnoDB 大约十年了,我已经足够了解它并且可以用它做我想做的大部分事情。然而,为了实现一些更加高效的解决方案,我发现我需要更加深入理解它的原理与思想。不幸的是,InnoDB 文档对 InnoDB 的内部数据结构缺乏清晰明确的解释,阅读它的源码是深入了解其原理的唯一方法。
然而,在阅读源码的过程中我很快发现代码内部结构与联系非常复杂,导致我仅仅阅读代码很难理清其中的联系。希望正在阅读这篇文章的你能够通过仅仅阅读代码就能理清(对于我个人来说,在这个过程中我产生了很多误解)
我很久以来一直采取的一种方法来理解一些复杂且文档贫乏的东西,它包括以下三个步骤:
- 阅读现有文档和现有代码,直到达成基本理解为止。在这一步中,经常会出现严重的误解或不正确的拆解。
- 编写我自己的实现,即使是一个非常基本和简陋的实现。最好是用完全不同的语言编写(这样就避免了剪切和粘贴这种偷懒的倾向)根据什么有作用和什么不起作用来修改代码,并修正我的理解。
- 根据我的新理解总结新的文档和图表。根据需要重构我的实现(在总结文档的时候,会回顾代码,这经常会发现当时实现的问题并优化原有设计)。基于重构的代码,改正文档。重复这个过程直到正确。
InnoDB 磁盘数据结构的实现
我开启了 innodb_ruby 这个项目用 Ruby 来实现 InnoDB 磁盘数据结构。我之所以选择Ruby,是因为它非常灵活,用于原型开发非常快速,而且它是我目前最喜欢的语言。其实任何语言都可以,性能也不是问题(尽管我们不希望它成为问题,因为这会让测试变得烦人)
项目启动后,我在几分钟之内实现了非常基础的 FIL 头解析(所有的 InnoDB 页类型的这部分都是一样的)。然后又用了几个小时,实现了 INDEX 页头部并且可以回答一些非常基本的问题,例如在每一索引页有多少记录,这还是比较有用的。
按照我想更深入了解 InnoDB 存储的顺序,我继续实现了我所需要的每一个关键数据结构,Davi 也参与其中编写了一些细节的实现,比如处理记录中的可变宽度字段类型。
我们现在已经基本实现了 InnoDB 主要数据结构的只读实现。
记录InnoDB的磁盘数据结构
当我解开了足够多的 InnoDB 的秘密之后,我觉得我可以开始画一些比较准确的图片来更好的展示 InnoDB 存储的原理,于是我开始为所有主要的 InnoDB 磁盘数据结构建立清晰易懂的图表。我开启了 innodb_diagrams 这个项目,并且选用了 OmniGraffle 这个绘图软件。(555~能否照顾下我们这些用不起 MacBook 的人呀)
这是,文档中的表空间文件的大部分磁盘存储格式(ibdataX 和 *.ibd 文件)都是基于 Barracuda 行格式的存储(COMPACT 行格式的记录)。对于 Antelope 行格式(REDUNDANT 行格式的记录)还有大部分文档需要补充。日志文件目前也是需要补充文档。
使用代码以及图表
目前我们已经有实现交互展示的代码,以及可以成为很好的辅助资料的图片,我打算继续写几篇关于一些更有趣但是还没有文档的文章。请持续关注吧~~
J. Cole 的 InnoDB 系列 - 1. 学习 InnoDB - 深入探索核心原理之旅的更多相关文章
- EF5+MVC4系列(9) Razor视图引擎的核心原理;@符号的使用;输出html的转义
一:Razor视图引擎的核心原理 Razor是ASP.NET MVC 3中新加入的技术,以作为ASPX引擎的一个新的替代项 ,他是一个视图引擎 他的核心原理,就是当读取到 @符号的时候,就认为这是开始 ...
- mysql 从5.1升级到5.5.33 后 innodb 表出错 及 innodb表修复
服务器使用的是mysql 5.1,了解到 5.5 系列的版本 innodb 的性能有很大提升,就想升级下.按照查到的步骤: http://www.myhack58.com/Article/sort09 ...
- 14.19 InnoDB and MySQL Replication InnoDB 和MySQL 复制:
14.19 InnoDB and MySQL Replication InnoDB 和MySQL 复制: MySQL 复制工作对于InnoDB 表和对于MyISAM表. 它是可能使用复制的方式 存储引 ...
- 【Xamarin挖墙脚系列:学习资料大放送】
原文:[Xamarin挖墙脚系列:学习资料大放送] 最靠谱的还是官方的文档,英文的,借着翻译工具,硬看吧.还能学习英文........... https://developer.xamarin.com ...
- 14.6.7 Configuring the Number of Background InnoDB IO Threads 配置InnoDB IO Threads的数量
14.6.7 Configuring the Number of Background InnoDB IO Threads 配置InnoDB IO Threads的数量 InnoDB 使用后台线程来服 ...
- 14.6.5 Configuring InnoDB Change Buffering 配置InnoDB Change Buffering
14.6.5 Configuring InnoDB Change Buffering 配置InnoDB Change Buffering 当插入,更新,和删除操作在表上执行, 索引列的值(特别是 se ...
- 14.5.5.1 An InnoDB Deadlock Example 一个InnoDB 死锁实例
14.5.5.1 An InnoDB Deadlock Example 一个InnoDB 死锁实例 下面的例子演示了一个错误可以发生当一个lock 请求会导致一个死锁,例子设计2个客户端,A和B: J ...
- 14.4.5 Configuring InnoDB Change Buffering 配置InnoDB Change Buffering
14.4.5 Configuring InnoDB Change Buffering 配置InnoDB Change Buffering 当INSERT,UPDATE,和删除操作在表上操作, 索引列的 ...
- Innodb 实现高并发、redo/undo MVCC原理
一.并发控制 因为并发情况下有可能出现不同线程对同一资源进行变动,所以必须要对并发进行控制以保证数据的同一与安全. 可以参考CPython解释器中的GIL全局解释器锁,所以说python中没有 ...
随机推荐
- 1. mac 手动安装nodejs搭建vue环境
为什么选择手动安装nodejs呢? 因为使用mac自动安装还要更新homebrew,还要安装xcode tool, 太费劲了,不如手动安装, 卸载起来也方便 再一个, 我是后台开发者, 对前端页面, ...
- js regular expression & email checker
js regular expression & email checker const isValidEmail = (email = ``) => /^([\w+\.])+@(\w+) ...
- dart 匹配基本数组
List<dynamic> evalList(String text) { var r = []; var i = 0; var isList = false; void parseSta ...
- echarts手机端,数据多时可以滚动
<div id="container" style="height: 400px"></div> <script type=&qu ...
- 为什么要抢挖Baccarat流动性挖矿的头矿?头矿的价值是什么?
今年下半年,DeFi流动性挖矿非常受投资者的欢迎,究其原因,其超高的挖矿回报率着实足够吸引无数投资者的眼球.而即将上线的Baccarat流动性挖矿,也未上线先火了一把.Baccarat是由NGK公链推 ...
- 「NGK每日快讯」12.11日NGK公链第38期官方快讯!
- Python基础之:数字字符串和列表
目录 简介 数字 字符串 字符串对象str 列表 简介 Python的主要应用是进行科学计算,科学计算的基础就是数字,字符串和列表.本文将会详细的给大家介绍一下这三个数据类型的使用情况. 数字 数字是 ...
- git配置了公钥,在下载项目时为什么还要输入密码
配置git地址:https://www.cnblogs.com/lz0925/p/10794616.html 原文链接:https://blog.csdn.net/xiaomengzi_16/arti ...
- linux系统解压命令总结
原文链接:https://www.cnblogs.com/lhm166/articles/6604852.html tar -c: 建立压缩档案 -x:解压 -t:查看内容 -r:向压缩归档文件末尾追 ...
- SSAS表格模型
Analysis Services 是在决策支持和业务分析中使用的分析数据引擎 (Vertipaq) . 它为商业智能提供企业级语义数据模型功能 (BI) .数据分析和报告应用程序,如 Power B ...