原文地址:https://blog.jcole.us/2013/01/02/on-learning-innodb-a-journey-to-the-core/,本系列翻译会在其基础上扩展一些 MySQL 源码相关的一些注释和思路解读,以及配图

我已经使用 InnoDB 大约十年了,我已经足够了解它并且可以用它做我想做的大部分事情。然而,为了实现一些更加高效的解决方案,我发现我需要更加深入理解它的原理与思想。不幸的是,InnoDB 文档对 InnoDB 的内部数据结构缺乏清晰明确的解释,阅读它的源码是深入了解其原理的唯一方法。

然而,在阅读源码的过程中我很快发现代码内部结构与联系非常复杂,导致我仅仅阅读代码很难理清其中的联系。希望正在阅读这篇文章的你能够通过仅仅阅读代码就能理清(对于我个人来说,在这个过程中我产生了很多误解)

我很久以来一直采取的一种方法来理解一些复杂且文档贫乏的东西,它包括以下三个步骤:

  1. 阅读现有文档和现有代码,直到达成基本理解为止。在这一步中,经常会出现严重的误解或不正确的拆解。
  2. 编写我自己的实现,即使是一个非常基本和简陋的实现。最好是用完全不同的语言编写(这样就避免了剪切和粘贴这种偷懒的倾向)根据什么有作用和什么不起作用来修改代码,并修正我的理解。
  3. 根据我的新理解总结新的文档和图表。根据需要重构我的实现(在总结文档的时候,会回顾代码,这经常会发现当时实现的问题并优化原有设计)。基于重构的代码,改正文档。重复这个过程直到正确。

InnoDB 磁盘数据结构的实现

我开启了 innodb_ruby 这个项目用 Ruby 来实现 InnoDB 磁盘数据结构。我之所以选择Ruby,是因为它非常灵活,用于原型开发非常快速,而且它是我目前最喜欢的语言。其实任何语言都可以,性能也不是问题(尽管我们不希望它成为问题,因为这会让测试变得烦人)

项目启动后,我在几分钟之内实现了非常基础的 FIL 头解析(所有的 InnoDB 页类型的这部分都是一样的)。然后又用了几个小时,实现了 INDEX 页头部并且可以回答一些非常基本的问题,例如在每一索引页有多少记录,这还是比较有用的。

按照我想更深入了解 InnoDB 存储的顺序,我继续实现了我所需要的每一个关键数据结构,Davi 也参与其中编写了一些细节的实现,比如处理记录中的可变宽度字段类型。

我们现在已经基本实现了 InnoDB 主要数据结构的只读实现。

记录InnoDB的磁盘数据结构

当我解开了足够多的 InnoDB 的秘密之后,我觉得我可以开始画一些比较准确的图片来更好的展示 InnoDB 存储的原理,于是我开始为所有主要的 InnoDB 磁盘数据结构建立清晰易懂的图表。我开启了 innodb_diagrams 这个项目,并且选用了 OmniGraffle 这个绘图软件。(555~能否照顾下我们这些用不起 MacBook 的人呀)

这是,文档中的表空间文件的大部分磁盘存储格式(ibdataX 和 *.ibd 文件)都是基于 Barracuda 行格式的存储(COMPACT 行格式的记录)。对于 Antelope 行格式(REDUNDANT 行格式的记录)还有大部分文档需要补充。日志文件目前也是需要补充文档。

使用代码以及图表

目前我们已经有实现交互展示的代码,以及可以成为很好的辅助资料的图片,我打算继续写几篇关于一些更有趣但是还没有文档的文章。请持续关注吧~~

J. Cole 的 InnoDB 系列 - 1. 学习 InnoDB - 深入探索核心原理之旅的更多相关文章

  1. EF5+MVC4系列(9) Razor视图引擎的核心原理;@符号的使用;输出html的转义

    一:Razor视图引擎的核心原理 Razor是ASP.NET MVC 3中新加入的技术,以作为ASPX引擎的一个新的替代项 ,他是一个视图引擎 他的核心原理,就是当读取到 @符号的时候,就认为这是开始 ...

  2. mysql 从5.1升级到5.5.33 后 innodb 表出错 及 innodb表修复

    服务器使用的是mysql 5.1,了解到 5.5 系列的版本 innodb 的性能有很大提升,就想升级下.按照查到的步骤: http://www.myhack58.com/Article/sort09 ...

  3. 14.19 InnoDB and MySQL Replication InnoDB 和MySQL 复制:

    14.19 InnoDB and MySQL Replication InnoDB 和MySQL 复制: MySQL 复制工作对于InnoDB 表和对于MyISAM表. 它是可能使用复制的方式 存储引 ...

  4. 【Xamarin挖墙脚系列:学习资料大放送】

    原文:[Xamarin挖墙脚系列:学习资料大放送] 最靠谱的还是官方的文档,英文的,借着翻译工具,硬看吧.还能学习英文........... https://developer.xamarin.com ...

  5. 14.6.7 Configuring the Number of Background InnoDB IO Threads 配置InnoDB IO Threads的数量

    14.6.7 Configuring the Number of Background InnoDB IO Threads 配置InnoDB IO Threads的数量 InnoDB 使用后台线程来服 ...

  6. 14.6.5 Configuring InnoDB Change Buffering 配置InnoDB Change Buffering

    14.6.5 Configuring InnoDB Change Buffering 配置InnoDB Change Buffering 当插入,更新,和删除操作在表上执行, 索引列的值(特别是 se ...

  7. 14.5.5.1 An InnoDB Deadlock Example 一个InnoDB 死锁实例

    14.5.5.1 An InnoDB Deadlock Example 一个InnoDB 死锁实例 下面的例子演示了一个错误可以发生当一个lock 请求会导致一个死锁,例子设计2个客户端,A和B: J ...

  8. 14.4.5 Configuring InnoDB Change Buffering 配置InnoDB Change Buffering

    14.4.5 Configuring InnoDB Change Buffering 配置InnoDB Change Buffering 当INSERT,UPDATE,和删除操作在表上操作, 索引列的 ...

  9. Innodb 实现高并发、redo/undo MVCC原理

    一.并发控制   因为并发情况下有可能出现不同线程对同一资源进行变动,所以必须要对并发进行控制以保证数据的同一与安全.   可以参考CPython解释器中的GIL全局解释器锁,所以说python中没有 ...

随机推荐

  1. 翻译:《实用的Python编程》01_03_Numbers

    目录 | 上一节 (1.2 第一个程序) | 下一节 (1.4 字符串) 1.3 数字 本节讨论数学计算. 数字类型 Python 有 4 种类型的数字: 布尔型 整型 浮点型 复数(虚数) 布尔型( ...

  2. Chrome 黑科技

    Chrome 黑科技 秒变记事本 data:text/html, <htmlcontenteditable> OK <a href="data:text/html, &qu ...

  3. Python Quiz & Python Exercise

    Python Quiz & Python Exercise https://www.w3schools.com/quiztest/quiztest.asp?qtest=PYTHON https ...

  4. Web Components & HTML5 & template & slot

    Web Components & HTML5 & template & slot https://developer.mozilla.org/en-US/docs/Web/HT ...

  5. js & sort array object

    js & sort array object sort array object in js https://flaviocopes.com/how-to-sort-array-of-obje ...

  6. webassembly & google

    webassembly & google https://developers.google.com/web/updates/2018/08/wasm-av1 https://develope ...

  7. 为什么NGK推出的DEFI项目这么火热?

    进入到2020年的下半年,DeFi的锁仓量基本上是以日破新高的态势,不断的成为一个独角兽.DeFi逐渐形成一个独角兽的同时,也在不断的给区块链生态赋能,源源不断进行金融价值输送.所以加密货币体量的不断 ...

  8. Byte Buddy学习笔记

    本文转载自Byte Buddy学习笔记 简介 Byte Buddy是一个JVM的运行时代码生成器,你可以利用它创建任何类,且不像JDK动态代理那样强制实现一个接口.Byte Buddy还提供了简单的A ...

  9. epoll 原理

    本文转载自epoll 原理 导语 以前经常被人问道 select.poll.epoll 的区别,基本都是靠死记硬背的,最近正好复习 linux 相关的内容,就把这一块做个笔记吧,以后也能方便查阅. e ...

  10. 如何使用irealtime.js实现一个基于websocket的同步画板

    同步画板演示 同时打开2个tab,分别在画布上写下任意内容,观察演示结果,同时可设置画笔颜色及线条宽度.演示地址 初始化画布 <canvas id="drawBoard" w ...