文件系统的block 数据库中的block 以及内存中的page基础知识汇总(自己理解 可能有误)

1. 操作系统文件系统中的的block

文件系统中的block 是文件系统最小的读写单元,在HDD的磁盘时代, 一般block的大小可能与磁盘的扇区大小一致为 512bytes

也因为这个原因MBR启动的手 0磁道 0扇区的 512bytes 首先加载到内存, 先包含了 446byte的MBR启动信息, 还包含 64bytes 的磁盘分区信息 所以MBR的磁盘格式只支持4个主分区 并且大小仅能够扩展到2TB

后来使用GPT分区的模式可以扩充使用2TB大小以上的磁盘.

操作系统的文件簇大小 可以与扇区大小也可以是扇区大小的整数倍

比较常见的SSD 一般是4kB的扇区大小 所以就有一个SSD操作系统盘的 4k对齐问题(Win7 MBR的情况)

单个文件系统的block 仅能够分给一个文件, 不能同时被两个文件持有, 所以如果文件block较大的情况下会造成磁盘空间的大量浪费

但是如果文件系统的block太小的话 又会影响一定的IO性能.

2. 数据库中的block

oracle与sqlserver针对最小的数据库的读写单元的命名不一样

oracle跟操作系统一般 将最小的读写单元写为block sqlserver的叫做page

他们的大小与操作系统相关 一般为操作系统文件系统的block的整数倍

比如一般的windows系统的文件簇是4kB 的话 oracle与 sqlserver的基本的block的大小就是8kB

sqlserver的page中有page head 和 业内偏移量等信息内容, 单个page 是 8192bytes 一般可用来存数据的部分是 8060byte 其余的 132 byte 用来存储头和偏移量

Oracle的block 在dbca创建数据库时可以指定, 也是操作系统的整数倍 11g 以上的版本一般默认都是 8kB 可以调整为更大的情况

数据库的单次IO 会抓取一个block中的内容填充到SGA区域中(direct path read 应该是读取到PGA区域中)

oracle数据库 多个block 组成extent区域 oracle应该 以extent为最小的逻辑分配单元 给schema分配存储区域

extent 在11g 最开始增加了延迟短创建的特性, 创建完没有insert数据时 是不进行extent段的创建的

extent在首次创建时好像只包含8个block 也就是 64kB大小

当扩展到一定程度到达16个extent 时 也就是1MB 大小时 可能会默认每次分配1MB 的区域给这个用户

Oracle为了提高extent的扩展性能这一块做过很多优化处理

Oracle只是块级别的并发 行级锁 好像就是可以同时处理一个extent区域内的block记录 提高并发响应性能.

3. 内存页面.

现代操作系统处理的都是虚拟内存, 由硬件底层或者是其他方式进行虚拟内存与物理内存的映射处理.

在不启用大页的情况下x86的操作系统不管是windows还是linux很多现在常用的版本的单个内存页面的大小都是4KB 大小了,

为了加快内存的访问速度, CPU 访问内存一般通过多级缓存来进行,

这里面可以有一个微观的认识:

光速是30万千米没小时在一个3GHZ的CPU 的一个cycle内 光可以走10cm 感觉此处可能会限制CPU 做到特别大面积的可能.

CPU访问寄存器 应该是在一个1cycle内来解决,时间是0.5ns以内

CPU 访问内存的延迟要高一些,可能达到十几个cycle 总体时间可能要12ns左右

CPU 完成获取内存地址以及从内存中取数可能会耗时超过100ns

从硬盘中取数 加上磁盘寻道以及数据获取大概要耗时10ms以上, 此时看到内存中的速度要比硬盘中快十万倍 但是比CPU 寄存器取数也要慢100-200倍

CPU为了加快内存取数 内存寻址部分尽量没有通过内存获取 而是通过寄存器或者是一二三级缓存来实现

寄存器的名字是TLB TLB 里面应该是存储了 64位地址长的部分 因为一个内存页面是4KB 所以 需要有12内的页内偏移量来一个位标识一个bytes内的内容 除了12位偏移量的部分 来标识页的位置

现在应该是段页式内存管理, 但是操作系统的课程没学好, 这一段内容一致没理解透彻.

因为TLB 的总体大小有限,所以TLB中进行虚拟地址到物理地址的转换总是会出现TLB miss 所以可以增加page entry的方式来缩减 页表项目 我理解为增加地址中页内偏移量的大小来减少内存中的页数,保证TLB的hits命中率来提高性能

Linux里面大页的处理 应该/proc/meminfo 信息中包含hugepage的字段 即可视为支持大页.

我对windows的段页式内存管理 一直没有理解好(其实深入的内容都不理解...!-_-!).

一个IO操作可能涉及的点是非常多的. 以上只是自己简单的理解 非常不全面.