【野草】SQL Server之索引解析（一）

1、写在前面

微软专门给出SQL Server设计思路及实现路线，从7大体系结构阐述是如何实现，通过了解这些，我们就可以总结出数据库设计原则、编程中sql写法及注意事项，从而优化我们的系统性能，本系列着重讨论SQL Server索引体系。

以下为主要内容：

页和区体系结构
表和索引数据结构体系结构
查询处理体系结构

2、数据存储结构

文件->系统页->区->页

2.1 区与页

页是SQL Server存储数据的最小单元，每个页文件大小8K，每个页会存放不同页类型的数据，页主要由以下部分组成。

页头：标头
数据区：数据行和可用空间
行偏移数组：行偏移量数组指示页上行的逻辑顺序

另外，需要注意的是，磁盘I/O操作在页级执行。

区就是一个集合概念，它是由8个物理上连续的页构成的，区有助于有效管理页。

对SQL Server而言，其页类型有很多种

类型	英文	描述	作用
1	Data Page	数据页	存储行数据、聚集索引叶、位置随机
2	Index Page	索引页	非聚集索引、聚集索引非叶子、位置随机
3	Text Mixed Page		位置随机
4	Text Page	LOB的单列值	位置随机
7	Sort Page	临时表操作页	位置随机
8	GAM Global allocation Map	全局分配表	每个区都记录一个对象，每个文件第二页时GAMP，每位表示该区是否可用
9	SGAM Shared Global Allocation map	全局共享分配表	每个区都记录混合对象数据，每个文件的第三页
10	IAM Index Allocation Map	索引分配图	记录表对象数据存储在哪些区，将这些区连在一起就构成一个表数据存储。
11	Page Free Space	自由空间页	记录每页自由空间情况，每个字节代表一个页
13	Boot Page	启动页信息
14	Server Configuration Page	服务配置信息
15	File Header Page	文件头信息	总是在第0页
16	Differential Changed map		每个文件第6页，上次备份差异化
17	Bulk Change Map		每个文件第7页，上次备份批量差异化

问题

1. 头部为什么要96字节，它记录什么东西？

2. 数据行系统开销是什么，为什么是7字节，它怎么记录数据的？

3. 行偏移量数据干啥用的？

4. 数据是怎么通过数据页完成CURD的？

5. 怎么观测到页内容？

2.1.1 页头

存储页的系统信息，固定长度96字节。
记录页所在存储位置，页间双链表关系，页存储空间信息，页数据事务数据情况。
根据这些情况，可判定是否要插入新数据、插入什么位置、涉及事务如何回滚、还原

2.1.2 数据行

行头系统信息存储：

Bit 0 位，版本信息

Bits 1-3 位，行记录类型

0，primary record，主记录

1：forwarded record

2：forwarding stub

3：index record，索引记录

4：blob或者行溢出数据

5：ghost索引记录

6：ghost数据记录

Bit 4 位，NULL位图

Bit 5 位，表示行中有变长列

Bit 6 位，保留

Bit 7 位，ghost record（幽灵记录）

数据行大小计算公式：定长位数据大小+变长数据大小+空行数+4

最小系统开销：行头(2)+定长列数(2)+空(1)+变长列数(2)

注意：定长和变长是针对字符型数据而言的

注意：表格中关于Char不定长字符数据的描述是错误，所以配了第二张图

1. 转发存根和转发记录的产生

数据更新时，产生转发存根、转发记录。

如果一个数据页已经填满了，但对它某行的某一变长列更新时，此列的更新长度大于当前长度导致该数据页的字节数大于8192字节时，系统会拿出最长的列，存到Row overflow Data数据页中。当前页的某行某列存放转发存根24字节，另外一个数据页存放列数据。转发行指针24字节。

由此产生几个问题

对查询危害是，查询该行时的数据至少要查询2个数据页。
对更新时，数据是否满，是否要新增或删除转发存根记录。

2. 鬼影索引、鬼影数据、鬼影版本？的产生

当做delete操作时，系统不是立马删除数据，而是在数据行里标记鬼影记录，为了防止与查询互斥，标记一个鬼影版本。如果该表有索引，那么相应的索引页里索引行也标记鬼影数据记录。方便事务回滚操作。如果事务都结束了，由鬼影服务程序每过默认5秒会删除鬼影数据。数据页的页头也会标记有鬼影记录。

2.1.3 行偏移量数据

行偏移是一个个小块组成的，每个小块2个字节，表示数据行从第几个字节后开始记录，也就是距离页头多少偏移量开始记录
存储方式是从游往左存储，用槽位来描述，slot 0 ，slot 1 ....
行偏移量记录的内容是什么呢？该行记录从哪个字节开始，一般情况下，slot 1 从第96个字节后开始
常说的聚集索引存储顺序是物理排序，指的不是行记录物理排序，而是行偏移量物理排序，数据页中，行记录都是顺序往后添加的，通过修改行偏移量来达到聚集索引的顺序查找

Slot array，行偏移量数组系统至少会保留36字节，每2字节表示1列。

每一行的数据内容最多不能超过8053，因为SQL Server还需要对每一行的数据最少附加7字节的系统数据。

2.1.4 数据库表设计与操作注意事项

表设计注意事项

1. 保持表中列的总长度不超过以公式为准(防止 row overflow data、blob data)

8192-96-（2+定长列总长度+2+空值列个数/8+变长列数2+（变成长列长度+2列偏移量））

只有定长位：固定长列总长度<8192-96-2-2-2-列数/8
只有变长列：变长列总长度<8192-96-2-2-2-列数/8-2*变长列数偏移量
有变长和定长：固定长列总长度+变长列总长度<8192-96-2-2-列数/8-2*变长列数-变长列数*2
完美表设计：（固定长列总长度+变长列总长度）N倍=8192-96-2-2-2-列数/8-2*变长列数偏移量-2N

2. 每个变长列最好是填充满，更新时页更新满。

如果有变长列，在做更新时列长度不一致。当一个数据页满时，如果更新的列数据长度大于现有数据，则会出现行溢出（row overflow data）。造成查询时多查找一次。

3. 最好不要出现null列，null列也会造成 row overflow data。当数据页满时，更新数据时也会产生。

操作注意事项

1．更新操作变长列时，最好保持长度一致。避免row overflow data。

2．查询时尽量指定列，如果查询所有列时会发生查找到的行的某一变长列，有可能另外row overflow data 页查找。多查询一次。

为什么不建议使用Select *????

2.1.5 相关类型页结构

索引页和索引叶子页结构

非聚集索引存储结构:
- 索引值+Page页码 Btree中间位
- 索引值+Page页码+主键值 Btree叶子节点
聚集索引存储结构
- 索引值+Page页码 Btree中间位
- 数据行 Btree叶子节点

1、系统空间分配情况

区分配情况GAM和SGAM

GAMP:Global Allocation Map Pages 全局映射分配表，区属于一个对象.

SGAMP:Shared Global Allocation Map Pages 全局共享映射分配表，区属于不同对象.

页空间分配情况PFS (Page free space)

用于跟踪页可用空间情况，每个字节代表一个页信息，总共可以记录8088页情况，

还有8个字节哪里去？

系统通过GAM和SGAM管理区空间分配情况，通过PFS管理页空间使用情况

2、IAM 索引分配页

将表或视图对象通过IAM将（Data page、Index page、row overflow page、blob page）对于同一对象，每种数据类型都会产生IAM页，IAM用于管控对象包含哪些页文件，每8个页为一个独立区。

GAM-SGAM-IAM状态位表示

3、备份与还原 DCM和BCM

DCM：differential change map 差异变更映射图。

差异化备份时,DCM有效。

用于记录每个区自上次完全备份后是否发生变更，每个位表示1个区，1表示修改过，0表示未变更。记录8096*8个字节。

如果一个区内某个页发生变更该区会被记录变更过，但进行差异化备份时，会对发生变更的区进行备份，差异化备份减少备份量。

BCM：Bulk Change Map:批量表更映射图。

在做简单备份和完全备份两个模式中，BCM无效。

当sqlserver发生批量操作时，日志并不是完全记录而是最小化记录，如果备份采用日志备份，并不能完全回滚数据。那么BCM就为这样的批量操作做了记录。BCM责任记录每个区自上次完全日志备份后是否发生批量操作。每位记录一个区是否有批量操作，每个页记录当前页是否有批量操作记录。记录8096*8字节。