PostgreSQL中的Toast Pointer

1、分析背景

　　在使用数据库的过程中（PG的版本为9.2），遇到了错误"missing chunk number 0 for toast value XX in pg_toast_2619"。根据错误描述，猜测原因可能是：主表字段还留存着Toast Pointer，但Toast表中已经没有对应的Chunk条目。证明这个猜测的关键，是根据主表字段的Toast Pointer，去找Toast Pointer所指向的Chunk条目是否存在。自然，读懂（解析）Toast Pointer就是分析的第一步，但我查阅了大量资料后却没有找到直接解析Toast Pointer的方法，只好自己尝试去分析。本文就是要探索Toast Pointer解析的方法，并对Toast Pointer的结构进行说明。

　　在分析之前，先说明主表与Toast表的组织关系，如下图：

2、分析方法

分析思想：通过对数据内容的分析，反向推演数据的结构。

分析方法：制造数据得到一个真实的Toast Pointer，通过对Toast Pointer二进制表达的分析，确定Toast Pointer由哪几部分组成以及各部分的含义，并加以证明。

3、分析过程

基于上述分析方法，分析过程如下：

1）安装pageinspect扩展

借助该扩展，可查看page中各结构体的数值，以及tuple（行）的Raw值（得到Toast Pointer必须查看RAW值，因为通过SQL来查询B字段，将得到Toast Pointer所指向的value，而不是B字段存储的Toast Pointer）。

2）制作测试数据

创建了测试表t，向表t的col字段插入了长度为3808的字符串。col字段的存储类型为"extended"，说明会首先压缩，如果压缩后仍然超过TOAST_TUPLE_THRESHOLD（一般为2K），将使用Toast表。

3）检查Toast是否启用

表t对应的Toast表OID为27132，表名为pg_toast_27129。

pg_toast_27129的大小不为0，说明在该例中启用了Toast表。

4）检查col字段是否启用了压缩

col字段的字符个数为3808，但存储仅占用了2763字节，说明col字段启用了压缩。该现象与col字段的存储类型"extend"一致。

5）查看pg_toast_27129表中的chunk条目

col字段中的字符串被分成2个chunk，即在Toast表中有2个chunk条目。2个chunk条目长度合计值为2763，与上一步压缩后的存储字节数一致。

6）得到col字段的RAW值

使用pageinspect扩展的get_raw_page、heap_page_items函数，得到表t唯一一条记录的row value（即t_data）值，该row value也是唯一的一个字段col在内存中的二进制表达。

在pg的官方文档中，对Toast有这样的一段描述：

从上文选中部分可知，Toast Pointer的大小为18字节，包括变长标头、字段值实际长度、字段值逻辑长度、Toast表OID、Toast Chunk OID 共5个部分。OID一般占用4字节，我们从t_data的最右边分析起，先取4个字节0xfc690000。由于X86架构下，使用小端存储，因此内存中的0xfc690000，实际的字节序为0x000069fc，将其转换为10进制数值

而27132，正是Toast表的OID：

因此，最右边4个字节代表Toast表的OID。

　继续取下一个4字节0xff690000，转换为10进制数值：

而27135，正是Chunk的OID：

因此靠右的5-8字节代表Chunk的OID。

继续取下一个4字节0xcb0a0000，转换为10进制数值：

而2763，正是col字段的逻辑长度（压缩后的长度）：

因此靠右的9-12字节代表字段值的逻辑长度。

继续取下一个4字节0xe40e0000，转换为10进制数值：

而3812，正是col字段实际长度3808+4（表示实际长度所占用的4字节）：

　因此靠右的13-16字节代表字段值的实际长度（包括表示长度的4字节自身）。

至于最后的2字节0x0112，以不同的值插入时，这两个字节的内容是不变的。暂时没有分析清楚这两个字节所代表的含义。

4、分析结论

　　综上分析，Toast Pointer的大小由18字节、5部分组成，分别是：

字节流（从左往右）	含义
1-2	不详
3-6	字段值的实际长度
7-10	字段值的逻辑长度
11-14	Chunk号，即Chunk_id
15-16	Toast表的OID

　　如果遇到了"missing chunk number 0 for toast value XX in pg_toast_2619 "错误，可通过如下方法进行验证：

　　1）通过上文的方法得到某行某列值的Toast Pointer

　　2）再从Toast Pointer中解析得到Toast表的OID（这个从pg_class中也可以得到）、Chunk号，

　　3）去Toast表中查询是否存在该Chunk_id对应的条目。