KingbaseES toast技术原理及实现

前言

1、TOAST的作用

TOAST全称是The Oversized-Attribute Storage Technique, 超大属性存储技术，就是超长字段在数据库中的存储方式。主要用来应对物理数据行超大的场景。

在KingbaseES中，页是数据在文件存储中的基本单位，它的大小是固定的，并且只能在编译期指定，默认的大小为8kb。同时不允许一行数据跨页存储。因此页大小就是行大小的硬上限，因此，引入了TOAST技术，TOAST技术是采用压缩和切片的方式，使得行的大小变小。需要说明这一技术对用户来说是完全透明的。

2、关于toast压缩

我们创建的每个表都有自己关联且唯一的TOAST表。当数据超过TOAST_TUPLE_THRESHOLD(默认2KB)时，数据库将压缩数据。

如果对大列数据的压缩后没有得到更小的块(<2KB)，那么它将被拆分为更小的块，并存储在相关TOAST表中多个物理行（行外存储）。

每个原始表字段值都被一个指针替换，实际上根据这个指针可以找到对应toast表中行外存储的数据。

3、数据库中表字段的TOAST策略

PLAIN: 避免压缩和行外存储。

EXTENDED：允许压缩和行外存储。

EXTERNAL: 允许行外存储，但不允许压缩。

MAIN: 允许压缩，但不允许行外存储。

4、查看表字段的TOAST策略

[](javascript:void(0)

EST=# \d+ t1
                               Table "PUBLIC.T1"
 Column |       Type        | Modifiers | Storage  | Stats target | Description
--------+-------------------+-----------+----------+--------------+-------------
 ID     | INTEGER           |           | plain    |              |
 NAME   | CHARACTER VARYING |           | extended |              |

[](javascript:void(0)

其中的Storage对应字段使用的TOAST策略。

5、修改表字段的TOAST策略

alter table tablename alter column column_name set storage EXTENDED;

toast技术的实现方式：

[](javascript:void(0)

创建一张 tosttest 表

test=# create table tosttest(id int, tad text, name text);
CREATE TABLE
TEST=# \d+ tosttest;
                                  Table "public.tosttest"
 Column |  Type   | Collation | Nullable | Default | Storage  | Stats target | Description
--------+---------+-----------+----------+---------+----------+--------------+-------------
 id     | integer |           |          |         | plain    |              |
 tad    | text    |           |          |         | extended |              |
 name   | text    |           |          |         | extended |              |
Access method: heap

如上，interger类型默认TOAST策略为plain，而text类型为extended，所以对于非变长数据类型默认是不需要toast存储的。如果表中字段需要用到TOAST，那么数据库会自动创建一张TOAST表负责行外存储。

test=# select relname,relfilenode,reltoastrelid from sys_class where relname='tosttest';
 relname  | relfilenode | reltoastrelid
----------+-------------+---------------
 tosttest |       92932 |         92935
(1 row)

如上，我们查到 tosttest 表的 oid为92932，其对应 TOAST 表的 oid为92935，其对应TOAST表名则为：pg_toast.pg_toast_92932，我们可以看下定义：

test=# \d+ pg_toast.pg_toast_92932;
TOAST table "pg_toast.pg_toast_92932"
   Column   |  Type   | Storage
------------+---------+---------
 chunk_id   | oid     | plain
 chunk_seq  | integer | plain
 chunk_data | bytea   | plain

验证toast表:
test=# insert into tosttest values(1, 'tad', '0123456789');
INSERT 0 1
test=# select * from tosttest;
 id | tad |  name
----+-------+------------
  1 | tad | 0123456789
(1 row)

test=# select * from pg_toast.pg_toast_92932;
 chunk_id | chunk_seq | chunk_data
----------+-----------+------------
(0 rows)
可以看到因为name只有10个字符，所以没有压缩，也没有行外存储。下面增加 name 的长度，看看会发生什么

test=# update tosttest set name=name||name where id=1;
UPDATE 1
test=# select id,tad,length(name) from tosttest;
 id | tad | length
----+-------+--------
  1 | tad |     20
(1 row)
test=# select * from pg_toast.pg_toast_92932;
 chunk_id | chunk_seq | chunk_data
----------+-----------+------------
(0 rows)
反复执行如上过程，直到 pg_toast_92932 表中有数据：

test=# select id,tad,length(name) from tosttest;
 id | tad | length
----+-------+--------
  1 | tad | 327680
(1 row)

TEST=#  select chunk_id,chunk_seq,length(chunk_data) from pg_toast.pg_toast_92932;
 chunk_id | chunk_seq | length
----------+-----------+--------
    92938 |         0 |   1988
    92938 |         1 |   1781
(2 rows)

可以看到，直到 name 的长度为327680时，对应 TOAST 表中有了2行数据，且长度都是略小于2K，这是因为 extended 策略下，先启用了压缩，然后才使用行外存储。

下面我们将 name字段的 TOAST 策略改为 EXTERNA ，禁止压缩。

test=# alter table tosttest alter name set storage external;
ALTER TABLE
test=# \d+ tosttest;
                          Table "public.tosttest"
 Column  |  Type   | Modifiers | Storage  | Stats target | Description
---------+---------+-----------+----------+--------------+-------------
 id      | integer |           | plain    |              |
 tad     | text    |           | extended |              |
 name    | text    |           | external |              |

然后我们重新插入一条数据：
test=# insert into tosttest values(2, 'tad', '0123456789');
INSERT 0 1
test=# select id,tad,length(name) from tosttest;
 id | tad | length
----+-------+--------
  1 | tad | 327680
  2 | tad |     10
(2 rows)
再次重复以上步骤，直到TOAST表中产生新的行：

test=# update tosttest set name=name||name where id=2;
UPDATE 1
TEST=#  select id,tad,length(name) from tosttest;
 id | tad | length
----+-----+--------
  1 | tad | 327680
  2 | tad |   5120
(2 rows)

TEST=# select chunk_id,chunk_seq,length(chunk_data) from pg_toast.pg_toast_92932;
 chunk_id | chunk_seq | length
----------+-----------+--------
    92938 |         0 |   1988
    92938 |         1 |   1781
    92940 |         0 |   1988
    92940 |         1 |   1988
    92940 |         2 |   1144
(5 rows)我们看到当， TOAST 表中产生了新的3条 chunk_id 为92940的行，且3行数据的 chunk_data 的长度之和正好等于name字段长度5120，所以这里并没有压缩。

[](javascript:void(0)

总结：

如果存储策略允许压缩，则TOAST优先选择压缩。

不管是否压缩，一旦数据超过2KB，就会启用行外存储，数据存储到toast表中。

修改TOAST策略，不会影响现有数据的存储方式。