KingbaseES sys_prewarm 扩展

Oracle 在查询数据可以通过cache hint 所访问的数据cache 到数据库buffer，对于KingbaseES，如何将数据加载到cache 了？sys_prewarm 扩展插件可以实现数据的cache

一、准备数据

test=# create table prewarm_test1(id integer,name text);

CREATE TABLE

test=# insert into prewarm_test1 select generate_series(1,3000000),md5(random()::text);

INSERT 0 3000000

test=# select pg_size_pretty(pg_relation_size('prewarm_test1'));

 pg_size_pretty

----------------

 195 MB

(1 row)

create table prewarm_test2 as select * from prewarm_test1;

create index ind_prewarm_test2 on prewarm_test2(id);

二、select 操作与 cache

1、统计cache信息的脚本

为了取得cache 的信息，必须安装 sys_buffercache 扩展插件。cache 统计的脚本如下：

select c.relname, count(*) as buffers

from sys_buffercache b

inner join pg_class c on b.relfilenode = pg_relation_filenode(c.oid)

    and b.reldatabase in (0, (select oid from pg_database where datname = current_database()))

group by c.relname

order by 2 desc;

2、全表访问

为了保证数据准确，在访问之前，必须先重启下数据库（清理shared_buffer）。

数据库刚启动是的buffer 状态：

                 relname                 | buffers

-----------------------------------------+---------

 pg_attribute                            |      36

 pg_class                                |      25

 pg_proc                                 |      13

全表访问 1 次后的buffer 状态：

test=# select count(*) from prewarm_test1;

  count

---------

 3000000

(1 row)

                    relname                    | buffers

-----------------------------------------------+---------

 prewarm_test1                                 |      96

 pg_attribute                                  |      36

 pg_class                                      |      25

再次全表访问后的状态：

test=# select count(*) from prewarm_test1;

  count

---------

 3000000

(1 row)

                   relname                    | buffers

-----------------------------------------------+---------

 prewarm_test1                                 |     192

 pg_attribute                                  |      36

 pg_class                                      |      25

结论：可以看到全表全表访问并不会把全部的数据缓存。对于大小超过shared_buffer/4的表进行全表扫描时，不会使用全部的shared_buffer，而是只使用很少一部分的shared_buffer。

3、索引访问

test=# end;

test=# \set SQLTERM /

test=# declare

test-#   v_temp integer;

test-# begin

test-#   for i in 1..3000000 loop

test-#     select id into v_temp from prewarm_test2 where id=i;

test-#   end loop;

test-# end;

test-# /

ANONYMOUS BLOCK

                 relname                 | buffers

-----------------------------------------+---------

 prewarm_test2                           |   12287

 ind_prewarm_test2                       |    4044

 pg_class                                |      25

结论：通过索引访问的块，会缓存在cache中

三、sys_prewarm

1、创建sys_prewarm 扩展

test=# create extension sys_prewarm;

CREATE EXTENSION

test=# \dx+ sys_prewarm

           Objects in extension "sys_prewarm"

                   Object description

--------------------------------------------------------

 function autoprewarm_dump_now()

 function autoprewarm_start_worker()

 function sys_extend(regclass,bigint)

 function sys_prewarm(regclass,text,text,bigint,bigint)

(4 rows)

2、sys_prewarm 函数

create function pg_prewarm(

  regclass,

  mode text default buffer,

  fork text default main,

  first_block int8 default null,

  last_block int8 default null

)

returns int8

as module_pathname, pg_prewarm

language c

regclass：要做prewarm的表名
mode：prewarm模式。prefetch表示异步预取到os cache；read表示同步预取；buffer表示同步读入PG的shared buffer
fork：relation fork的类型。一般用main，其他类型有visibilitymap和fsm
first_block & last_block：开始和结束块号。表的first_block=0，last_block可通过pg_class的relpages字段获得
RETURNS int8：函数返回pg_prewarm处理的block数目（整型）

3、验证sys_prewarm 函数

test=# select sys_prewarm('prewarm_test1');

 sys_prewarm

-------------

       25000

(1 row)

                    relname                    | buffers

-----------------------------------------------+---------

 prewarm_test1                                 |   16026

 pg_proc                                       |     114

 pg_attribute                                  |      36

结论：运行 sys_prewarm 后，可以看到数据被有效缓存了。

4、sys_extend 函数

sys_extend 用于预先一次性扩展数据文件大小，避免数据增长的同时在去扩展文件，可以有效的提升性能。

Tips ：对于fdatasync , 文件的尺寸（st_size）如果变化，是需要立即同步的，否则OS一旦崩溃，即使文件的数据部分已同步，由于metadata没有同步，依然读不到修改的内容。而最后访问时间(atime)/修改时间(mtime)是不需要每次都同步的，只要应用程序对这两个时间戳没有苛刻的要求，基本无伤大雅。

test=# select relname,relpages from sys_class where relname='prewarm_test1';

relname        | relpages

---------------+----------

prewarm_test1  | 25000

(1 row)

test=# select sys_extend('prewarm_test1',10000);

 sys_extend

------------

 t

(1 row)

test=# analyze prewarm_test1;

ANALYZE

test=# select relname,relpages from sys_class where relname='prewarm_test1';

relname        | relpages

---------------+----------

prewarm_test1  | 35000

(1 row)

这里表示数据文件的大小扩展 10000 个数据块。