KingbaseES V8R6运维案例之---sys_waldump解析wal日志

案例说明：

wal日志文件记录了，事务操作的redo日志信息，由于wal日志文件是二进制文件，无法直接读取其文件内容。sys_waldump 可以解决这个问题，通过sys_waldump来解析wal 日志来分析和解决一些问题。例如在用户误操作时，可以通过解析wal日志，获取到事务操作的具体时间、xid等，用于建立基于PITR的恢复操作的基线。

Wal日志被划分为多个类型的资源管理器（RMGR），每个资源管理器只需要负责与自己相关的日志处理（抽象出操作函数，不同的日志应用使用不同的操作函数）。

如下图所示：RMGR结构

适用版本：

KingbaseES V8R3/R6

一、查看wal日志RMGR信息

=如下所示：不同的RMGR对应不同对象的操作日志。=

[kingbase@node101 bin]$ ./sys_waldump --rmgr=list

XLOG                 :和xlog相关的事务日志，包括checkpoint、日志切换等。
Transaction           ：和事务相关的事务日志，比如事务提交、回滚、两阶段提交等。
Storage               ： 存储文件的操作的操作，比如create table、truncate table等。
CLOG                  ： 和事务提交相关的事务日志，事务提交会在clog中记录事务的状态。
Database              ：和数据库相关的操作，比如create database等。
Tablespace            ：和表空间操作相关产生的事务日志，比如create tablespace等。
TablespaceEnc         ：和表空间操作相关产生的事务日志
MultiXact            ：在同一元组上加多个锁产生了MultiXact的事务日志。
RelMap                ：和表空间操作相关产生的事务日志
Standby              ：和standby相关的事务日志，比如记录锁信息，事务运行信息等,wal_level >= WAL_LEVEL_REPLICA时，会写Standby。
Heap2                ： 对heap进行操作的事务日志，例如vacuum对页面的清理操作。
Heap                 ：对heap进行操作的事务日志，比如DML操作，insert、update、delete等。
Btree                ：对索引进行操作的事务日志，比如对索引的更新。
Hash                  ：对索引进行操作的事务日志，比如对索引的更新。
Gin                  ：对索引进行操作的事务日志，比如对索引的更新。
Gist                 ：对索引进行操作的事务日志，比如对索引的更新。
Sequence              ：对序列（sequence）进行操作的事务日志，比如sequence的创建。
SPGist               ：对索引进行操作的事务日志，比如对索引的更新。
BRIN                 ：对索引进行操作的事务日志，比如对索引的更新。
CommitTs             ： 和事务提交相关的事务日志
ReplicationOrigin    ：和复制、热备相关的操作。
Generic               ：和复制、热备相关的操作。
LogicalMessage       ：和复制、热备相关的操作。

=如下所示：RMGR:XLOG对应了checkpoint类型的wal日志。=

二、测试案例

如下所示，在数据库执行DDL、DML事务操作，事务commit时，将对应的wal日志条目从wal_buffer写入wal日志文件，可通过sys_waldump解析wal日志文件，获取到对应操作的日志条目的内容。

# 查看当前数据库的lsn
test=# select pg_current_wal_lsn();
 pg_current_wal_lsn
--------------------
 4/5C003C70
(1 row)

# 创建数据库
test=# create database prod1;
CREATE DATABASE
test=# select pg_current_wal_lsn();
 pg_current_wal_lsn
--------------------
 4/5C004280
(1 row)

#创建数据库对象
prod1=# select pg_current_wal_lsn();
 pg_current_wal_lsn
--------------------
 4/5C004700
(1 row)

prod1=# create table tb1 (id int,name varchar2(10));
CREATE TABLE
prod1=# select pg_current_wal_lsn();
 pg_current_wal_lsn
--------------------
 4/5C024788
(1 row)

# 对象执行DML操作
prod1=# insert into tb1 values (10,'tom');
INSERT 0 1
prod1=# select pg_current_wal_lsn();
 pg_current_wal_lsn
--------------------
 4/5C024820
(1 row)

prod1=# insert into tb1 values (20,'jerry');
INSERT 0 1
prod1=# select pg_current_wal_lsn();
 pg_current_wal_lsn
--------------------
 4/5C024890
(1 row)

prod1=# update tb1 set name='rose' where id=20;
UPDATE 1
prod1=# select pg_current_wal_lsn();
 pg_current_wal_lsn
--------------------
 4/5C024968
(1 row)

prod1=# delete from tb1 where id=20;
DELETE 1
prod1=# select pg_current_wal_lsn();
 pg_current_wal_lsn
--------------------
 4/5C0249F8
(1 row)

# 对象执行DDL操作（truncate）
prod1=# truncate table tb1;
TRUNCATE TABLE
prod1=# select pg_current_wal_lsn();
 pg_current_wal_lsn
--------------------
 4/5C024C50
(1 row)

#  对象执行DDL操作（drop）
prod1=# drop table tb1;
DROP TABLE
prod1=# select pg_current_wal_lsn();
 pg_current_wal_lsn
--------------------
 4/5C0251D8
(1 row)

# 查看当前online的wal日志文件
prod1=# select pg_current_wal_lsn(),pg_walfile_name(pg_current_wal_lsn()),pg_walfile_name_offset(pg_current_wal_lsn());
 pg_current_wal_lsn |     pg_walfile_name      |      pg_walfile_name_offset
--------------------+--------------------------+-----------------------------------
 4/5C0251D8         | 0000001D000000040000005C | (0000001D000000040000005C,152024)
(1 row)

##如上所示，当前事务操作的wal日志flush到“0000001D000000040000005C”对应的日志文件。

三、sys_waldump解析wal日志

1、sys_waldump帮助

2、执行sys_waldump解析日志

[kingbase@node101 bin]$ ./sys_waldump /data/kingbase/r6ha/data/sys_wal/0000001D000000040000005C -s 4/5C003C70

......
rmgr: XLOG        len (rec/tot):     30/    30, tx:          0, lsn: 4/5C003C70, prev 4/5C003C40, desc: NEXTOID 197378
rmgr: Standby     len (rec/tot):     46/    46, tx:          0, lsn: 4/5C003C90, prev 4/5C003C70, desc: RUNNING_XACTS nextXid 2883 latestCompletedXid 1543519344 oldestRunningXid 2882
rmgr: Heap        len (rec/tot):    291/   291, tx:       2882, lsn: 4/5C003CC0, prev 4/5C003C90, desc: INSERT off 22 flags 0x00, blkref #0: rel 1664/0/1262 blk 0
rmgr: Btree       len (rec/tot):     55/   349, tx:       2882, lsn: 4/5C003DE8, prev 4/5C003CC0, desc: INSERT_LEAF off 9, blkref #0: rel 1664/0/2671 blk 1 FPW
rmgr: Btree       len (rec/tot):     55/   340, tx:       2882, lsn: 4/5C003F48, prev 4/5C003DE8, desc: INSERT_LEAF off 20, blkref #0: rel 1664/0/2672 blk 1 FPW
rmgr: Standby     len (rec/tot):     46/    46, tx:          0, lsn: 4/5C0040B8, prev 4/5C003F48, desc: RUNNING_XACTS nextXid 2883 latestCompletedXid 1543520440 oldestRunningXid 2882
rmgr: XLOG        len (rec/tot):    114/   114, tx:          0, lsn: 4/5C0040E8, prev 4/5C0040B8, desc: CHECKPOINT_ONLINE redo 4/5C0040B8; tli 29; prev tli 29; fpw true; xid 0:2883; oid 197378; multi 1; offset 0; oldest xid 867 in DB 1; oldest multi 1 in DB 1; oldest/newest commit timestamp xid: 0/0; oldest running xid 2882; online
......

=如下所示，wal日志中记录的日志条目的lsn信息。=

三、sys_waldump应用案例

1、直接进行两个日志及其之间的信息的打印

[kingbase@node101 sys_wal]$ /home/kingbase/cluster/R6HA/kha/kingbase/bin/sys_waldump 0000001F000000040000006A 0000001F000000040000006B

rmgr: XLOG        len (rec/tot):    114/   114, tx:          0, lsn: 4/6A000028, prev 4/69001580, desc: CHECKPOINT_SHUTDOWN redo 4/6A000028; tli 31; prev tli 31; fpw true; xid 0:2968; oid 189209; multi 1; offset 0; oldest xid 867 in DB 1; oldest multi 1 in DB 1; oldest/newest commit timestamp xid: 0/0; oldest running xid 0; shutdown
rmgr: Standby     len (rec/tot):     42/    42, tx:          0, lsn: 4/6A0000A0, prev 4/6A000028, desc: RUNNING_XACTS nextXid 2968 latestCompletedXid 0 oldestRunningXid 2968
rmgr: Heap        len (rec/tot):     56/  4850, tx:       2968, lsn: 4/6A0000D0, prev 4/6A0000A0, desc: INSERT off 171 flags 0x00, blkref #0: rel 1663/32786/32886 blk 3 FPW
......

2、指定资源类型和起始lsn

[kingbase@node101 sys_wal]$ /home/kingbase/cluster/R6HA/kha/kingbase/bin/sys_waldump 0000001F000000040000006A -s 4/6A000028 -b -f -r transaction

rmgr: Transaction len (rec/tot):     34/    34, tx:       2968, lsn: 4/6A0013C8, prev 4/6A0000D0, desc: COMMIT 2022-09-23 14:57:25.783575 CST
rmgr: Transaction len (rec/tot):     34/    34, tx:       2969, lsn: 4/6A001480, prev 4/6A0013F0, desc: COMMIT 2022-09-23 14:57:28.560264 CST
rmgr: Transaction len (rec/tot):     34/    34, tx:       2970, lsn: 4/6A001548, prev 4/6A0014D8, desc: COMMIT 2022-09-23 15:10:40.205866 CST
rmgr: Transaction len (rec/tot):     34/    34, tx:       2971, lsn: 4/6A001628, prev 4/6A0015A0, desc: COMMIT 2022-09-23 15:10:42.318860 CST
......

3、指定事务xid

[kingbase@node101 sys_wal]$ /home/kingbase/cluster/R6HA/kha/kingbase/bin/sys_waldump 0000001F000000040000006A -x '2971'

rmgr: Heap        len (rec/tot):    132/   132, tx:       2971, lsn: 4/6A0015A0, prev 4/6A001570, desc: INSERT off 174 flags 0x00, blkref #0: rel 1663/32786/32886 blk 3
rmgr: Transaction len (rec/tot):     34/    34, tx:       2971, lsn: 4/6A001628, prev 4/6A0015A0, desc: COMMIT 2022-09-23 15:10:42.318860 CST

4、对当前的日志进行一个分析和汇总，这里面就包含每种数据类型所占的比例以及统计分析

[kingbase@node101 sys_wal]$ /home/kingbase/cluster/R6HA/kha/kingbase/bin/sys_waldump 0000001F000000040000006A 0000001F000000040000006B -z

Type                                           N      (%)          Record size      (%)             FPI size      (%)        Combined size      (%)
----                                           -      ---          -----------      ---             --------      ---        -------------      ---
XLOG                                          16 (  7.34)                 1270 (  7.29)                29040 (  6.35)                30310 (  6.38)
Transaction                                   14 (  6.42)                 2021 ( 11.60)                    0 (  0.00)                 2021 (  0.43)
Storage                                        3 (  1.38)                  126 (  0.72)                    0 (  0.00)                  126 (  0.03)
CLOG                                           0 (  0.00)                    0 (  0.00)                    0 (  0.00)                    0 (  0.00)
Database                                       0 (  0.00)                    0 (  0.00)                    0 (  0.00)                    0 (  0.00)
Tablespace                                     0 (  0.00)                    0 (  0.00)                    0 (  0.00)                    0 (  0.00)
TablespaceEnc                                  0 (  0.00)                    0 (  0.00)                    0 (  0.00)                    0 (  0.00)
......

四、总结

wal日志通过资源管理器RMGR对不同操作类型的日志进行管理，对于wal日志可以通过sys_waldump解析其内容，获取到事务处理的具体信息：如日志条目的lsn、事务操作执行语句、事务操作对象、xid、事务commit的时间等。

下面的篇章将对具体的事务（Transaction）操作进行分析。