MogDB学习笔记之 -- 了解pagewriter线程

MogDB 学习笔记之 -- 了解 pagewriter 线程

本文出处：https://www.modb.pro/db/183172

在前面的 MogDB 学习系列中，我们了解了核心的 bgwriter 进程，今天继续来学习另外一个主要的线程，即 pagewriter；首先来看下数据库相关的参数设置：

postgres=# select name,setting,category,context from pg_settings where name like '%pagewrit%';

name | setting | category | context

-----------------------+---------+-------------------------------------+------------

log_pagewriter | off | Reporting and Logging / What to Log | sighup

pagewriter_sleep | 2000 | Write-Ahead Log / Checkpoints | sighup

pagewriter_thread_num | 2 | Write-Ahead Log / Checkpoints | postmaster

(3 rows)

从上面的参数来看，我们可以知道 pagewriter 线程的数量由参数 pagewriter_thread_num 来控制；默认情况下一共有 2 个 pagewriter 线程。 其中一个是 master 主线程。从 MogDB 官方文档来看，pagewriter 主要负责从全局脏页队列中获取脏页，然后将其写入 double write 文件。由于有多个 pagewriter 线程， 那么是如何工作和协调的呢？ 毫无疑问，是主线程扫描到需要写入的脏页后，将其分发个其他 pagewriter 线程，最终写入文件系统落盘。

其次从另外一个参数 pagewriter_sleep 参数来看，表示 pagewriter 线程的唤醒睡眠时间，单位是 ms。这跟增量检查点有关。也就是说该参数 设置后，pagewirter 线程会间隔 2s（默认值）开始扫描脏页并进行刷新，这同时也推进了数据库检查点。

不过这里需要注意的是，如果当 shared_buffers 中的脏页过多，页比例达到 dirty_page_percent_max 设置时，每次刷新脏页的的数量将会更大； 将会根据 max_io_capacity 来进行计算。

接下来我们简单做一下测试，跟踪一下 pagewriter 线程，观察一下相关的操作，是否如上面所讲：

[omm@mogdb ~]$ ps -ef|grep mogdb|grep -v grep

avahi 9129 1 0 01:02 ? 00:00:03 avahi-daemon: running [mogdb.local]

omm 14421 1 99 05:05 pts/1 00:05:46 /data/mogdb/bin/mogdb -D /data/mogdb_b75b585a/data/db1

[omm@mogdb ~]$ ps -T -p 14421

PID SPID TTY TIME CMD

14421 14421 pts/1 00:00:02 mogdb

14421 14422 pts/1 00:00:00 jemalloc_bg_thd

14421 14425 pts/1 00:00:00 mogdb

14421 14426 pts/1 00:00:00 syslogger

14421 14427 pts/1 00:00:00 jemalloc_bg_thd

14421 14428 pts/1 00:00:00 alarm

14421 14429 pts/1 00:00:00 jemalloc_bg_thd

14421 14430 pts/1 00:00:00 reaper

14421 14431 pts/1 00:00:00 jemalloc_bg_thd

14421 14456 pts/1 00:00:00 checkpointer

14421 14457 pts/1 00:00:01 pagewriter

14421 14460 pts/1 00:00:00 pagewriter

14421 14461 pts/1 00:00:00 bgwriter

14421 14462 pts/1 00:00:00 bgwriter

14421 14463 pts/1 00:00:00 CBMwriter

14421 14464 pts/1 00:04:20 WALwriter

14421 14465 pts/1 00:00:00 WALwriteraux

14421 14466 pts/1 00:00:00 AVClauncher

14421 14467 pts/1 00:00:00 Jobscheduler

14421 14468 pts/1 00:00:00 statscollector

14421 14469 pts/1 00:00:00 snapshotworker

14421 14470 pts/1 00:01:24 percentworker

14421 14471 pts/1 00:00:02 ashworker

14421 14472 pts/1 00:00:00 TrackStmtWorker

14421 14473 pts/1 00:00:00 auditor

14421 14474 pts/1 00:00:00 2pccleaner

14421 14475 pts/1 00:00:00 faultmonitor

14421 14487 pts/1 00:00:00 worker

下面创建一些测试表来进行一些探索。

enmotech=# create table test1123 as select * from pg_settings;

INSERT 0 601

enmotech=# insert into test1123 select * from test1123;

INSERT 0 601

enmotech=# insert into test1123 select * from test1123;

INSERT 0 1202

enmotech=# insert into test1123 select * from test1123;

INSERT 0 2404

enmotech=# insert into test1123 select * from test1123;

INSERT 0 4808

enmotech=# insert into test1123 select * from test1123;

INSERT 0 9616

enmotech=# insert into test1123 select * from test1123;

INSERT 0 19232

enmotech=# insert into test1123 select * from test1123;

INSERT 0 38464

enmotech=# select pg_relation_filepath('test1123');

pg_relation_filepath

base/16423/16453

(1 row)

enmotech=# insert into test1123 select * from test1123;

INSERT 0 76928

enmotech=#

enmotech=# vacuum test1123;

VACUUM

enmotech=# vacuum test1123;

VACUUM

enmotech=# vacuum test1123;

VACUUM

enmotech=# SELECT OID,relname FROM pg_class where OID=16456;

oid | relname

-------+----------------

16456 | pg_toast_16453

(1 row)

复制

这时候我们打开 strace 对 page write 线程做一个跟踪。

[omm@mogdb ~]$ strace -fr -o /tmp/14457.log -p 14457

strace: Process 14457 attached with 28 threads

strace: Process 14625 attached

strace: Process 14626 attached

strace: Process 14627 attached

strace: Process 14628 attached

strace: Process 14637 attached

strace: Process 14638 attached

strace: Process 14639 attached

^Cstrace: Process 14457 detached

strace: Process 14421 detached

strace: Process 14422 detached

strace: Process 14425 detached

strace: Process 14426 detached

strace: Process 14427 detached

strace: Process 14428 detached

strace: Process 14429 detached

strace: Process 14430 detached

strace: Process 14431 detached

strace: Process 14456 detached

strace: Process 14460 detached

strace: Process 14461 detached

strace: Process 14462 detached

strace: Process 14463 detached

strace: Process 14464 detached

strace: Process 14465 detached

strace: Process 14466 detached

strace: Process 14467 detached

strace: Process 14468 detached

strace: Process 14469 detached

strace: Process 14470 detached

strace: Process 14471 detached

strace: Process 14472 detached

strace: Process 14473 detached

strace: Process 14474 detached

strace: Process 14475 detached

strace: Process 14487 detached

这里我跟踪了多次，包括在进行 vcauum 操作时。

获取相关操作文件的句柄信息：

[root@mogdb fd]# ls -ltr

total 0

l-wx------. 1 omm dbgrp 64 Nov 23 05:09 2 -> pipe:[130481]

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 97 -> /data/mogdb_b75b585a/data/db1/base/16423/14707

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 96 -> /data/mogdb_b75b585a/data/db1/base/16423/14706

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 95 -> /data/mogdb_b75b585a/data/db1/base/16423/16458

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 94 -> /data/mogdb_b75b585a/data/db1/base/16423/16456

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 93 -> /data/mogdb_b75b585a/data/db1/base/16423/14737

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 92 -> /data/mogdb_b75b585a/data/db1/base/16423/14737_fsm

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 91 -> /data/mogdb_b75b585a/data/db1/base/16423/14692

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 90 -> /data/mogdb_b75b585a/data/db1/base/16423/14692_fsm

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 9 -> socket:[130470]

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 89 -> /data/mogdb_b75b585a/data/db1/base/16423/14703_fsm

......

lr-x------. 1 omm dbgrp 64 Nov 23 05:11 41 -> pipe:[129754]

lr-x------. 1 omm dbgrp 64 Nov 23 05:11 40 -> pipe:[130495]

l-wx------. 1 omm dbgrp 64 Nov 23 05:11 4 -> /var/log/mogdb/omm/bin/gs_obs/gs_obs.interface.log

lr-x------. 1 omm dbgrp 64 Nov 23 05:11 39 -> pipe:[130490]

l-wx------. 1 omm dbgrp 64 Nov 23 05:11 38 -> pipe:[129753]

lr-x------. 1 omm dbgrp 64 Nov 23 05:11 37 -> pipe:[129753]

l-wx------. 1 omm dbgrp 64 Nov 23 05:11 36 -> pipe:[129752]

l-wx------. 1 omm dbgrp 64 Nov 23 05:11 35 -> pipe:[129756]

lr-x------. 1 omm dbgrp 64 Nov 23 05:11 34 -> pipe:[129756]

l-wx------. 1 omm dbgrp 64 Nov 23 05:11 33 -> pipe:[130486]

l-wx------. 1 omm dbgrp 64 Nov 23 05:11 32 -> pipe:[129751]

lr-x------. 1 omm dbgrp 64 Nov 23 05:11 31 -> pipe:[129751]

lr-x------. 1 omm dbgrp 64 Nov 23 05:11 30 -> pipe:[130486]

l-wx------. 1 omm dbgrp 64 Nov 23 05:11 3 -> /data/mogdb_b75b585a/data/db1/pg_ctl.lock

lr-x------. 1 omm dbgrp 64 Nov 23 05:11 29 -> pipe:[129752]

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 28 -> /data/mogdb_b75b585a/data/db1/pg_cbm/pg_xlog_1_0000000009000258_0000000000000000.cbm

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 27 -> /data/mogdb_b75b585a/data/db1/global/pg_dw_single

lrwx------. 1 omm dbgrp 64 Nov 23 05:11 26 -> /data/mogdb_b75b585a/data/db1/global/pg_dw

[root@mogdb tmp]# cat 14457_2.log |grep 14457|grep "pwrite64(" |awk '{print $3}'|sort|uniq

pwrite64(26,

pwrite64(74,

pwrite64(77,

[root@mogdb tmp]#

[root@mogdb tmp]# cat 14457.log |grep 14457|grep "pwrite64(" |awk '{print $3}'|sort|uniq

pwrite64(26,

pwrite64(77,

[root@mogdb tmp]# cat 14457.log |grep 14460|grep "pwrite64(" |awk '{print $3}'|sort|uniq

pwrite64(77,

pwrite64(94,

[root@mogdb tmp]# cat 14457_2.log |grep 14460|grep "pwrite64(" |awk '{print $3}'|sort|uniq

pwrite64(77,

pwrite64(96,

[root@mogdb tmp]#

其中 26 号文件是 double writer 文件。另外发现 pagewriter 线程还会写其他文件，比如 94 号文件，查下发现是如下对象：

enmotech=# SELECT OID,relname FROM pg_class where OID=16456;

oid | relname

-------+----------------

16456 | pg_toast_16453

(1 row)

看到这个 pg_toast 表还是非常奇怪，查询了相关材料发现，这是 PostgreSQL 特有的机制之一。对于 PostgreSQL 而言，页是数据在文件存储中的基本单位，默认大小为 8192 byte。同时，PostgreSQL 不允许一行数据跨页存储，那么对于超长的行数据，就会启动 TOAST，具体就是采用压缩和切片的方式。如果启用了切片，实际数据存储在另一张系统表的多个行中， 这就叫 TOAST 表，这种存储方式叫行外存储。由于 MogDB 沿用了 opengauss 内核，而 openGauss 内核又是基于 PostgreSQL 9.2.4 进化而来，因此不难看出，这仍然是用了原生 PostgreSQL 的一些机制。最后简单总结一下 pagewriter 线程的作用：1、扫描 share_buffers 中的脏页链表，获取脏页，同时将脏页写入到 double write 文件。 2、推进检查点（实际上是增量检查点).