【转载】PostgreSQL逻辑订阅logical

原文地址：https://blog.csdn.net/gguxxing008/article/details/106356086

逻辑订阅是PostgreSQL10.0开始支持的新功能,PostgreSQL的物理流复制功能十分强大,在容灾、读写分离、HA等场景中都有广泛的使用,那么为什么还需要逻辑订阅呢?
我们先来看看物理流复制和逻辑订阅有哪些区别,主要有以下几点不同:
物理复制目前只能做到整个集群的复制。逻辑订阅可以做到针对某个对象
物理复制的备库只读，不能写入。逻辑订阅读写都可以
,逻辑订阅需要等待事务提交后，发布端才会使用wal_sender进程将decode后的数据发送给订阅端，订阅端流式接收与流式apply,因此逻辑订阅对主库性能影响较大
逻辑复制限制：
DDL不支持
序列数据不支持
大对象数据类型不支持
不支持视图，雾化视图，外部表

逻辑订阅实践:
在使用逻辑订阅之前我们需要对数据库进行一些配置:
发布端:
配置pg_hba.conf，允许订阅端通过流复制连接发布端
wal_level必须设置为logical
max_replication_slots 默认10个，根据情况修改。
发布端的角色必须具备replication权限，或者超级用户权限
订阅端:
创建subscription的用户，必须是超级用户

这些基本的一些准备做好之后,就可以开始配置逻辑订阅了:
1、配置发布端

postgres=# create table t1(id int primary key, info text, crt_time timestamp);
CREATE TABLE
postgres=# create publication testpub1 for table t1;
CREATE PUBLICATION

–查看当前数据库有哪些发布
postgres=# select * from pg_publication;
pubname | pubowner | puballtables | pubinsert | pubupdate | pubdelete
----------+----------+--------------+-----------+-----------+-----------
testpub1 | 10 | f | t | t | t
(1 row)

2、配置订阅端
postgres=# create table t1(id int primary key, info text, crt_time timestamp); --不定义主键 DML会报错
CREATE TABLE
postgres=# create subscription testsub1 connection 'hostaddr=172.18.10.16 port=5432 user=postgres dbname=d2' publication testpub1 with (enabled, create_slot, slot_name='sub1_from_pub1');
NOTICE: created replication slot "sub1_from_pub1" on publisher
CREATE SUBSCRIPTION

–查看有哪些订阅
postgres=# select * from pg_subscription ;
subdbid | subname | subowner | subenabled | subconninfo | subslotname | subsynccommit | subpublications
---------+----------+----------+------------+----------------------------------------------------------------+----------------+---------------+-----------------
16401 | testsub1 | 10 | t | hostaddr=192.168.7.177 port=1921 user=postgres dbname=postgres | sub1_from_pub1 | off | {testpub1}
(1 row)

postgres=# select * from pg_stat_subscription ;
subid | subname | pid | relid | received_lsn | last_msg_send_time | last_msg_receipt_time | latest_end_lsn | latest_end_time
-------+----------+------+-------+--------------+-------------------------------+-------------------------------+----------------+-------------------------------
44943 | testsub1 | 7877 | | 1/76119308 | 2019-09-10 13:20:07.497634+08 | 2019-09-11 01:23:39.104443+08 | 1/76119308 | 2019-09-10 13:20:07.497634+08
(1 row)

数据库插入测试:
–发布端:
postgres=# insert into t1 select t,md5(random()::text),clock_timestamp() from generate_series(1,1000) t;
INSERT 0 1000

然后我们去订阅端查看:
postgres=# select count(*) from t1;
count
-------
100
(1 row)

这里需要注意,目前逻辑订阅不支持DDL语句的同步(pg12开始支持),例如:
–发布端:
postgres=# truncate t1;
TRUNCATE TABLE

再去订阅端查看,数据库还是没有变化
postgres=# select count(*) from t1;
count
-------
1000
(1 row)
因为逻辑订阅实际上和MySQL binglog复制类似，但是DDL是不写表的，那么DDL如何复制呢？
比较简单的一种方法就是:将DDL记录下来，写入表中，在订阅端对这个表创建触发器，在触发器内执行DDL即可。需要被订阅的对象，建上对应的触发器即可。总的来说,PostgreSQL的逻辑订阅目前还是有限局限性,并且和物理流复制相比性能差距较明显,但是对于在某些物理流复制无法实现的场景,使用逻辑订阅还是能够起到很大的作用!

补充几个测试结论：

1、发布端和订阅端的表在没有启用任何约束和索引的情况下，发布端只能写入数据，不能更新，更新会报如下错误：

d1=# update t44 set name='aa' where id =1;
ERROR: cannot update table "t44" because it does not have a replica identity and publishes updates
HINT: To enable updating the table, set REPLICA IDENTITY using ALTER TABLE.

2、消除以上错误一种是在发布端和订阅端的表上添加主键，二种添加唯一索引，在添加replica identify，如果还是不行需要删除发布端再重新建立生效。

create unique index idex_t44_name on t44(name);

alter table t44 replica identity using index idex_t44_name;

Logical Decoding测试补充：
测试前需要先设置2个参数：
wal_level=logical，需要重启
max_replication_slots 默认10个，根据情况修改。

1、创建一个复制槽，名称为logical_slot，使用插件：test_decoding
2=# SELECT pg_create_logical_replication_slot('logical_slot', 'test_decoding'); --物理复制用的是pg_create_physical_replication_slot('test_slot');
pg_create_logical_replication_slot
------------------------------------
(logical_slot,2/F003C6A8)
(1 row)

2、查看当前复制槽状态
d2=# select * from pg_replication_slots where slot_name='logical_slot';
-[ RECORD 1 ]-------+--------------
slot_name | logical_slot
plugin | test_decoding
slot_type | logical
datoid | 65249
database | d2
temporary | f
active | f
active_pid |
xmin |
catalog_xmin | 379478
restart_lsn | 2/F003C670
confirmed_flush_lsn | 2/F003C6A8

3、执行过insert看下效果，我们的insert已经被解析出来
d2=# insert into t1 values(1,'a');
INSERT 0 1
d2=# SELECT * FROM pg_logical_slot_peek_changes('logical_slot', NULL, NULL);
lsn | xid | data
------------+--------+--------------------------------------------------------------------
2/F003C6A8 | 379482 | BEGIN 379482
2/F003C6A8 | 379482 | table public.t1: INSERT: id[integer]:1 name[character varying]:'a'
2/F003C7A8 | 379482 | COMMIT 379482
(3 rows)
4、再执行个ddl
d2=# create table t2(id int,name varchar(10));
CREATE TABLE
d2=#
d2=#
d2=# SELECT * FROM pg_logical_slot_peek_changes('logical_slot', NULL, NULL);
lsn | xid | data
------------+--------+--------------------------------------------------------------------
2/F003C6A8 | 379482 | BEGIN 379482
2/F003C6A8 | 379482 | table public.t1: INSERT: id[integer]:1 name[character varying]:'a'
2/F003C7A8 | 379482 | COMMIT 379482
2/F003C810 | 379483 | BEGIN 379483
2/F00544C0 | 379483 | COMMIT 379483
(5 rows)
这里只看到了事务的开始和结束，但是无法看到ddl操作

5、消费逻辑复制槽后的变化
d2=# SELECT * FROM pg_logical_slot_get_changes('logical_slot', NULL, NULL);
lsn | xid | data
------------+--------+----------------------------------------------------------------------
2/F003C6A8 | 379482 | BEGIN 379482
2/F003C6A8 | 379482 | table public.t1: INSERT: id[integer]:1 name[character varying]:'a'
2/F003C7A8 | 379482 | COMMIT 379482
2/F003C810 | 379483 | BEGIN 379483
2/F00544C0 | 379483 | COMMIT 379483
2/F00544F8 | 379484 | BEGIN 379484
2/F00544F8 | 379484 | table public.t2: INSERT: id[integer]:21 name[character varying]:'2a'
2/F0054568 | 379484 | COMMIT 379484
(8 rows)

d2=#
d2=# SELECT * FROM pg_logical_slot_get_changes('logical_slot', NULL, NULL); --无法二次消费
lsn | xid | data
-----+-----+------
(0 rows)

d2=#
d2=# SELECT * FROM pg_logical_slot_peek_changes('logical_slot', NULL, NULL); --change内没有内容
lsn | xid | data
-----+-----+------
(0 rows)

5、删除复制槽
postgres=# SELECT pg_drop_replication_slot('logical_slot');
pg_drop_replication_slot
--------------------------

(1 row)

解读
逻辑复制使用复制槽和解码插件来发送数据库中的操作，并转成人们可以理解的格式。
pg_logical_slot_get_changes和pg_logical_slot_peek_changes 的区别是前者消费这些changes，而后者以只读的方式查看，而不会remove。

以下这些插件可以使用：
test_decoding – the default plugin;
wal2json – shows the changes in JSON format ;
decoder_raw – reconstructs the query that has applied the change.
decoderbufs, 一个PostgreSQL逻辑解码器输出插件，用于将数据作为协议缓冲区传送
ali_decoding 阿里巴巴研发的
————————————————
版权声明：本文为CSDN博主「gguxxing008」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/gguxxing008/article/details/106356086