测试环境:PostgreSQL 13.2 1.逻辑订阅简介 由于物理复制只能做到这个集群的复制,不能正对某个对象(表)进行复制,且物理复制的备库只能读,不能写.相反,逻辑订阅同时支持主备库读写,且可以做到针对某个对象进行复制.有更高的灵活性.但是逻辑订阅对主库性能影响较大. 2.发布端配置 pg_hba.conf 文件中加入,允许备用库访问. host mydbname postgres 192.168.6.180/24 trust postgresql,conf文件中,将wal_level修改…

之前逻辑复制刚刚出来的时候就使用过,但是没有进行整理,这次一个项目需要逻辑复制的自动迁移,再次拾起逻辑复制. 在此之前有两个疑问: 1)同一个表,既有流复制,又有逻辑复制,这样数据会有两份吗? --不会,配置了流复制,从节点就不能配置逻辑复制了,因为是只读节点.不知道后面会不会修改? 但是主节点可以配置发布者进行发布,wal_level要配置为logical. 2)同一张表,在订阅端订阅两次,会不会允许? --允许,如果表没有配置primary key数据会写入两份.配置了主键,如果订阅了两次,…

PostgreSQL逻辑复制之slony篇 一.pglogical介绍 pglogical 是 PostgreSQL 的拓展模块, 为 PostgreSQL 数据库提供了逻辑流复制发布和订阅的功能. pglogical 重用了 BDR 项目中的一部分相关技术.pglogical 是一个完全作为PostgreSQL 扩展实现的逻辑复制系统.完全集成,它不需要触发器或外部程序.这种物理复制的替代方法是使用发布/订阅模型复制数据以进行选择性复制的一种高效方法.支持 PG10.9.6.9.5.9.4 ,…

本文主要介绍 Windows 环境下搭建 PostgreSQL 的主从逻辑复制,关于 PostgreSQl 的相关运维文章,网络上大多都是 Linux 环境下的操作,鲜有在 Windows 环境下配置的教程,所以本文采用 Windows 环境作为演示系统来进行 PostgreSQL 高可用数据库服务的搭建. 关于 Windows 系统 PostgreSQL 的安装方法可以直接看之前的博客 https://www.cnblogs.com/berkerdong/p/16645493.html 在Wi…

Slony是PostgreSQL领域中最广泛的复制解决方案之一.它不仅是最古老的复制实现之一,它也是一个拥有最广泛的外部工具支持的工具,比如pgAdmin3.多年来,Slony是在PostgreSQL中复制数据的惟一可行的解决方案.Slony使用逻辑复制:Slony-I一般要求表有主键,或者唯一键:Slony的工作不是基于PostgreSQL事务日志的:而是基于触发器的:基于逻辑复制高可用性:PostgreSQL除了slony:还有Londiste,BDR等等后续文章会讲到 1. 安装Slony…

在数字化时代的今天,我们都认同数据会创造价值.为了最大化数据的价值,我们不停的建立着数据迁移的管道,从同构到异构,从关系型到非关系型,从云下到云上,从数仓到数据湖,试图在各种场景挖掘数据的价值.而在这纵横交错的数据网络中,逻辑复制扮演着及其重要的角色. 让我们将视角从复杂的网络拉回其中的一个端点,从PostgreSQL出发,对其逻辑复制的原理进行解密. 1 概念与原理 逻辑复制,是基于复制标识复制数据及其变化的一种方法.区别于物理复制对页面操作的描述,逻辑复制是对事务及数据元组的一种描述. 图-…

kafka 安装 wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz cp kafka_2.12-2.0.1.tgz  kafka.tgz sudo tar xzvf kafka.tgz --directory=/opt/java/kafka --strip 1 启动 kafka,需要先启动本地的 zookeeper,注意修改配置文件中zk的连接地址 /opt/kafka/bin/kafka-server-s…

(一)pg_dump备份 pg提供了pg_dump和pg_dumpall命令进行数据库的备份,pg_dumpall是将整个pg集群转储到一个脚本文件中,而pg_dump命令可以选择一个数据库或者部分表进行备份. pg_dump 把一个数据库转储为纯文本文件或者是其它格式,使用方法如下: [postgres@pg01 ~]$ pg_dump --help 用法: pg_dump [选项]... [数据库名字] **一般选项**: -f, --file=FILENAME 输出文件或目录名 -F, -…

Schema | Name | Result data type | Argument data types | Type ------------+-------------------------------------+------------------+---------------------------------------------------------------------------+-------- pg_catalog | pg_create_logical_re…

1 物理复制及逻辑复制对比 前文做了PostgreSQL物理复制的部署,其有如下主要优点 物理层面完全一致,是主要的复制方式,其类似于Oracle的DG 延迟低,事务执行过程中产生REDO record,实时的在备库apply,事务结束时,备库立马能见到数据 物理复制的一致性.可靠性高,不必担心数据逻辑层面不一致 但是其又在实际使用的场景中存在一些无法满足的需求,例如: 无法满足指定库或部分表的复制需求 将多个数据库实例的数据汇聚到同一个目标库或将一个库的数据分发到多个不同的库 不同的版本之间的…