基于pgpool搭建postgresql集群

postgresql集群搭建

基于pgpool中间件实现postgresql一主多从集群部署，这里用两台服务器作一主一从示例

虚拟机名	IP	主从划分
THApps	192.168.1.31	主节点
YY-Test-01	192.168.1.36	从节点
vip	192.168.1.100	虚拟ip

1.软件版本

系统版本	CentOS Linux release 7.9.2009 (Core)
PostgreSQL	10
pgpool-II	4.0.1

2.整体架构

3.安装postgresql

postgresql 安装步骤请查看IOT私有化部署文档，两台服务器都需要安装

3.1主节点配置

（1）创建用于主从访问的用户， 修改postgres用户的密码，用于远程登录。(切换到postgres用户操作)

su - postgres
psql
create role actorcloud login replication encrypted password 'public';
alter role postgres with password 'postgres';

（2）修改pg_hba.conf和postgresql.conf配置：

vim /var/lib/pgsql/10/data/pg_hba.conf在最后一行添加下面内容：

host    replication    actorcloud    192.168.1.31/32    trust
host    replication    actorcloud    192.168.1.36/32    trust
host    all    all    192.168.1.0/24    md5
host    all    all    0.0.0.0/0    md5

修改postgresql.conf配置：

vim /var/lib/pgsql/10/data/postgresql.conf

listen_addresses = '*'
port = 5432
wal_level = replica
max_wal_senders= 10
wal_keep_segments = 10240
max_connections = 512

（3）重启主节点

建议先停止，再启动，而不是重启。之后再验证一下是否启动成功

systemctl stop postgresql-10
systemctl start postgresql-10

3.2从节点配置

从节点的操作建议全部在postgres用户下进行。

（1）切换postgres用户

su - postgres

（2）对主节点的数据进行备份到从节点，其中192.168.1.31为主节点IP，actorcloud是上一节主节点创建的用户。

rm -rf /var/lib/pgsql/10/data/*
pg_basebackup -h 192.168.1.31 -U actorcloud -D /var/lib/pgsql/10/data -X stream -P

（3）拷贝recovery.conf，编辑recovery.conf内容，其中192.168.1.31对应主机IP，actorcloud是上一节主机创建的用户。

cp /usr/pgsql-10/share/recovery.conf.sample /var/lib/pgsql/10/data/recovery.conf

vim /var/lib/pgsql/10/data/recovery.conf修改配置：

standby_mode = on
primary_conninfo = 'host=192.168.1.31 port=5432 user=actorcloud password=public'
recovery_target_timeline = 'latest'
trigger_file = '/tmp/trigger_file0'

（4）修改从节点的postgresql.conf，用于开启standby模式。

hot_standby = on

（5）退出postgres用户，重启PostgreSQL

4.验证主从

4.1查看从节点信息

在主节点切换至psql界面，输入命令：

select client_addr,sync_state from pg_stat_replication;

若从节点显示出来，如下图所示，则说明PostgreSQL集群搭建成功。

4.2读写测试

（1）在主节点写数据，从节点读数据。

create database test;
\l

在从节点上查看创建之后的数据库。可以看见，数据库同步了。

\l

5.postgres用户间免密登录

先关闭防火墙和SETLINUX，操作请查看IOT私有化部署文档

以下操作两台机器同时进行：

（1）给postgres用户更改密码：密码修改为postgres

passwd postgres

（2）生成并同步密钥

以192.168.1.31为例，想要免密登录另外一台机器。先切换到postgres用户执行，ssh-keygen时一路回车往下，提升输入y时输入y，ssh-copy-id时需要输入密码。

su postgres
ssh-keygen
ssh-copy-id 192.168.1.36

测试免密登录：

ssh 192.168.1.36
ip addr

同理在192.168.1.36机器上也是相同操作

6.安装pgpool

（1）安装(两台机器都需要安装)

# 添加源
yum install http://www.pgpool.net/yum/rpms/4.0/redhat/rhel-7-x86_64/pgpool-II-release-4.0-1.noarch.rpm

# 安装
 yum install pgpool-II-pg10-debuginfo pgpool-II-pg10-devel  pgpool-II-pg10-extensions  pgpool-II-pg10

安装完之后pgpool的配置文件在/etc/pgpool-II/下

（2）修改配置（两台机器都需要配置）

pool_hba.conf和之前配置的PostgreSQL中的配置时一样的

vim /etc/pgpool-II/pool_hba.conf
host    replication    actorcloud    192.168.1.31/32    trust
host    replication    actorcloud    192.168.1.36/32    trust
host    all    all    192.168.1.0/24    md5
host    all    all    0.0.0.0/0    md5

（3）对postgres的密码进行加密。本文将postgres的密码设置为和用户名相同，将加密结果复制，并粘贴到pcp.conf中相应的位置，取消掉该行的注释。

pg_md5 postgres

vim /etc/pgpool-II/pcp.conf
postgres:81dc9bdb52d04dc20036dbd8313ed055

（4）执行命令(先切换到postgres用户再执行然后输入密码):

pg_md5 -m -p -u postgres pool_passwd

7.修改集群配置

以192.168.1.31主节点为例：

vim /etc/pgpool-II/pgpool.conf

（1）修改监听地址，将localhost改为*，即监听所有地址发来的请求。

修改前：listen_addresses = 'localhost'
修改后：listen_addresses = '*'

（2）修改backend相关参数，对应的是PostgreSQ两个节点的相关信息。

修改前：
	backend_hostname0 = 'localhost'
	backend_port0 = 5432
	backend_weight0 = 1
	backend_data_directory0 = '/var/lib/pgsql/data'
	backend_flag0 = 'ALLOW_TO_FAILOVER'
修改后：
	backend_hostname0 = '192.168.1.31'
	backend_port0 = 5432
	backend_weight0 = 1
	backend_data_directory0 = '/var/lib/pgsql/10/data'
	backend_flag0 = 'ALLOW_TO_FAILOVER'

    backend_hostname1 = '192.168.1.36'
    backend_port1 = 5432
    backend_weight1 = 1
    backend_data_directory1 = '/var/lib/pgsql/10/data'
    backend_flag1 = 'ALLOW_TO_FAILOVER'

（3）pg_hba.conf生效

修改前：enable_pool_hba = off
修改后：enable_pool_hba = on

（4）使负载均衡生效

修改前：load_balance_mode = off
修改后：load_balance_mode = on

（5）主从流复制生效，并配置用于检查的用户，这个用户就用上方创建的用于主从访问的用户。

修改前：
	master_slave_mode = off
	sr_check_period = 0
	sr_check_user = 'nobody'
	sr_check_password = ''
	sr_check_database = 'postgres'
	delay_threshold = 0
修改后：
	master_slave_mode = on
	sr_check_period = 6
	sr_check_user = 'actorcloud'
	sr_check_password = 'public'
	sr_check_database = 'postgres'
	delay_threshold = 10000000

（6）健康检查相关配置，并配置用于检查的用户，这个用户就用上方创建的用于主从访问的用户。

修改前：
	health_check_period = 0
	health_check_user = 'nobody'
	health_check_password = ''
	health_check_database = ''
修改后：
	health_check_period = 10
	health_check_user = 'actorcloud'
	health_check_password = 'public'
	health_check_database = 'postgres'

（7）配置主机故障触发执行的脚本。

修改前：failover_command = ''
修改后：failover_command = '/var/lib/pgsql/10/failover_stream.sh %d %H'

（8）开启开门狗，IP为本机IP

修改前：
	use_watchdog = off
	wd_hostname = ''
修改后：
	use_watchdog = on
	wd_hostname = '192.168.1.31'

（9）开启虚拟IP，并修改网卡信息。启动后直接使用虚拟IP进行数据库操作剧哦

修改前：
	delegate_IP = ''
	if_up_cmd = 'ip addr add $_IP_$/24 dev eth0 label eth0:0'
	if_down_cmd = 'ip addr del $_IP_$/24 dev eth0'
	arping_cmd = 'arping -U $_IP_$ -w 1 -I eth0'
修改后：
	delegate_IP = '192.168.1.100'
	if_up_cmd = 'ip addr add $_IP_$/24 dev ens192 label ens192:0'
	if_down_cmd = 'ip addr del $_IP_$/24 dev ens192'
	arping_cmd = 'arping -U $_IP_$ -w 1 -I ens192'

上方把所有eth0改为了ens192，ens192是该主机的网卡设备名称，可通过命令ip addr查看

（10）心跳检查的配置与看门狗配置。IP为从节点的IP

修改前：
	heartbeat_destination0 = 'host0_ip1'
	heartbeat_device0 = ''
	#other_pgpool_hostname0 = 'host0'
	#other_pgpool_port0 = 5432
	#other_wd_port0 = 9000
修改后：
	heartbeat_destination0 = '192.168.1.36'
	heartbeat_device0 = 'ens192'
	other_pgpool_hostname0 = '192.168.1.36'
	other_pgpool_port0 = 9999
	other_wd_port0 = 9000

以上，是主节点的配置。对于从节点，只有（8）和（10）的IP需要更改，其他的一致。

8.编写故障切换脚本

vim /var/lib/pgsql/10/failover_stream.sh

内容为：

9.文件权限更改

chmod u+s /sbin/ifconfig &&chmod u+s /usr/sbin

chown postgres:postgres /var/lib/pgsql/10/failover_stream.sh && chmod 777 /var/lib/pgsql/10/failover_stream.sh

chown -R postgres.postgres /etc/pgpool-II

mkdir /var/log/pgpool

chown -R postgres.postgres /var/log/pgpool

mkdir /var/run/pgpool

chown -R postgres.postgres /var/run/pgpool

10.运行pgpool

# 启动
systemctl start pgpool
# 开机自启
systemctl enable pgpool

登录虚拟ip查看集群节点。以后所有的操作均可通过连接虚拟IP操作数据库。

psql -p 9999 -h 192.168.1.100 -U postgres
show pool_nodes;

至此，基于 Pgpool-II 中间件的 PostgreSQL 集群搭建完成。