POSTGRESQL主备部署模式

一、预期目的

主数据库(Primary pg ，假定主机名为A，后文不再赘述)和备用数据库(Standby pg，假定主机名为B，后文不再赘述)之间的数据能够相互备份。

主数据库发生故障时备用数据库可以接管工作，变为主数据库。旧的主数据库恢复后，能变为新的主数据库的备用数据库。

主数据库有写入、读取功能，备数据库只有读取功能。

二、使用的软件

Pgpool-II

Postgresql 9.2

使用的特性：

posgresql的streaming replication 功能

pgpool-II的master/slave和online recovery

三、部署结构图

四、部署环境

在centos、suse环境下

服务器有几个系统配置需要修改：文件句柄数和最大用户进程数

1.    修改最大用户进程数

vi /etc/security/limits.conf  添加

*          soft     nproc          65535

*          hard     nproc          65535

*          soft     nofile         65535

*          hard     nofile         65535

and  vi  /etc/security/limits.d/90-nproc.conf 添加

*          soft     nproc          65535

*          hard     nproc          65535

*          soft     nofile         65535

*          hard     nofile         65535

2.    修改文件句柄数

vi  /etc/sysctl.conf   添加

fs.file-max = 65536

3.    验证：

ulimit -a  命令可得结果

五、部署步骤

4.    创建postgres用户

最好手动创建postgres用户，如果已经存在请先删除，语句如下：

userdel -r postgres    //删除postgres用户及其对应的主目录

useradd -d /home/postgres  -m -g root postgres   //创建用户postgres，-d指定主目录为/solr/postgres，-m如果目录不存在则创建该目录，-g指定用户组为root。

5.    修改postgres用户密码

passwd postgres  //修改postgres用户密码，需要在root用户下执行。连续输入两次密码postgres，postgres。

6.    关闭所有机器的防火墙

在centos下：

chkconfig iptables off

service iptables stop

在suse下：

sudo SuSEfirewall2 stop

7.    ssh无密钥登录postgres用户

在所有需要安装pg数据库的主机之间以及主机自己跟自己之间，要求相互能够无密钥登录。

在进行下面操作前，请确保主机这间通过ip及主机名能够相否ping通。

1)   登录主机A，进入postgres用户

su postgres

执行以下命令生成密钥对

ssh-keygen -t dsa

在整个过程中只需点击Enter建

 

2)   登录主机B，进入postgres用户

su postgres

执行以下命令生成密钥对

ssh-keygen -t dsa

 

在整个过程中只需点击Enter建

3)   登录主机A

su postgres

将密钥对的公钥加入相应主机

cat  ~/.ssh/id_dsa.pub  |  ssh postgres@A  'cat - >> ~/.ssh/authorized_keys'

在提示输入密码后，就能在主机A的postgres用户下无密钥登录到主机A的postgres用户了。测试命令为：

ssh  A

cat  ~/.ssh/id_dsa.pub  |  ssh postgres@B  'cat - >> ~/.ssh/authorized_keys'

在提示输入密码后，就能在主机A的postgres用户下无密钥登录到主机B的postgres用户了。测试命令为：

ssh  B

 

4)   登录主机B

su postgres

将密钥对的公钥加入相应主机

cat  ~/.ssh/id_dsa.pub  |  ssh postgres@A  'cat - >> ~/.ssh/authorized_keys'

在提示输入密码后，就能在主机B的postgres用户下无密钥登录到主机Ａ的postgres用户了。测试命令为：

ssh  A

 

cat  ~/.ssh/id_dsa.pub  |  ssh postgres@B  'cat - >> ~/.ssh/authorized_keys'

在提示输入密码后，就能在主机Ｂ的postgres用户下无密钥登录到主机B的postgres用户了。测试命令为：

ssh  B

8.    安装C++ 编译包

如果c++的编译包没有安装，需要安装，已经安装可以跳过。

将目录gcc及其下的文件copy到需要安装gcc的主机上，如在/home/pcc下面。

cd  /home/gcc  //切换到gcc目录下

chmod  +x  *.rpm  //修改所有rpm为可执行权限

以下命令为安装gcc的包：

rpm -ivh mpfr-2.4.1-6.el6.x86_64.rpm

rpm -ivh ppl-0.10.2-11.el6.x86_64.rpm

rpm -ivh cpp-4.4.6-4.el6.x86_64.rpm --force --nodeps

rpm -ivh  kernel-headers-2.6.32-279.el6.x86_64.rpm

rpm -ivh glibc-headers-2.12-1.80.el6.x86_64.rpm --force --nodeps

rpm -ivh glibc-devel-2.12-1.80.el6.x86_64.rpm  --force --nodeps

rpm -ivh libgomp-4.4.6-4.el6.x86_64.rpm

rpm -ivh nscd-2.12-1.80.el6.x86_64.rpm --force --nodeps

rpm -ivh cloog-ppl-0.15.7-1.2.el6.x86_64.rpm

rpm -ivh gcc-4.4.6-4.el6.x86_64.rpm  --force --nodeps

rpm -ivh libstdc++-devel-4.4.6-4.el6.x86_64.rpm --force --nodeps

rpm -ivh gcc-c++-4.4.6-4.el6.x86_64.rpm --force --nodeps

9.    安装postgresql数据库

主数据库节点及备用数据库节点均需安装，确保不同机器上指定的安装路径相同，建议不要安装在系统盘。

将postgresql-9.2.4-1-linux-x64.run放到待安装数据库的主机任意目录下。

chmod  +x postgresql-9.2.4-1-linux-x64.run //修改权限为可执行

./postgresql-9.2.4-1-linux-x64.run    //开始安装

在安装的过程中，需要指定安装路径，此处例子为/opt/PostgreSQL/9.2；还需要指定超级用户的密码，请指定为postgres；需要选定数据库编码，请选择UTF-8 CN 。

安装完成后需要将数据库的执行目录加入系统环境变量PATH中：

vi /etc/profile

在文件的开始处加入

export  PATH=/opt/PostgreSQL/9.2/bin:$PATH

退出vi，刷新配置文件

source /etc/profile

1)   修改pg_hba.conf文件内容

在/opt/PostgreSQL/9.2/data/pg_hba.conf里面

pool_hba.conf 10.196.0.0可能需要根据你的网络环境修改。

注意除上面两行外，还需要加入下面两行，stream replication要求必须为伪数据库replication配置连接权限。

2)   重启数据库

su postgres //到postgres用户下

pg_ctl   -D  /opt/PostgreSQL/9.2/data restart

10.         安装pgpool-II

将pgpool-II-3.2.6.tar.gz放置到要安装的机器上(主备主机上都要安)的目录下。

在root用户下操作

tar zxvf pgpool-II-3.3.1.tar.gz   //解压pgpool-II-3.2.6.tar.gz到当前目录

cd pgpool-II-3.3.1 //进入解压的pgpool目录

./configure  --with-pgsql=/opt/PostgreSQL/9.2  //配置pgpool编译环境，/opt/PostgreSQL/9.2为上步安装的pg数据库的路径。

make   //编译

make install  //安装

刷新共享库文件

sudo ldconfig -v

 

然后，安装pgpool-II的pg数据库c语言函数

在root用户下操作

cd  pgpool-II-3.3.1/sql/pgpool-regclass/  //到解压出的pgpool-II下的pgpool-regclass目录下

make install //编译安装

 

cd pgpool-II-3.3.1/sql/pgpool-recovery/  //到解压出的pgpool-II下的pgpool-recovery目录下

make install  //编译安装

su postgres //到postgres用户下,以下.sql文件的路径根据安装环境相应的调整

psql -f  /home/pgpool-II-3.3.1/sql/pgpool-regclass/pgpool-regclass.sql template1

psql -f  /home/pgpool-II-3.3.1/sql/pgpool-regclass/pgpool-regclass.sql postgres

 

psql -f  /home/pgpool-II-3.3.1/sql/pgpool-recovery/pgpool-recovery.sql template1 

psql -f  /home/pgpool-II-3.3.1/sql/pgpool-recovery/pgpool-recovery.sql postgres

/home/kmstool/postgresql/pgpool-II-3.3.1/sql -f /home/kmstool/postgresql/pgpool-II-3.3.1/sql/pgpool-regclass/pgpool-regclass.sql template1

11.         配置postgresql数据库

以下1至4步需在主、备数据库上都执行

1)   创建目录

mkdir  /opt/PostgreSQL/9.2/archive

修改所属用户

chown  postgres:postgres /opt/PostgreSQL/9.2/archive

2)   修改postgresql.conf文件内容

在/opt/PostgreSQL/9.2/data/postgresql.conf里面,修改

wal_level = hot_standby # minimal, archive, or hot_standby

archive_mode = on

max_wal_senders = 5

hot_standby = on

archive_command = 'cp  -i  "%p"  /opt/PostgreSQL/9.2/archive/"%f"  </dev/null'

//此处路径/opt/PostgreSQL/9.2/archive为上面创建的路径

修改链接数大小：max_connections=5000; 

3)   加入并修改recovery.done

将config目录下的recovery.done文件,copy到A主机的/opt/PostgreSQL/9.2/data目录下,

修改其中的host=10.196.142.226为主机B的IP。

将config目录下的recovery.done文件,copy到B主机的/opt/PostgreSQL/9.2/data目录下,

修改其中的host=10.196.142.226为主机A的IP。

并根据安装路径修改其中的restore_command值的路径。

修改文件的权限

chown postgres:postgres /opt/PostgreSQL/9.2/data/recovery.done

 

4)   添加并修改basebackup.sh

将config目录下的basebackup.sh文件，copy到/opt/PostgreSQL/9.2/data/下，并

chmod 777 /opt/PostgreSQL/9.2/data/basebackup.sh //修改为可执行权限

注意根据你的数据库安装路径修改文件里面opt/PostgreSQL/9.2/，共有３处。

 

12.         配置pgpool-II

以下配置需在主、备数据库上都执行

 

1)   添加故障转移脚本文件

将config目录下的failover_stream.sh文件，copy到/opt/PostgreSQL/9.2/bin/下，并

chmod 777 /opt/PostgreSQL/9.2/bin/failover_stream.sh //修改为可执行权限

2)   添加并修改远程启动脚本文件

将config目录下的pgpool_remote_start文件，copy到/opt/PostgreSQL/9.2/data/下，并

chmod 777 /opt/PostgreSQL/9.2/data/pgpool_remote_start //修改执行权限

注意根据你的数据库安装路径修改文件中的/opt/PostgreSQL/9.2/bin/pg_ctl。

3)   修改pgpool-II配置

将config目录下的pcp.conf文件，copy到usr/local/etc/下，并

chmod 777  /usr/local/etc/pcp.conf  //修改权限

将config目录下的pgpool.conf文件，copy到usr/local/etc/下，并

chmod 777  /usr/local/etc/pgpool.conf  //修改权限

根据部署情况修改pgpool.conf文件内容:

此处A、B分别为主备数据库主机名

backend_hostname0 = 'A'

backend_port0 = 5432

backend_weight0 = 1

backend_data_directory0 = '/opt/PostgreSQL/9.2/data'

backend_hostname1 = 'B'

backend_port1 = 5432

backend_weight1 = 100

backend_data_directory1 = '/opt/PostgreSQL/9.2/data'

failover_command = '/opt/PostgreSQL/9.2/bin/failover_stream.sh  %d  %H  /tmp/trigger_file'

//需要根据安装情况修改

4)   创建目录

mkdir  /var/run/pgpool

chown  postgres:root  /var/run/pgpool/

 

13.         启动数据库

以下操作顺序很重要，请一定遵循。

1)   先将主、备数据库都关闭

su postgres  //到postgres用户下

pg_ctl   -D  /opt/PostgreSQL/9.2/data  stop

2)   启动主数据库

在主数据库主机上

su postgres  //到postgres用户下

pg_ctl   -D  /opt/PostgreSQL/9.2/data  start

3)   启动备数据库

先，在主数据库主机上

su  postgres

sh  /opt/PostgreSQL/9.2/data/basebackup.sh  /opt/PostgreSQL/9.2/data  B  /opt/PostgreSQL/9.2/data

//   B为备数据库的主机名

再，在备数据库主机上启动数据库

su postgres  //到postgres用户下

pg_ctl   -D  /opt/PostgreSQL/9.2/data  start

4)   启动成功的验证

在主数据库主机上，执行

ps -ef | grep sender

预期结果

在备数据库主机上，执行

ps -ef | grep receiver

预期结果

14.         启动pgpool-II

启动单机pgpool

现在只需要启动一个pgpool-II,在主数据库主机上启动。结合HA的虚拟IP，可以启动两个pgpool-II，如果你选择有HA的pogool请直接跳到第六节。

touch  /home/pgpool.log

chmod 777  /home/pgpool.log //改变权限

su  postgres //到postgres用户

pgpool -n -d > /home/pgpool.log 2>&1 &

现在，直接可以通过pgadmin工具去连接pppool-II的9999端口数据库。能够写入和查询。

在关掉主数据库（必须kill不能stop）后，仍然能访问pppool-II的9999端口。

通过命令可重启原来的主数据库，此时它变为新主数据库的备用数据库。

pcp_recovery_node  -d  5  A  9898 postgres postgres  0

//A为启动的pgpool-II的主机名

此时如果B数据库死掉，不能自动将A切换为主数据库，为了解决该问题以及pgpool的单点故障，请参考六节的配置。

六、pgpool的HA

1.    修改pgpool的配置

修改主、备数据库主机上的pgpool.conf文件的配置:

use_watchdog = on

delegate_IP = '10.196.142.230'      # 配置一个虚拟IP，务必确保此IP没有被人使用

wd_hostname = 'A'                # 在A主机上配置A，在B主机上配置B

ifconfig_path = '/home/apache/sbin'   # ifconfig command path

arping_path = '/home/apache/sbin'    # arping command path

wd_interval = 3

other_pgpool_hostname0 = 'B'       #在A主机上配置B，在B主机上配置A

other_pgpool_port0 = 9999

other_wd_port0 = 9000

heartbeat_destination0 = 'B'         #在A主机上配置B，在B主机上配置A

修改完成上面的配置文件后，分别在主、备数据库的root用户下做下面的操作

mkdir -p /home/apache/sbin

chown postgres:postgres /home/apache/sbin

chmod 700 /home/apache/sbin

cp /sbin/ifconfig /home/apache/sbin

cp /usr/sbin/arping /home/apache/sbin

chmod 4755 /home/apache/sbin/ifconfig

chmod 4755 /home/apache/sbin/arping

修改主数据库的配置文件failover_stream.sh中的$failed_node = 1 为$failed_node = 0，备数据不需要修改。

在此配置文件中，有一个与网络有关的配置可能需要修改，

先用ifconfig命令查看

注意此处的网络设置使用的是bond1,默认一般使用eth0,如果使用的事bond1,那么在配置中需要需改为bond1,如下图

2.    启动有HA的pgpool

在主、备数据库主机上分别：

touch /home/pgpool.log

chmod 777 /home/pgpool.log //改变权限

su  postgres //到postgres用户

pgpool -n -d > /home/pgpool.log 2>&1 &

此时A数据库为主数据库，B数据库为备数据库，虚拟IP在A机上。可通过gpadmin工具来连接虚拟IP的9999端口，跟普通的5432的操作一样。

 

3.    验证效果

1)   关掉主机A

如上设置后，将A机关掉，B机自动接管，并且B机会开启动虚拟IP，达到popool的HA。仍可通过gpadmin工具来连接虚拟IP的9999端口，跟普通的5432的操作一样。

此时B机会启动虚拟IP，并将B机设置为主数据库。

需要重新启动A机为备数据库，过程如下：

接着要将A机重新开机，这时postgres会自动开启，需要先将其先关掉，

在A机上

su  postgres

pg_ctl -D /opt/PostgreSQL/9.2/data stop

在B机上执行

su postgres

pcp_recovery_node  -d  5  B  9898 postgres postgres  0

会重新将A机与B机的数据库同步并重启A机的pg数据库。

在A机上重启pgpool

su postgres

pgpool -n -d > /home/pgpool.log 2>&1 &

 

在B机pgpool上刷新A机pg的状态

su postgres

pcp_attach_node  -d  5  B  9898 postgres postgres 0

 

此时B数据库为主数据库，A数据库为备数据库，虚拟IP在B机上。

 

2)   关掉主机B

将B机关掉，A机自动接管，并且A机会开启动虚拟IP，达到popool的HA。仍可通过gpadmin工具来连接虚拟IP的9999端口，跟普通的5432的操作一样。

此时A机会启动虚拟IP，并将A机设置为主数据库。

需要重新启动B机为备数据库，过程如下：

接着要将B机重新开机，这时postgres会自动开启，需要先将其先关掉，

在B机上

su  postgres

pg_ctl -D /opt/PostgreSQL/9.2/data stop

在A机上执行

su postgres

pcp_recovery_node  -d  5  A  9898 postgres postgres  1

会重新将B机与A机的数据库同步并重启B机的pg数据库。

在B机上重启pgpool

su postgres

pgpool -n -d > /home/pgpool.log 2>&1 &

 

在A机pgpool上刷新B机pg的状态

su postgres

pcp_attach_node  -d  5  A  9898 postgres postgres  1

 

此时A数据库为主数据库，B数据库为备数据库，虚拟IP在A机上。回到原来的位置。