docker安装pxc集群

 

前言

现在mysql自建集群方案有多种，keepalived、MHA、PXC、MYSQL主备等，但是目前根据自身情况和条件，选择使用pxc的放来进行搭建，最大的好处就是，多主多备，即主从一体，没有同步延时问题，方便易用。

搭建环境

 

环境

centos7

pxc版本镜像：最新版，目前为8.0+

 

主机ip	部署	swarm
10.100.3.91	pxc1	manager
10.100.3.92	pxc2	worker
10.100.3.93	pxc3	worker
10.100.3.94	nginx 做负载

 

前期准备

linux需要关闭防火墙，或者开启某些需要的端口；

pxc会自带mysql，版本是对应一致的，所以机子上不需要mysql；

最好关闭SELINUX，linux自带的安全增强。

注意这些配置，三台机子上都要操作。

 

1、开放pxc所需端口

端口	功能
3306	mysql数据库
4567	pxc cluster 相互通讯端口
4444	sst全量传输
4568	ist增量传输

这里给出一些linux下防火墙的命令相关

# 查询防火墙状态

systemctl status firewalld

# 查询防火墙状态

firewall-cmd --state

# 查询8080端口是否开放

firewall-cmd --query-port=8080/tcp

# 开放80端口

firewall-cmd --permanent --add-port=80/tcp

# 移除端口

firewall-cmd --permanent --remove-port=8080/tcp

清理防火墙

iptables -F

 

2、关闭SELINUX、关闭mysql

 

3、创建docker swarm集群

swarm也需要一些端口的开放，

端口	功能
2377	用于集群通信
4789	容器覆盖网络
7946	容器网络发现

我这里是10.100.3.91作为主节点

#主节点的初始化

docker swarm init

#其他节点的加入

docker swarm join --token xxxx xxxx

91主节点 init之后，控制台就会出现 docker swarm join --token xxxx xxxx

然后92，93机子，就调用对应的命令，即可加入swarm集群

 

docker node ls

可以查看现在的node信息，如下

 

root@mysql01-test-wego-3-91]# docker node ls

ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION

x3xb6tlyrwbik7ud5n480ib65 * mysql01-test-wego-3-91 Ready Active Leader 19.03.12

aonuva1dtn9wrr0c5vxh1a6go mysql02-test-wego-3-92 Ready Active 19.03.12

muhqgp24wkgtxdlz0lxbmry12 mysql03-test-wego-3-93 Ready Active 19.03.12

 

docker node rm -f xxx 强制删除节点

docker swarm leave -f 主节点强制离开swarm集群

docker swarm leave 从节点离开swarm集群

 

4、创建虚拟网络

 

docker network create -d overlay --attachable swarm_mysql

其他相关命令

 

docker network inspect xxxx 查看改网络信息

docker network ls 查看所有网络信息

docker network rm xxxx 删除网络

这里网络名就叫，swarm_mysql，创建好了网络之后，

docker network inspect swarm_mysql 查看

 

5、创建目录及cert证书

如果你是8.0+且没有使用相同的证书，那么你肯定会遇到一个ssl相关的错误

 

“error:0407008A:rsa routines:RSA_padding_check_PKCS1_type_1:invalid padding”

这是因为8.0后，是ssl来连接，三台机子，就必须保持密钥的一致性才可以通信。

 

创建目录

一般情况下我们最好看一下系统磁盘的分区情况，然后把mysql的数据要放到大的磁盘上

 

！注意这里的目录在三台机子上都要做相同的操作创建

 

cd /data

#证书

mkdir -m 777 pxc_cert

#mysql自定义配置文件

mkdir -m 777 pxc_config

#数据

mkdir -m 777 pxc_data

注意：这里需要给予权限，不然很多地方会报错

 

创建custom.cnf

 

cd /data/pxc_config

vi custom.cnf

输入内容 这里我们

 

[mysqld]

lower_case_table_names=1

sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION

ssl-ca = /cert/ca.pem

ssl-cert = /cert/server-cert.pem

ssl-key = /cert/server-key.pem

 

[client]

ssl-ca = /cert/ca.pem

ssl-cert = /cert/client-cert.pem

ssl-key = /cert/client-key.pem

 

[sst]

encrypt = 4

ssl-ca = /cert/ca.pem

ssl-cert = /cert/server-cert.pem

ssl-key = /cert/server-key.pem

我这里需要设置数据库不区分大小写 和 8.0以后 可以使用group by

 

创建cert证书

 

docker run --name pxc-cert --rm -v /data/pxc_cert:/cert \

percona/percona-xtradb-cluster:8.0 mysql_ssl_rsa_setup -d /cert

就能在/data/pxc_cert目录下创建证书文件

 

！注意这里的证书创建好，需要拷贝到其他两台机子上的相应目录去

 

scp -r /data/pxc_cert root@10.100.3.92:/data/pxc_cert

scp -r /data/pxc_cert root@10.100.3.93:/data/pxc_cert

 

！注意：三台机子都需要给你证书文件权限

 

cd /data/pxc_cert

chmod 777 *

 

搭建pxc集群

 

1、安装镜像

 

docker pull percona/percona-xtradb-cluster

#名字有点长，可以tag重命名

docker tag percona/percona-xtradb-cluster pxc

 

2、多台机子创建容器

我这里是91主节点，其他是丛节点，所以91先开始创建

 

10.100.3.91主节点

 

docker run -d -p 3306:3306 --net=swarm_mysql \

-e MYSQL_ROOT_PASSWORD=Single\&2020 \

-e CLUSTER_NAME=pxc_cluster \

-e XTRABACKUP_PASSWORD=Single\&2020 \

-v /data/pxc_data:/var/lib/mysql \

-v /data/pxc_cert:/cert \

-v /data/pxc_config/:/etc/percona-xtradb-cluster.conf.d \

--privileged --name=pxc1 pxc

命令解读:

 

docker run -d

-p 3306:3306 3306端口映射

--net=swarm_mysql 虚拟网络名字

-e MYSQL_ROOT_PASSWORD=asdw@123 数据库初始密码

-e CLUSTER_NAME=pxc_cluster 集群名字

-e XTRABACKUP_PASSWORD=asdw@123 备份密码

-v /data/pxc_cert:/cert 证书路径映射

-v /data/pxc:/var/lib/mysql pxc路径映射

-v /data/pxc/config/:/etc/percona-xtradb-cluster.conf.d mysql配置文件路径映射

--privileged 给予权限

--name=pxc1 pxc

可以docker logs pxc1看看日志是否报错等

如果成功，你可以用Navicat连接看看是否成功启动了mysql，启动了之后再安装从节点。

 

10.100.3.92节点

 

docker run -d -p 3306:3306 --net=swarm_mysql \

-e MYSQL_ROOT_PASSWORD=Single\&2020 \

-e CLUSTER_NAME=pxc_cluster \

-e XTRABACKUP_PASSWORD=Single\&2020 \

-v /data/pxc_data:/var/lib/mysql \

-v /data/pxc_cert:/cert \

-v /data/pxc_config/:/etc/percona-xtradb-cluster.conf.d \

-e CLUSTER_JOIN=pxc1 \

--privileged --name=pxc2 pxc

这里跟上面比起来，多了一句 -e CLUSTER_JOIN=pxc1 ，表示加入pxc1。

为第2台机子可以知道pxc1呢？就是因为swarm集群的建立，让彼此可以相互通信。

 

10.100.3.93节点

 

docker run -d -p 3306:3306 --net=swarm_mysql \

-e MYSQL_ROOT_PASSWORD=Single\&2020 \

-e CLUSTER_NAME=pxc_cluster \

-e XTRABACKUP_PASSWORD=Single\&2020 \

-v /data/pxc_data:/var/lib/mysql \

-v /data/pxc_cert:/cert \

-v /data/pxc_config/:/etc/percona-xtradb-cluster.conf.d \

-e CLUSTER_JOIN=pxc1 \

--privileged --name=pxc3 pxc

 

成功

如果三台都成功了，再确认一下。

主节点进入容器，再进入mysql查看

 

docker exec -it pxc1 sh

mysql -uroot -p

 

show status like 'wsrep%';

不出意外，这里cluster size就是3台

 

docker network inspect xxx

网络也是3个

 

校验

你可以在其中一台上Navicat 创建一个数据库，一张表等，就可以看到3台都同步了！

 

nginx负载

nginx我是放在10.100.3./92上面的

如果没有nginx.conf配置文件，可以先随便建一个，然后把配置考出来

自建/nginx/log /nginx/etc/nginx.conf等

 

docker run -d -name nginx nginx

docker cp nginx:/etc/nginx/nginx.conf 拷贝出来

docker rm -f nginx

 

nginx.conf的配置修改

在最后一行添加，也就是和http同级

 

stream {

upstream pxc {

server 10.100.3.91:3306;

server 10.100.3.92:3306;

server 10.100.3.93:3306;

}

server {

listen 3306;

proxy_pass pxc;

}

}

 

docker run --net=host --name nginx -v /nginx/log/:/var/log/nginx -v /nginx/etc/nginx.conf:/etc/nginx/nginx.conf -d nginx

然后Navicat连接http://10.100.3.94:3306也可以连上数据库啦