k8s集群部署rabbitmq集群

1、构建rabbitmq镜像

RabbitMQ提供了一个Autocluster插件，可以自动创建RabbitMQ集群。下面我们将基于RabbitMQ的官方docker镜像，添加这个autocluster插件，构建我们自己的Rabbit镜像，以便在Kubernetes上使用这个镜像。

首选需要从这里下载autocluster和rabbitmq_aws插件，我这里下载的是0.8.0的最新版本。

mkdir -p rabbitmq/plugins

cd rabbitmq/plugins

wget https://github.com/rabbitmq/rabbitmq-autocluster/releases/download/0.8.0/autocluster-0.8.0.ez

wget https://github.com/rabbitmq/rabbitmq-autocluster/releases/download/0.8.0/rabbitmq_aws-0.8.0.ez

cd ..

我的Dockerfile内容如下：

FROM rabbitmq:3.6.11-management-alpine

MAINTAINER yangyuhang

RUN apk update && apk add ca-certificates && \

    apk add tzdata && \

    ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \

    echo "Asia/Shanghai" > /etc/timezone

ADD plugins/*.ez /opt/rabbitmq/plugins/

RUN rabbitmq-plugins enable --offline autocluster

这里选择是rabbitmq:3.6.11-management-alpine作为基础镜像
添加了autocluster插件

制作镜像并推送至阿里云个人仓库：

docker build -t registry.cn-zhangjiakou.aliyuncs.com/beibei_dtstack/cashier_rabbitmq:base .

docker push registry.cn-zhangjiakou.aliyuncs.com/beibei_dtstack/cashier_rabbitmq:base

2、以statefulset部署rabbitmq集群

在部署集群之前需要为集群创建一个Storage Class（存储类）来作为集群数据的持久化后端。本例中使用nfs作为后端存储，在创建存储类之前需要先搭建好nfs，并保证在k8s集群各个节点上均能挂载该nfs存储。搭建好nfs后，需要先创建一个存储类，yaml文件如下：

apiVersion: storage.k8s.io/v1

kind: StorageClass

metadata:

  name: first-storage

parameters:

  archiveOnDelete: "false"

provisioner: nfs-first-storage

reclaimPolicy: Retain

volumeBindingMode: Immediate

然后需要再创建一个PersistentVolumeClaim(PVC，存储卷)，作为rabbitmq集群的后端存储：

---

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

  name: rabbitmq

  namespace: cashier

spec:

  accessModes:

    - ReadWriteMany             #可被多节点读写

  resources:

    requests:

      storage: 5Gi

  storageClassName: first-storage               #声明pv

  volumeMode: Filesystem

相继执行kubectl apply -f 即可将后端存储建好。

前面在构建RabbitMQ的Docker镜像时，我们添加了autocluster插件，这个插件基于很多种backend做服务发现自动发现的RabbitMQ节点添加到RabbitMQ集群中，autocluster当前支持如下几种backend：

AWS EC2 tags
AWS Autoscaling Groups
Kubernetes
DNS A records
Consul
etcd

Kubernetes赫然在列，实际上当使用Kubernetes作为rabbitmq-autocluster的backend时，autocluster会通过访问Kubernetes的API Server获取RabbitMQ服务的endpoints，这样就能拿到Kubernete集群中的RabbitMQ的Pod的信息，从而可以将它们添加到RabbitMQ的集群中去。这里也就是说要在autocluster实际上是在RabbitMQ Pod中要访问Kubernetes的APIServer。

可是然后呢？因为已经对Kubernetes的API Server启用了TLS认证，同时也为API Server起到用了RBAC，要想从Pod中访问API Server需要借助Kubernetes的Service Account。 Service Account是Kubernetes Pod中的程序用于访问Kubernetes API的Account(账号)，它为Pod中的程序提供访问Kubernetes API的身份标识。下面我们创建rabbitmq Pod的ServiceAccount，并针对Kubernetes的endpoint资源做授权，创建相关的role和rolebinding。

先说明一下，我们的部署是在cashier这个namespace下的。创建如下的rabbitmq.rbac.yaml文件：

---

apiVersion: v1

kind: ServiceAccount      #集群访问apiserver的凭证

metadata:

  name: rabbitmq

  namespace: cashier

---

kind: Role   #创建sa角色

apiVersion: rbac.authorization.k8s.io/v1beta1

metadata:

  name: rabbitmq

  namespace: cashier

rules:

  - apiGroups:

      - ""

    resources:

      - endpoints

    verbs:

      - get

---

kind: RoleBinding            #将角色绑定

apiVersion: rbac.authorization.k8s.io/v1beta1

metadata:

  name: rabbitmq

  namespace: cashier

roleRef:

  apiGroup: rbac.authorization.k8s.io

  kind: Role

  name: rabbitmq

subjects:

- kind: ServiceAccount

  name: rabbitmq

  namespace: cashier

在Kubernetes上创建rabbitmq这个ServiceAccount以及相关的role和rolebinding：

kubectl create -f rabbitmq.rbac.yaml

然后创建访问rabbitmq集群的service，创建rabbitmq.service.yaml：

---

apiVersion: v1

kind: Service

metadata:

  name: rabbitmq-management

  namespace: cashier

  labels:

    app: rabbitmq

spec:

  ports:

  - port: 15672

    name: http

    nodePort: 32001          #集群外访问rabbitmq管理web界面,http://nodeip:32001

  - port: 5672

    name: amqp

    nodePort: 32002

  selector:

    app: rabbitmq

  type: NodePort

---

apiVersion: v1

kind: Service

metadata:

  name: rabbitmq

  namespace: cashier

  labels:

    app: rabbitmq

spec:

  clusterIP: None

  ports:

  - port: 5672

    name: amqp

  selector:

    app: rabbitmq

在Kubernetes上创建rabbitmq的service：

kubectl create -f rabbitmq.service.yaml

然后通过statefulset类型创建rabbitmq集群，创建rabbitmq.statefulset.yaml:

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

  labels:

    app: rabbitmq

    k8s.eip.work/layer: cloud

    k8s.eip.work/name: rabbitmq

  name: rabbitmq

  namespace: cashier

spec:

  replicas: 3

  revisionHistoryLimit: 10

  selector:

    matchLabels:

      app: rabbitmq

      k8s.eip.work/layer: cloud

      k8s.eip.work/name: rabbitmq

  serviceName: rabbitmq

  template:

    metadata:

      labels:

        app: rabbitmq

        k8s.eip.work/layer: cloud

        k8s.eip.work/name: rabbitmq

    spec:

      containers:

        - env:

            - name: RABBITMQ_DEFAULT_USER

              valueFrom:

                secretKeyRef:

                  key: rabbitDefaulUser

                  name: devsecret                     #登陆用户名和密码都存储在一个secret对象中

            - name: RABBITMQ_DEFAULT_PASS

              valueFrom:

                secretKeyRef:

                  key: rabbitDefaultPass

                  name: devsecret

            - name: RABBITMQ_ERLANG_COOKIE

              valueFrom:

                secretKeyRef:

                  key: erlang.cookie

                  name: devsecret

            - name: MY_POD_NAME

              valueFrom:

                fieldRef:

                  apiVersion: v1

                  fieldPath: metadata.name

            - name: K8S_SERVICE_NAME

              value: "rabbitmq"

            - name: RABBITMQ_USE_LONGNAME

              value: 'true'

            - name: RABBITMQ_NODENAME

              value: "rabbit@$(MY_POD_NAME).$(K8S_SERVICE_NAME)"

            - name: RABBITMQ_NODE_TYPE

              value: "disc"

            - name: AUTOCLUSTER_TYPE

              value: "k8s"

            - name: AUTOCLUSTER_DELAY

              value: '10'

            - name: AUTOCLUSTER_CLEANUP

              value: 'true'

            - name: CLEANUP_WARN_ONLY

              value: 'false'

            - name: K8S_ADDRESS_TYPE

              value: "hostname"

            - name: K8S_HOSTNAME_SUFFIX

              value: ".$(K8S_SERVICE_NAME)"

          image: "registry.cn-zhangjiakou.aliyuncs.com/beibei_dtstack/cashier_rabbitmq:base"

          imagePullPolicy: IfNotPresent

          name: rabbitmq

          ports:

            - containerPort: 5672

              name: amqp

              protocol: TCP

          resources:

            limits:

              cpu: 250m

              memory: 512Mi

            requests:

              cpu: 150m

              memory: 256Mi

          volumeMounts:

            - mountPath: /var/lib/rabbitmq

              name: rabbitmq-volume

      dnsPolicy: ClusterFirst

      imagePullSecrets:

        - name: aliyunsecret

      restartPolicy: Always

      schedulerName: default-scheduler

      serviceAccount: rabbitmq

      serviceAccountName: rabbitmq

      volumes:

        - name: rabbitmq-volume

          persistentVolumeClaim:

            claimName: rabbitmq          #绑定pvc

  updateStrategy:

    rollingUpdate:

      partition: 0

    type: RollingUpdate

在创建之前还需要创建一个secret对象，用来存储rabbitmq的用户名、密码及erlang.cookie，具体创建步骤如下：

#首先需要生成一个erlang.cookie的文件：

echo $(openssl rand -base64 32) > erlang.cookie

#然后将该文件的内容复制下来，编写一个secret对象yaml：

apiVersion: v1

kind: Secret

metadata:

  name: devsecret

  namespace: cashier

type: Opaque

data:

  rabbitDefaulUser: "cmFiYml0dXNlcgo="

  rabbitDefaultPass: "cmFiYml0cGFzcwo="

  erlang.cookie: "ClmQ9uk2OYk/e+F6wxQEj49rcWT0XzJFWvWIC8RHOiA="

secret对象不允许存储明码的内容，必须将data下所有的数据转换为base64数据才ok,然后create一下：

kubectl creat -f secret.yaml

通过环境变量RABBITMQ_USE_LONGNAME, RABBITMQ_NODENAME, AUTOCLUSTER_TYPE, AUTOCLUSTER_DELAY, K8S_ADDRESS_TYPE, AUTOCLUSTER_CLEANUP等环境变量配置了autocluster插件，具体可以参考 RabbitMQ Autocluster中的文档内容
通过RABBITMQ_ERLANG_COOKIE指定了Erlang cookie。RabbitMQ的集群是通过Erlang OTP实现的，而Erlang节点间通信的认证通过Erlang cookie来允许通信，这里从devsecret这个Secret中挂载。关于devsecret这个Secret这里不再给出。
通过RABBITMQ_DEFAULT_USER和RABBITMQ_DEFAULT_PASS指定了RabbitMQ的管理员用户名和密码，也是从devsecret这个Secret中挂载的
通过RABBITMQ_NODE_TYPE设置集群所有节点类型为disc，即为磁盘节点

为了在Kubernetes上运行RabbitMQ集群，必须保证各个RabbitMQ节点之间可以通信，也就是SatefulSet的Pod可以通信。采用的RabbitMQ节点的命名方式为rabbit@hostdomainname的形式：

rabbit@rabbitmq-0.rabbit (rabbit@rabbitmq-0.rabbit.cashier.svc.cluster.local)

rabbit@rabbitmq-1.rabbit (rabbit@rabbitmq-1.rabbit.cashier.svc.cluster.local)

rabbit@rabbitmq-2.rabbit (rabbit@rabbitmq-2.rabbit.cashier.svc.cluster.local)

可以看出采用的是长节点名的命名方式，因此设置了RABBITMQ_USE_LONGNAME为true。为了保证节点间可以通过访问rabbitmq-0.rabbit, rabbitmq-1.rabbit, rabbitmq-2.rabbit这些域名通信，必须使用Headless Service，上面rabbitmq Service的clusterIP: None这个必须设置。

在Kubernetes上创建Service和StatefulSet：

kubectl create -f rabbitmq.statefulset.yaml

[root@k8s-master1 ~]# kubectl get statefulset rabbitmq -n cashier

NAME       READY   AGE

rabbitmq   3/3     5h15m

最后可以在RabbitMQ Management中查看RabbitMQ的3个节点已经组成了集群：

参考资料