附028.Kubernetes_v1.20.0高可用部署架构二

kubeadm介绍
部署规划
集群部署
- 相关组件包
- 正式安装
部署高可用组件I
初始化集群-Master
安装NIC插件
部署高可用组件II
添加Worker节点
- 添加Worker节点
- 确认验证
Metrics部署
Nginx ingress部署
Dashboard部署
ingress暴露dashboard
- 创建ingress tls
- 创建ingress策略
访问dashboard
Longhorn存储部署
Helm部署

kubeadm介绍

kubeadm概述

参考附003.Kubeadm部署Kubernetes。

kubeadm功能

参考附003.Kubeadm部署Kubernetes。

本方案描述

本方案采用kubeadm部署Kubernetes 1.18.3版本；
etcd采用混部方式；
Keepalived：实现VIP高可用；
Nginx：以Pod形式运行与Kubernetes之上，即in Kubernetes模式，提供反向代理至3个master 6443端口；
其他主要部署组件包括：
- Metrics：度量；
- Dashboard：Kubernetes 图形UI界面；
- Helm：Kubernetes Helm包管理工具；
- Ingress：Kubernetes 服务暴露；
- Longhorn：Kubernetes 动态存储组件。

部署规划

节点规划

节点主机名	IP	类型	运行服务
master01	172.24.8.71	Kubernetes master节点	docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico
master02	172.24.8.72	Kubernetes master节点	docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico
master03	172.24.8.73	Kubernetes master节点	docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico
worker01	172.24.8.74	Kubernetes worker节点	docker、kubelet、proxy、calico
worker02	172.24.8.75	Kubernetes worker节点	docker、kubelet、proxy、calico
worker03	172.24.8.76	Kubernetes worker节点	docker、kubelet、proxy、calico

Kubernetes的高可用主要指的是控制平面的高可用，即指多套Master节点组件和Etcd组件，工作节点通过负载均衡连接到各Master。

Kubernetes高可用架构中etcd与Master节点组件混布方式特点：

所需机器资源少
部署简单，利于管理
容易进行横向扩展
风险大，一台宿主机挂了，master和etcd就都少了一套，集群冗余度受到的影响比较大

提示：本实验使用Keepalived+Nginx架构实现Kubernetes的高可用。

初始准备

[root@master01 ~]# hostnamectl set-hostname master01	    #其他节点依次修改

[root@master01 ~]# cat >> /etc/hosts << EOF

172.24.8.71 master01

172.24.8.72 master02

172.24.8.73 master03

172.24.8.74 worker01

172.24.8.75 worker02

172.24.8.76 worker03

EOF  

[root@master01 ~]# wget http://down.linuxsb.com/k8sinit.sh

提示：此操作仅需要在master01节点操作。

对于某些特性，可能需要升级内核，内核升级操作见《018.Linux升级内核》。4.19版及以上内核nf_conntrack_ipv4已经改为nf_conntrack。

互信配置

为了更方便远程分发文件和执行命令，本实验配置master01节点到其它节点的 ssh 信任关系。

[root@master01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N ''

[root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master01

[root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master02

[root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master03

[root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@worker01

[root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@worker02

[root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@worker03

提示：此操作仅需要在master01节点操作。

其他准备

[root@master01 ~]# vi environment.sh

#!/bin/sh

#****************************************************************#

# ScriptName: environment.sh

# Author: xhy

# Create Date: 2020-05-30 16:30

# Modify Author: xhy

# Modify Date: 2020-05-30 16:30

# Version:

#***************************************************************#

# 集群 MASTER 机器 IP 数组

export MASTER_IPS=(172.24.8.71 172.24.8.72 172.24.8.73)

# 集群 MASTER IP 对应的主机名数组

export MASTER_NAMES=(master01 master02 master03)

# 集群 NODE 机器 IP 数组

export NODE_IPS=(172.24.8.74 172.24.8.75 172.24.8.76)

# 集群 NODE IP 对应的主机名数组

export NODE_NAMES=(worker01 worker02 worker03)

# 集群所有机器 IP 数组

export ALL_IPS=(172.24.8.71 172.24.8.72 172.24.8.73 172.24.8.74 172.24.8.75 172.24.8.76)

# 集群所有IP 对应的主机名数组

export ALL_NAMES=(master01 master02 master03 worker01 worker02 worker03)

[root@master01 ~]# source environment.sh

[root@master01 ~]# chmod +x *.sh

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}

  do

    echo ">>> ${all_ip}"

    scp -rp /etc/hosts root@${all_ip}:/etc/hosts

    scp -rp k8sinit.sh root@${all_ip}:/root/

    ssh root@${all_ip} "bash /root/k8sinit.sh"

  done

提示：Kubernetes 1.20.0可兼容的docker版本最新为19.03。

集群部署

正式安装

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}

  do

    echo ">>> ${all_ip}"

    ssh root@${all_ip} "cat <<EOF > /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/

enabled=1

gpgcheck=1

repo_gpgcheck=1

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF"

    ssh root@${all_ip} "yum install -y kubeadm-1.20.0-0.x86_64 kubelet-1.20.0-0.x86_64 kubectl-1.20.0-0.x86_64 --disableexcludes=kubernetes"

    ssh root@${all_ip} "systemctl enable kubelet"

done

[root@master01 ~]# yum search -y kubelet --showduplicates             #查看相应版本

提示：如上仅需Master01节点操作，从而实现所有节点自动化安装，同时此时不需要启动kubelet，初始化的过程中会自动启动的，如果此时启动了会出现报错，忽略即可。

说明：同时安装了cri-tools, kubernetes-cni, socat三个依赖：

socat：kubelet的依赖；

cri-tools：即CRI(Container Runtime Interface)容器运行时接口的命令行工具。

部署高可用组件I

Keepalived安装

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}

  do

    echo ">>> ${master_ip}"

    ssh root@${master_ip} "yum -y install curl gcc gcc-c++ make libnl libnl-devel libnl3-devel libnfnetlink-devel openssl-devel"

    ssh root@${master_ip} "wget http://down.linuxsb.com/software/keepalived-2.1.5.tar.gz"

    ssh root@${master_ip} "tar -zxvf keepalived-2.1.5.tar.gz"

    ssh root@${master_ip} "cd keepalived-2.1.5/ && LDFLAGS=\"$LDFAGS -L /usr/local/openssl/lib/\" ./configure --sysconf=/etc --prefix=/usr/local/keepalived && make && make install"

    ssh root@${master_ip} "systemctl enable keepalived && systemctl start keepalived"

  done

提示：如上仅需Master01节点操作，从而实现所有节点自动化安装。若出现如下报错：undefined reference to `OPENSSL_init_ssl’，可带上openssl lib路径：

LDFLAGS="$LDFAGS -L /usr/local/openssl/lib/" ./configure --sysconf=/etc --prefix=/usr/local/keepalived

创建配置文件

[root@master01 ~]# wget http://down.linuxsb.com/ngkek8s.sh          #拉取自动部署脚本

[root@master01 ~]# chmod u+x ngkek8s.sh

[root@master01 ~]# vi ngkek8s.sh                                    #其他保持默认

#!/bin/sh

#****************************************************************#

# ScriptName: k8s_ha.sh

# Author: xhy

# Create Date: 2020-05-13 16:32

# Modify Author: xhy

# Modify Date: 2020-06-12 12:53

# Version: v2

#***************************************************************#

#######################################

# set variables below to create the config files, all files will create at ./config directory

#######################################

# master keepalived virtual ip address

export K8SHA_VIP=172.24.8.254

# master01 ip address

export K8SHA_IP1=172.24.8.71

# master02 ip address

export K8SHA_IP2=172.24.8.72

# master03 ip address

export K8SHA_IP3=172.24.8.73

# master01 hostname

export K8SHA_HOST1=master01

# master02 hostname

export K8SHA_HOST2=master02

# master03 hostname

export K8SHA_HOST3=master03

# master01 network interface name

export K8SHA_NETINF1=eth0

# master02 network interface name

export K8SHA_NETINF2=eth0

# master03 network interface name

export K8SHA_NETINF3=eth0

# keepalived auth_pass config

export K8SHA_KEEPALIVED_AUTH=412f7dc3bfed32194d1600c483e10ad1d

# kubernetes CIDR pod subnet

export K8SHA_PODCIDR=10.10.0.0

# kubernetes CIDR svc subnet

export K8SHA_SVCCIDR=10.20.0.0

[root@master01 ~]# ./ngkek8s.sh

解释：如上仅需Master01节点操作。执行ngkek8s.sh脚本后，会自动生成以下配置文件：

kubeadm-config.yaml：kubeadm初始化配置文件，位于当前目录
keepalived：keepalived配置文件，位于各个master节点的/etc/keepalived目录
nginx-lb：nginx-lb负载均衡配置文件，位于各个master节点的/etc/kubernetes/nginx-lb/目录
calico.yaml：calico网络组件部署文件，位于config/calico/目录

[root@master01 ~]# cat kubeadm-config.yaml		#检查集群初始化配置

apiVersion: kubeadm.k8s.io/v1beta2

kind: ClusterConfiguration

networking:

  serviceSubnet: "10.20.0.0/16"			     	#设置svc网段

  podSubnet: "10.10.0.0/16"			          	#设置Pod网段

  dnsDomain: "cluster.local"

kubernetesVersion: "v1.20.0"			    	#设置安装版本

controlPlaneEndpoint: "172.24.11.254:16443"		#设置相关API VIP地址

apiServer:

  certSANs:

  - master01

  - master02

  - master03

  - 127.0.0.1

  - 172.24.8.71

  - 172.24.8.72

  - 172.24.8.73

  - 172.24.8.254

  timeoutForControlPlane: 4m0s

certificatesDir: "/etc/kubernetes/pki"

imageRepository: "k8s.gcr.io"

---

apiVersion: kubeproxy.config.k8s.io/v1alpha1

kind: KubeProxyConfiguration

featureGates:

  SupportIPVSProxyMode: true

mode: ipvs

提示：如上仅需Master01节点操作，更多config文件参考：https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta2。

此kubeadm部署初始化配置更多参考：https://pkg.go.dev/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta2?tab=doc。

启动Keepalived

[root@master01 ~]# cat /etc/keepalived/keepalived.conf

[root@master01 ~]# cat /etc/keepalived/check_apiserver.sh	#确认Keepalived配置

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}

  do

    echo ">>> ${master_ip}"

    ssh root@${master_ip} "systemctl restart keepalived.service && systemctl enable keepalived.service"

    ssh root@${master_ip} "systemctl status keepalived.service | grep Active"

  done

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}

  do

    echo ">>> ${all_ip}"

    ssh root@${all_ip} "ping -c1 172.24.8.254"

  done								#等待10s左右执行检查

提示：如上仅需Master01节点操作，从而实现所有节点自动启动服务。

启动Nginx

执行ngkek8s.sh脚本后，nginx-lb的配置文件会自动复制到各个master的节点的/etc/kubernetes/nginx-lb目录。

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}

  do

    echo ">>> ${master_ip}"

    ssh root@${master_ip} "cd /etc/kubernetes/nginx-lb/ && docker-compose up -d"

    ssh root@${master_ip} "docker-compose ps"

  done