以二进制文件安装K8S之部署etcd高可用集群

概述

前提条件：已经准备好CA根证书（etcd在制作CA证书时需要CA根证书），并且把CA根证书文件ca.key和ca.crt拷贝到3个etcd节点的/etc/kubernetes/pki目录下。

3台主机的IP地址分别为192.168.3.135、192.168.3.136、192.168.3.137。

要安装的etcd版本：v3.4.13-linux-amd64。

安装etcd

下载etcd二进制文件，配置systemd服务。

从GitHub官网下载etcd二进制文件，例如etcd-v3.4.13-linux-amd64.tar.gz。

解压缩后得到etcd和etcdctl文件，将它们复制到/usr/bin目录下。

然后将其部署为一个systemd的服务，创建systemd服务配置文件/usr/lib/systemd/system/etcd.service，内容示例如下：

[Unit]

Description=etcd key-value store

Documentation=https://github.com/etcd-io/etcd

After=network.target

[Service]

EnvironmentFile=/etc/etcd/etcd.conf

ExecStart=/usr/bin/etcd

Restart=always

[Install]

WantedBy=multi-user.target

其中，EnvironmentFile指定配置文件的全路径，例如/etc/etcd/etcd.conf，其中的参数以环境变量的格式进行配置，配置内容如下所示。

如上添加systemd服务需要在所有etcd节点都执行相同的操作。

创建etcd的CA证书

先创建一个x509 v3配置文件etcd_ssl.cnf，其中subjectAltName参数（alt_names）包括所有etcd主机的IP地址，例如：

[ req ]

req_extensions = v3_req

distinguished_name = req_distinguished_name

[ req_distinguished_name ]

[ v3_req ]

basicConstraints = CA:FALSE

keyUsage = nonRepudiation, digitalSignature, keyEncipherment

subjectAltName = @alt_names

[ alt_names ]

IP.1 = 192.168.3.135

IP.2 = 192.168.3.136

IP.3 = 192.168.3.137

然后使用openssl命令创建etcd的服务端CA证书，包括etcd_server.key和etcd_server.crt文件，将其保存到/etc/etcd/pki目录下。

openssl genrsa -out etcd_server.key 2048

openssl req -new -key etcd_server.key -config etcd_ssl.cnf -subj "/CN=etcd-server" -out etcd_server.csr

openssl x509 -req -in etcd_server.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -days 36500 -extensions v3_req -extfile etcd_ssl.cnf -out etcd_server.crt

再创建客户端使用的CA证书，包括etcd_client.key和etcd_client.crt文件，也将其保存到/etc/etcd/pki目录下，后续供kube-apiserver连接etcd时使用。

openssl genrsa -out etcd_client.key 2048

openssl req -new -key etcd_client.key -config etcd_ssl.cnf -subj "/CN=etcd-client" -out etcd_client.csr

openssl x509 -req -in etcd_client.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -days 36500 -extensions v3_req -extfile etcd_ssl.cnf -out etcd_client.crt

最后在/etc/etcd/pki/目录下将会看到4个文件，分别是：etcd_client.crt，etcd_client.key，etcd_server.crt和etcd_server.key。

[root@m1 ~]# ll /etc/etcd/pki/

total 16

-rw-r--r--. 1 root root 1086 Aug 17 06:25 etcd_client.crt

-rw-------. 1 root root 1679 Aug 17 06:25 etcd_client.key

-rw-r--r--. 1 root root 1086 Aug 17 06:20 etcd_server.crt

-rw-------. 1 root root 1675 Aug 17 06:20 etcd_server.key

需要将这四个文件都拷贝到到所有ectd节点上。

etcd参数配置

接下来对3个etcd节点进行配置。

etcd节点的配置方式包括启动参数、环境变量、配置文件等，本例使用环境变量方式将其配置到/etc/etcd/etcd.conf文件中，供systemd服务读取。

# 节点1的配置

ETCD_NAME=etcd1

ETCD_DATA_DIR=/etc/etcd/data

ETCD_CERT_FILE=/etc/etcd/pki/etcd_server.crt

ETCD_KEY_FILE=/etc/etcd/pki/etcd_server.key

ETCD_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt

ETCD_CLIENT_CERT_AUTH=true

ETCD_LISTEN_CLIENT_URLS=https://192.168.3.135:2379

ETCD_ADVERTISE_CLIENT_URLS=https://192.168.3.135:2379

ETCD_PEER_CERT_FILE=/etc/etcd/pki/etcd_server.crt

ETCD_PEER_KEY_FILE=/etc/etcd/pki/etcd_server.key

ETCD_PEER_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt

ETCD_LISTEN_PEER_URLS=https://192.168.3.135:2380

ETCD_INITIAL_ADVERTISE_PEER_URLS=https://192.168.3.135:2380

ETCD_INITIAL_CLUSTER_TOKEN=etcd-c1uster

ETCD_INITIAL_CLUSTER="etcd1=https://192.168.3.135:2380,etcd2=https://192.168.3.136:2380,etcd3=https://192.168.3.137:2380"

ETCD_INITIAL_CLUSTER_STATE=new

# 节点2的配置

ETCD_NAME=etcd2

ETCD_DATA_DIR=/etc/etcd/data

ETCD_CERT_FILE=/etc/etcd/pki/etcd_server.crt

ETCD_KEY_FILE=/etc/etcd/pki/etcd_server.key

ETCD_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt

ETCD_CLIENT_CERT_AUTH=true

ETCD_LISTEN_CLIENT_URLS=https://192.168.3.136:2379

ETCD_ADVERTISE_CLIENT_URLS=https://192.168.3.136:2379

ETCD_PEER_CERT_FILE=/etc/etcd/pki/etcd_server.crt

ETCD_PEER_KEY_FILE=/etc/etcd/pki/etcd_server.key

ETCD_PEER_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt

ETCD_LISTEN_PEER_URLS=https://192.168.3.136:2380

ETCD_INITIAL_ADVERTISE_PEER_URLS=https://192.168.3.136:2380

ETCD_INITIAL_CLUSTER_TOKEN=etcd-c1uster

ETCD_INITIAL_CLUSTER="etcd1=https://192.168.3.135:2380,etcd2=https://192.168.3.136:2380,etcd3=https://192.168.3.137:2380"

ETCD_INITIAL_CLUSTER_STATE=new

# 节点3的配置

ETCD_NAME=etcd3

ETCD_DATA_DIR=/etc/etcd/data

ETCD_CERT_FILE=/etc/etcd/pki/etcd_server.crt

ETCD_KEY_FILE=/etc/etcd/pki/etcd_server.key

ETCD_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt

ETCD_CLIENT_CERT_AUTH=true

ETCD_LISTEN_CLIENT_URLS=https://192.168.3.137:2379

ETCD_ADVERTISE_CLIENT_URLS=https://192.168.3.137:2379

ETCD_PEER_CERT_FILE=/etc/etcd/pki/etcd_server.crt

ETCD_PEER_KEY_FILE=/etc/etcd/pki/etcd_server.key

ETCD_PEER_TRUSTED_CA_FILE=/etc/kubernetes/pki/ca.crt

ETCD_LISTEN_PEER_URLS=https://192.168.3.137:2380

ETCD_INITIAL_ADVERTISE_PEER_URLS=https://192.168.3.137:2380

ETCD_INITIAL_CLUSTER_TOKEN=etcd-c1uster

ETCD_INITIAL_CLUSTER="etcd1=https://192.168.3.135:2380,etcd2=https://192.168.3.136:2380,etcd3=https://192.168.3.137:2380"

ETCD_INITIAL_CLUSTER_STATE=new

主要配置参数包括为客户端和集群其他节点配置的各监听URL地址（均为HTTPS URL地址），并配置相应的CA证书参数。

etcd服务相关的参数如下。

ETCD_NAME：etcd节点名称，每个节点都应不同，例如etcd1、etcd2、etcd3。
ETCD_DATA_DIR：etcd数据存储目录，例如/etc/etcd/data/etcd1。
ETCD_LISTEN_CLIENT_URLS和ETCD_ADVERTISE_CLIENT_URLS：为客户端提供的服务监听URL地址，例如https：//192.168.3.135:2379。
ETCD_LISTEN_PEER_URLS和ETCD_INITIAL_ADVERTISE_PEER_URLS：为本集群其他节点提供的服务监听URL地址，例如https：//192.168.3.135:2380。
ETCD_INITIAL_CLUSTER_TOKEN：集群名称，例如etcd-cluster。
ETCD_INITIAL_CLUSTER：集群各节点的endpoint列表，例如"etcd1=https://192.168.3.135:2380,etcd2=https://192.168.3.136:2380,etcd3=https://192.168.3.137:2380"。
ETCD_INITIAL_CLUSTER_STATE：初始集群状态，新建集群时设置为“new”，集群已存在时设置为“existing”。

CA证书相关的配置参数如下。

ETCD_CERT_FILE：etcd服务端CA证书-crt文件全路径，例如/etc/etcd/pki/etcd_server.crt。
ETCD_KEY_FILE：etcd服务端CA证书-key文件全路径，例如/etc/etcd/pki/etcd_server.key。
ETCD_TRUSTED_CA_FILE：CA根证书文件全路径，例如/etc/kubernetes/pki/ca.crt。
ETCD_CLIENT_CERT_AUTH：是否启用客户端证书认证。
ETCD_PEER_CERT_FILE：集群各节点相互认证使用的CA证书-crt文件全路径，例如/etc/etcd/pki/etcd_server.crt。
ETCD_PEER_KEY_FILE：集群各节点相互认证使用的CA证书-key文件全路径，例如/etc/etcd/pki/etcd_server.key。
ETCD_PEER_TRUSTED_CA_FILE：CA根证书文件全路径，例如/etc/kubernetes/pki/ca.crt。

启动etcd集群

基于systemd的配置，在3台主机上分别启动etcd服务，并设置为开机自启动：

systemctl restart etcd && systemctl enable etcd

然后用etcdctl客户端命令行工具携带客户端CA证书，运行etcdctl endpoint health命令访问etcd集群，验证集群状态是否正常，命令如下。

etcdctl --cacert=/etc/kubernetes/pki/ca.crt --cert=/etc/etcd/pki/etcd_client.crt --key=/etc/etcd/pki/etcd_client.key --endpoints=https://192.168.3.135:2379,https://192.168.3.136:2379,https://192.168.3.137:2379 endpoint health

https://192.168.3.135:2379 is healthy: successfully committed proposal: took = 10.227801ms

https://192.168.3.136:2379 is healthy: successfully committed proposal: took = 10.880941ms

https://192.168.3.137:2379 is healthy: successfully committed proposal: took = 12.226104ms

结果显示各节点状态均为“healthy”，说明集群正常运行。至此，一个启用了HTTPS的3节点etcd集群就部署完成了。