创建双向 CA x509 验证证书 kube-apiserver

1. 设置 kube-apiserver 的 CA 证书相关的文件和启动参数

使用 OpenSSL 工具在 Master 服务器上创建 CA 证书和私钥相关的文件：

# openssl genrsa -out ca.key  2048

# openssl req -x509 -new -nodes -key ca.key -subj "/CN=k8s-master" -days 5000 -out ca.crt

# openssl genrsa -out server.key 2048

注意，在生成 ca.crt 时，-subj 参数中的 "/CN" 的值为 Master 主机名。

准备 master_ssl.cnf 配置文件（用于 openssl 证书签发），该文件用于 x509 v3版本的证书。在该文件中主要需要 Master 服务器的 hostname（k8s-master）、IP地址（192.168.18.3），以及 Kubernetes Master Service 的虚拟服务名称（kubernetes.default 等）和该虚拟服务器的 ClusterIP 地址（169.169.0.1）。

master_ssl.cnf 文件的示例如下：

[req]

req_extensions = v3_req

distinguished_name = req_distinguished_name

[req_distinguished_name]

[ v3_req ]

basicConstraints = CA:FALSE

keyUsage = nonRepudiation, digitalSignature, keyEncipherment

subjectAltName = @alt_names

[alt_names]

DNS.1 = kubernetes

DNS.2 = kubernetes.default

DNS.3 = kubernetes.default.svc

DNS.4 = kubernetes.default.svc.cluster.local

DNS.5 = k8s-master

IP.1 = 169.169.0.1

IP.2 = 192.168.18.3

基于 master_ssl.cnf 创建 server.csr 和 server.crt 文件。

在生成 server.csr 时，-subj 参数中的 "/CN" 的值需为 Master 的主机名：

# openssl req -new -key server.key -subj "/CN=k8s-master" -config master_ssl.cnf -out server.csr

# openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -days 5000 -extensions v3_req -extfile master_ssl.cnf -out server.crt

全部执行完成后会生成 6 个文件：

ca.crt
ca.key
ca.srl
server.crt
server.csr
server.key

将这些文件复制到一个目录下（例如 /var/run/kubernetes/），然后设置 kube-apiserver 的三个启动参数 "--client-ca-file" "--tls-cert-file" 和 "--tls-private-key-file"，分别代表 CA 根证书文件、服务端证书文件和服务端私钥文件。

--client-ca-file=/var/run/kubernetes/ca.crt

--tls-private-key-file=/var/run/kubernetes/server.key

--tls-cert-file=/var/run/kubernetes/server.crt

同时，可以关闭非安全端口（设置 --insecure-port=0），设置安全端口为 6443（默认值）：

--insecure-port=0

--secure-port=6443

最后重启 kube-apiserver 服务。

2. 设置kube-controller-manager 的客户端证书、私钥和启动参数

代码如下：

$ openssl genrsa -out cs_client.key 2048

$ openssl req -new -key cs_client.key -subj "/CN=k8s-master" -out cs_client.csr

$ openssl x509 -req -in cs_client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out cs_client.crt -days 5000

其中，在生成 cs_client.crt 时，-CA 参数和 -CAkey 参数使用的是 API Server 的 ca.crt 和 ca.key 文件。

然后将这些复制到一个目录下（例如/var/run/kubernetes/）。

接下来创建/etc/kubernetes/kubeconfig 文件（kube-controller-manager 与 kube-scheduler共用），配置客户端证书等相关参数，内容如下：

apiVersion: v1

kind: Config

users:

- name: controllermanager

  user:

    client-certificate: /var/run/kubernertes/cs_client.crt

    client-key: /var/run/kubenetes/cs_client.key

clusters:

- name: local

  cluster:

    certificate-authority: /var/run/kubernetes/ca.crt

    server: https://192.168.18.3:6443

contexts:

- context:

    cluster: local

    user: controllermanager

  name: my-context

current-context: my-context

然后设置 kube-controller-manager 服务的启动参数：

--service-account-key-file=/var/run/kubernetes/server.key \

--root-ca-file=/var/run/kubenetes/ca.crt \

--kubeconfig=/etc/kubenetes/kubeconfig

最后重启 kube-controller-manager 服务。

3. 设置 kube-scheduler 启动参数

kube-scheduler 复用上一步 kube-controller-manager 创建的客户端证书，配置启动参数：

--kubeconfig=/etc/kubernetes/kubeconfig

重启 kube-scheduler 服务。

4. 设置每个 Node 上 kubelet 的客户端证书、私钥和启动参数

首先，复制 kube-apiserver 的 ca.crt 和 ca.key 文件到 Node 上，在生成 kubelet_client.crt 时 -CA 参数和-CAkey参数使用的是 API Server 的 ca.crt 和 ca.key 文件；在生成 kubelet_client.csr 时，将 -subj 参数中的 “/CN” 设置为本 Node 的 IP 地址：

$ openssl genrsa -out kubelet_client.key 2048

$ openssl req -new -key kubelet_client.key -subj "/CN=192.168.18.4" -out kubelet_client.csr

$ openssl x509 -req -in kubelet_client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out kubelet_client.crt -days 5000

将这些复制到一个目录下（例如/var/run/kubernetes/）。

接下来创建/etc/kubernetes/kubeconfig 文件（kubelet 和 kube-proxy 进程共用），配置客户端证书等相关参数，内容如下：

apiVersion: v1

kind: Config

users:

- name: kubelet

  user:

    client-certificate: /etc/kubernetes/ssl_keys/kubelet_client.crt

    client-key: /etc/kubernetes/ssl_keys/kubelet_client.key

clusters:

- name: local

  cluster:

    certificate-authority: /etc/kubernetes/ssl_keys/ca.crt

    srver: https://192.168.18.3:6443

contexts:

- context:

    cluster: local

    user: kubelet

  name: my-context

current-context: my-context

然后设置kubelet服务的启动参数：

--kubeconfig=/etc/kubelet/kubeconfig

最后重启 kubelet 服务。

5. 设置 kube-proxy 的启动参数

kube-proxy 复用上一步 kubelet 创建的客户端证书，配置启动参数：

--kubeconfig=/etc/kubernetes/kubeconfig

重启 kube-proxy 服务。

至此，一个基于 CA 的双向数字证书认证的 Kubernetes 集群环境就搭建完成了。

6. 设置 kubelet 客户端使用安全方式访问 API Server

在使用 kubectl 对 Kubernetes 集群进行操作时，默认使用非安全端口 8080 对 API Server 进行访问，也可以设置为安全访问 API Server 的模式，需要设置 3 个证书相关的参数 --certificate-authority、--client-certificate 和 --client-key，分别表示用于 CA授权的证书、客户端证书和客户端密钥。

--certificate-authority：使用 kube-apiservr 生成的 ca.crt 文件。
--client-certificate：使用为 kube-controller-manager 生成的 cs_client.crt 文件。
--client-key：使用为 kube-controller-manager 生成的 cs_client.key 文件。

同时，指定 API Server 的 URL 地址为 HTTPS 安全地址（例如 https://k8s-master:443），最后输入需要执行的子命令，即可对 API Server 进行安全访问了：

# kubectl --server=https://192.168.18.3:6443 \

--certificate-authority=/etc/kubernetes/ssl_keys/ca.crt \

--client-certificate=/etc/kubernetes/ssl_keys/cs_client.crt \

--client-key=/etc/kubernetes/ssl_keys/cs_client.key get nodes

  NAME          STATUS       AGE

  k8s-node-1     Ready        1h