etcd使用Cfssl生成自签证书(pem)

CFSSL是CloudFlare开源的一款PKI/TLS工具,CFSSL包含一个命令行工具和一个用于签名，验证并且捆绑TLS证书的HTTP API服务,环境构建方面需要 Go 1.12+。

需要两套证书，一套k8s通讯使用，一套etcd内部通讯使用

安装一些实用的命令行工具，其中包括 cfssl、cfssljson。

cfssljson 程序，从 cfssl 获取 JSON 输出，并将证书、密钥、CSR和 bundle 写入指定位置。

环境配置

HostName | ip | etcd内部通信端口 |外部通信端口
infra0 | 192.168.1.106 | 2379 | 2380 |
infra1 | 192.168.1.108 | 2379 | 2380 |
infra2 | 192.168.1.109 | 2379 | 2380 |

docker 安装

我这已经把docker提前安装了（可以参考下面的A）

A、安装方式，可以参考官方文档：https://docs.docker.com/engine/install/ubuntu/

B、普通用户加入docker组

sudo gpasswd -a $user docker　　# 用户加入docker组

newgrp docker　　　　# 刷新docker组状态

=====================以下在操作在mstart 上执行=====================

一、下载证书生成工具

官方下载地址： https://pkg.cfssl.org/  。需要下载三个文件，分别是 cfssl_linux-amd64，cfssljson_linux-amd64，cfssl-certinfo_linux-amd64

https://github.com/cloudflare/cfssl/releases/download/1.2.0/cfssl_linux-amd64
https://github.com/cloudflare/cfssl/releases/download/1.2.0/cfssljson_linux-amd64
https://github.com/cloudflare/cfssl/releases/download/1.2.0/cfssl-certinfo_linux-amd64

注：下载慢，可以使用第三方工具，迅雷下载，然后上传至服务器！

二、给所有工具设置执行权限

yang@master:~$ sudo chmod +x cfssl*
yang@master:~$ ls
cfssl-certinfo_linux-amd64 cfssljson_linux-amd64 cfssl_linux-amd64

三、生成默认CA配置json配置文件

yang@master:~$ sudo cfssl print-defaults config > ca-config.json
yang@master:~$ sudo cfssl print-defaults csr > ca-csr.json
yang@master:~$ ls
ca-config.json  ca-csr.json  cfssl-certinfo_linux-amd64  cfssljson_linux-amd64  cfssl_linux-amd64

A、ca-config.json文件内容：

{
    "signing": {
        "default": {
            "expiry": "168h"
        },
        "profiles": {
            "www": {
                "expiry": "8760h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth"
                ]
            },
            "client": {
                "expiry": "8760h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "client auth"
                ]
            }
        }
    }
}

B、ca-csr.json文件内容：

{
    "CN": "example.net",
    "hosts": [
        "example.net",
        "www.example.net"
    ],
    "key": {
        "algo": "ecdsa",
        "size": 256
    },
    "names": [
        {
            "C": "US",
            "L": "CA",
            "ST": "San Francisco"
        }
    ]
}

四、生成CA证书

A、首先修改ca-config.json文件内容：

yang@master:~$ cat ca-config.json
{
    "signing":{
        "default":{
            "expiry":"876000h"
        },
        "profiles":{
            "kubernetes":{
                "usages":[
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ],
                "expiry":"876000h"
            }
        }
    }
}

字段说明：

ca-config.json：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；后续在签名证书时使用某个 profile；

signing：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；

server auth：表示client可以用该 CA 对server提供的证书进行验证；

client auth：表示server可以用该CA对client提供的证书进行验证；

B、修改ca-csr.json文件内容：

yang@master:~$ cat ca-csr.json
{
  "CN": "CA",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "xian",
      "L": "shanxi",
      "O": "Kubernetes",
      "OU": "System"
    }
  ]
}

CN：Common Name，etcd 从证书中提取该字段作为请求的用户名 (User Name)；浏览器使用该字段验证网站是否合法；

O：Organization，etcd 从证书中提取该字段作为请求用户所属的组 (Group)；

这两个参数在后面的kubernetes启用RBAC模式中很重要，因为需要设置kubelet、admin等角色权限，那么在配置证书的时候就必须配置对了。

C、生产CA证书和私钥

命令：cfssl gencert -initca ca-csr.json | cfssljson -bare ca

yang@master:~$ cfssl gencert -initca ca-csr.json | cfssljson -bare ca
2021/12/15 02:29:56 [INFO] generating a new CA key and certificate from CSR
2021/12/15 02:29:56 [INFO] generate received request
2021/12/15 02:29:56 [INFO] received CSR
2021/12/15 02:29:56 [INFO] generating key: rsa-2048
2021/12/15 02:29:56 [INFO] encoded CSR
2021/12/15 02:29:56 [INFO] signed certificate with serial number 297280955480032641265224573714844144324135690602

注：如果生成权限问题，将此目录设置为777权限。

D 、查看生产证书文件

yang@master:~$ ls
ca-config.json  ca.csr  ca-csr.json  ca-key.pem  ca.pem  cfssl-certinfo_linux-amd64  cfssljson_linux-amd64  cfssl_linux-amd64

说明：

根证书文件: ca.pem
根证书私钥: ca-key.pem
根证书申请文件: ca.csr (csr是不是client ssl request?)

五、创建 etcd证书签名请求（etcd-csr.json)

yang@master:~$ sudo nano etcd-csr.json
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "192.168.1.106",
    "192.168.1.108",
    "192.168.1.109"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "xian",
      "L": "shanxi",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

说明：

如果 hosts 字段不为空则需要指定授权使用该证书的 IP 或域名列表，由于该证书后续被 etcd 集群使用，所以填写IP即可。 因为本次部署etcd是三台，那么则需要填写三台服务器的IP地址。

六、使用ca证书签发etcd证书

yang@master:~$ sudo cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes etcd-csr.json | cfssljson -bare etcd
2021/12/15 02:30:47 [INFO] generate received request
2021/12/15 02:30:47 [INFO] received CSR
2021/12/15 02:30:47 [INFO] generating key: rsa-2048
2021/12/15 02:30:47 [INFO] encoded CSR
2021/12/15 02:30:47 [INFO] signed certificate with serial number 655402234356318897903430018951458950558238874375

A、查看生成的etcd证书

yang@master:~$ ls
ca-config.json  ca-csr.json  ca.pem                      cfssljson_linux-amd64  etcd.csr       etcd-key.pem
ca.csr          ca-key.pem   cfssl-certinfo_linux-amd64  cfssl_linux-amd64      etcd-csr.json  etcd.pem

注：可以看出多了etcd.csr、etcd-key.pem、etcd.pem

B、将TLS 认证文件拷贝至证书目录下（三台机器都拷贝）

yang@master:~$ sudo cp etcd*.pem ca*.pem /opt/kubernetes/ssl/
yang@master:/opt/kubernetes/ssl$ ls
ca-key.pem  ca.pem  etcd-key.pem  etcd.pem
yang@master:/opt/kubernetes$ sudo chmod 777 ssl
yang@master:/opt/kubernetes/ssl$ sudo scp etcd*.pem ca*.pem yang@192.168.1.108:/opt/kubernetes/ssl
yang@192.168.1.108's password:
etcd-key.pem                                                                                                                     100% 1679   857.4KB/s   00:00
etcd.pem                                                                                                                         100% 1424     2.2MB/s   00:00
ca-key.pem                                                                                                                       100% 1679     2.6MB/s   00:00
ca.pem                                                                                                                           100% 1298     2.1MB/s   00:00
yang@master:/opt/kubernetes/ssl$ sudo scp etcd*.pem ca*.pem yang@192.168.1.109:/opt/kubernetes/ssl
The authenticity of host '192.168.1.109 (192.168.1.109)' can't be established.
ECDSA key fingerprint is SHA256:Spztpaw4tS1mizoKjV0+ly+WA9/9N7RxahpsMjAr6U8.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '192.168.1.109' (ECDSA) to the list of known hosts.
yang@192.168.1.109's password:
etcd-key.pem                                                                                                                    100% 1679     2.3MB/s   00:00
etcd.pem                                                                                                                        100% 1424     1.2MB/s   00:00
ca-key.pem                                                                                                                      100% 1679     4.0MB/s   00:00
ca.pem                                                                                                                          100% 1298     2.3MB/s   00:00
yang@node1:/opt/kubernetes/ssl$ ll    # node1 中文件
total 24
drwxrwxrwx 2 root root 4096 Dec 15 04:13 ./
drwxr-xr-x 4 root root 4096 Dec 15 03:55 ../
-rw------- 1 yang yang 1679 Dec 15 04:13 ca-key.pem
-rw-r--r-- 1 yang yang 1298 Dec 15 04:13 ca.pem
-rw------- 1 yang yang 1679 Dec 15 04:13 etcd-key.pem
-rw-r--r-- 1 yang yang 1424 Dec 15 04:13 etcd.pem
yang@node2:/opt/kubernetes/ssl$ ll    # node2 中文件
total 24
drwxrwxrwx 2 root root 4096 Dec 15 04:16 ./
drwxr-xr-x 4 root root 4096 Dec 15 03:56 ../
-rw------- 1 yang yang 1679 Dec 15 04:16 ca-key.pem
-rw-r--r-- 1 yang yang 1298 Dec 15 04:16 ca.pem
-rw------- 1 yang yang 1679 Dec 15 04:16 etcd-key.pem
-rw-r--r-- 1 yang yang 1424 Dec 15 04:16 etcd.pem
yang@node2:/opt/kubernetes/ssl$ 

注：拷贝文件目录及目标文件目录，都要给777权限，否则会报权限错误。

此时，etcd证书生成完成！