高可用Kubernetes集群-5. 部署flannel网络

七．部署flannel网络

kubernetes支持基于vxlan方式的flannel与weave网络，基于BGP路由的Calico网络，本节采用flannel网络。

Flannel网络采用etcd等kv存储做集中控制，在每个host生成1个subnet，每个host上的subnet通过vxlan方式打通。

1. 创建flannel TLS证书与私钥

etcd集群启用了双向TLS认证，需要为flannel网络指定与etcd集群通信的CA与秘钥。

1）创建flannel证书签名请求

[root@kubenode1 ~]# mkdir -p /etc/kubernetes/flannel
[root@kubenode1 ~]# cd /etc/kubernetes/flannel/
[root@kubenode1 flannel]# touch flanneld-csr.json

# hosts字段留空
[root@kubenode1 flannel]# vim flanneld-csr.json
{
    "CN": "flanneld",
    "hosts": [],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "ChengDu",
            "L": "ChengDu",
            "O": "k8s",
            "OU": "cloudteam"
        }
    ]
}

2）生成flannel证书与私钥

[root@kubenode1 flannel]# cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \
-ca-key=/etc/kubernetes/ssl/ca-key.pem \
-config=/etc/kubernetes/ssl/ca-config.json \
-profile=kubernetes flanneld-csr.json | cfssljson -bare flanneld

# 分发flanneld.pem，flanneld-key.pem
[root@kubenode1 flannel]# scp flanneld.pem flanneld-key.pem root@172.30.200.22:/etc/kubernetes/flannel/
[root@kubenode1 flannel]# scp flanneld.pem flanneld-key.pem root@172.30.200.23:/etc/kubernetes/flannel/

2. 在etcd写入集群Pod网段信息

# 在etcd集群（1个节点操作即可）写入”key-value”，即Pod网段信息，”key”指”${FLANNEL_ETCD_PREFIX}/config”；
# etcdctl采用的是etcd v2 api；
# 注意其中使用的环境变量，${CLUSTER_CIDR}需要与kube-controller-manager的参数--cluster-cidr一致；
[root@kubenode1 flannel]# etcdctl --endpoints=${ETCD_ENDPOINTS} \
--ca-file=/etc/kubernetes/ssl/ca.pem \
--cert-file=/etc/kubernetes/flannel/flanneld.pem \
--key-file=/etc/kubernetes/flannel/flanneld-key.pem \
set ${FLANNEL_ETCD_PREFIX}/config '{"Network":"'${CLUSTER_CIDR}'", "SubnetLen": 24, "Backend": {"Type": "vxlan"}}'

3. 下载部署flannel

[root@kubenode1 ~]# cd /usr/local/src/
[root@kubenode1 src]# wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz

[root@kubenode1 src]# mkdir -p /usr/local/flannel
[root@kubenode1 src]# tar -zxvf flannel-v0.10.0-linux-amd64.tar.gz
[root@kubenode1 src]# cd /usr/local/flannel/

4. 配置flanneld的systemd unit文件

[root@kubenode1 src]# cd /usr/local/flannel/
[root@kubenode1 flannel]# touch /usr/lib/systemd/system/flanneld.service

# EnvironmentFile：这里将flanneld的启动参数放在unit文件之外，修改后不用重载；
# ExecStart：启动文件位置，并带上指定参数的变量；
# ExecStartPost：启动后需要执行的操作，这里利用mk-docker-opts.sh脚本将分配到flanneld的Pod subnet信息写入到/run/flannel/docker文件中，docker服务启动时调用/run/flannel/docker文件中的参数设置docker0网桥；
# RequiredBy：docker.service依赖与flanneld服务；
# flanneld使用系统默认路由所在接口封装vxlan与其他节点通信，多网口时可使用--iface选项指定通信接口
[root@kubenode1 flannel]# vim /usr/lib/systemd/system/flanneld.service
[Unit]
Description=Flanneld overlay address etcd agent
Documentation=https://github.com/coreos
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/usr/local/flannel/flanneld.conf
ExecStart=/usr/local/flannel/flanneld $FLANNELD_ARGS
ExecStartPost=/usr/local/flannel/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=on-failure

[Install]
WantedBy=multi-user.target
RequiredBy=docker.service

# 启动参数文件，“-etcd-prefix”指定flannel网络配置存储路径，注意与写入etcd集群的“k-v”路径对应
[root@kubenode1 flannel]# touch /usr/local/flannel/flanneld.conf
[root@kubenode1 flannel]# vim /usr/local/flannel/flanneld.conf
FLANNELD_ARGS="-etcd-cafile=/etc/kubernetes/ssl/ca.pem \
  -etcd-certfile=/etc/kubernetes/flannel/flanneld.pem \
  -etcd-keyfile=/etc/kubernetes/flannel/flanneld-key.pem \
  -etcd-endpoints=https://172.30.200.21:2379,https://172.30.200.22:2379,https://172.30.200.23:2379 \
  -etcd-prefix=/kubernetes/network"

5. 修改docker的systemd unit文件

# 增加EnvironmentFile项：指定启动参数位置，注意与flanneld设定的文件对应；
# 修改ExecStart项：unix为开放本地客户端调用dockerd接口，ip地址为开放远端客户端调用dockerd接口，指定参数注意与flanneld设定的参数名对应
[root@kubenode1 flannel]# vim /usr/lib/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network.target

[Service]
Type=notify
EnvironmentFile=-/run/flannel/docker
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H 0.0.0.0:2375 $DOCKER_NETWORK_OPTIONS
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process

[Install]
WantedBy=multi-user.target

# docker启动参数文件，创建相应的目录与文件即可，不用编辑；
# mk-docker-opts.sh会利用从etcd分配到的信息编辑此文件
[root@kubenode1 flannel]# mkdir -p /run/flannel
[root@kubenode1 flannel]# touch /run/flannel/docker

6. 启动flanneld

# docker服务应该在flanneld服务之后启动
[root@kubenode1 flannel]# systemctl daemon-reload
[root@kubenode1 flannel]# systemctl enable flanneld
[root@kubenode1 flannel]# systemctl stop docker
[root@kubenode1 flannel]# systemctl start flanneld
[root@kubenode1 flannel]# systemctl start docker

7. 验证

1）网口

# docker0已从etcd获取Pod网段内1个24位subnet的地址，取代默认的172.17.0.0/16的地址；
# 对外（除跨主机的容器通信），采用默认的bridge网络，以nat的形式与外部通信；
# 同时生成一个flannel.1网口，跨主机的通信即通过flannel.1做vxlan的封装发出；
# flannel为每台主机分配独立的24位subnet，flannel.1将这些subnet连接起来，相互之间可路由；
# flannel 没有提供隔离
[root@kubenode1 ~]# ip address show

2）路由

# 在其余节点启动flanneld服务后，相关路由会被推送到各host主机；
# 以下是kubenode1到kubenode2&kubenode3的路由，通过flannel.1做封装
[root@kubenode1 ~]# ip route

3）查看etcd分配到各flanneld的Pod网段信息

# 集群Pod网段，即写入etcd的Pod网段信息
[root@kubenode1 ~]# etcdctl \
--endpoints=${ETCD_ENDPOINTS}  \
--ca-file=/etc/kubernetes/ssl/ca.pem \
--cert-file=/etc/kubernetes/flannel/flanneld.pem \
--key-file=/etc/kubernetes/flannel/flanneld-key.pem \
get ${FLANNEL_ETCD_PREFIX}/config

# 已分配的Pod subnet列表
[root@kubenode1 ~]# etcdctl \
--endpoints=${ETCD_ENDPOINTS} \
--ca-file=/etc/kubernetes/ssl/ca.pem \
--cert-file=/etc/kubernetes/flannel/flanneld.pem \
--key-file=/etc/kubernetes/flannel/flanneld-key.pem \
ls ${FLANNEL_ETCD_PREFIX}/subnets

# 某Pod subnet对应的flanneld进程监听的ip与网络参数;
# 任选1个Pod subnet列表，如10.254.3.0/24，可查询到其所在host节点与vtep mac地址
[root@kubenode1 ~]# etcdctl \
--endpoints=${ETCD_ENDPOINTS} \
--ca-file=/etc/kubernetes/ssl/ca.pem \
--cert-file=/etc/kubernetes/flannel/flanneld.pem \
--key-file=/etc/kubernetes/flannel/flanneld-key.pem \
get ${FLANNEL_ETCD_PREFIX}/subnets/10.254.3.0-24

4）ping测试

# iptables input链最后一条规则“-A INPUT -j REJECT --reject-with icmp-host-prohibited”，即不满足input已定义放行的规则，到链的最后则拒绝访问，同时返回"icmp-host-prohibited"消息；而flannel.1之间是通过udp封装的vxlan通信，input链默认未放行udp，导致docker0之间的ping包会被丢弃；
# 不能重启iptables，docker服务启动，或Pod subnet有变更时会向iptables添加规则，重启会使相关规则丢失； 
# 同时可以将/etc/sysconfig/iptables中下面两条规则注释掉 
[root@kubenode1 ~]# iptables -D INPUT -j REJECT --reject-with icmp-host-prohibited 
[root@kubenode1 ~]# iptables -D FORWARD -j REJECT --reject-with icmp-host-prohibited

# ping测试 
[root@kubenode1 ~]# ping 10.254.3.1 
[root@kubenode1 ~]# ping 10.254.71.1