在CentOS7上部署Kubernetes集群

在CentOS7上部署Kubernetes集群

文／FCBusquest 2015-12-22 18:36:00

简介

Kubernetes(k8s)是Google开源的大规模容器集群管理系统, 本文将基于CentOS7自带的Kubernetes组件、分布式键值存储系统etcd以及Flannel实现的overlay网络来搭建一个简单的k8s集群。

第一步

首先要进行集群基础环境的准备，在美团云上创建三台内网机器，其中一台名为tkmaster主机作为k8s集群的Master节点，剩余两台tkminion01~02则是集群的Minion节点。 要求这三台机器均可访问外网，可以创建一个虚拟路由器，通过虚拟路由器访问外网；也可以为每台机器绑定一个浮动IP，但是为了避免集群暴露到外网造成的安全问题，需要对浮动IP设定好防火墙规则。

第二步

Master节点软件环境准备：禁用CentOS7自带防火墙，安装kubernetes、etcd、ntpd等软件。

sudo systemctl stop firewalld && sudo systemctl disable firewalld
sudo yum install -y kubernetes etcd ntp.x86_64

Minion节点软件环境准备：同样禁用CentOS7自带防火墙，安装kubernetes、flannel、ntpd等软件。

sudo systemctl stop firewalld && sudo systemctl disable firewalld
sudo yum install -y ntp.x86_64 flannel kubernetes

第三步

修改Master节点上etcd的配置/etc/etcd/etcd.conf（本文并没有搭建etcd集群，如果需要参见官方搭建etcd集群的指导教程）。

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"

修改Master节点kubernetes的全局配置文件/etc/kubernetes/config。

KUBE_LOG_LEVEL="--v=2"

修改Master节点kubernetes apiserver的配置文件/etc/kubernetes/apiserver。

KUBE_API_ADDRESS="--address=0.0.0.0"
KUBE_API_PORT="--port=8080"
KUBELET_PORT="--kubelet_port=10250"

第四步

启动Master节点的相关服务：ntpd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager，并将这些服务设为开机自动启动。

for SRV in ntpd etcd kube-apiserver kube-scheduler kube-controller-manager;
do
    sudo systemctl start $SRV
    sudo systemctl enable $SRV
    sudo systemctl status $SRV
done

如果每一个服务都启动成功，那么sudo systemctl status $SRV显示的信息则包含Active: active (running)。

第五步

在Master节点修改etcd的配置，设定Minion中flannel所使用的子网范围为172.17.1.0~172.17.254.0（每一个Minion节点都有一个独立的flannel子网）。

etcdctl mk /coreos.com/network/config '{"Network":"172.17.0.0/16", "SubnetMin": "172.17.1.0", "SubnetMax": "172.17.254.0"}'

第六步

修改Minion节点上flannel的配置/etc/sysconfig/flanneld，设定etcd的相关信息，其中172.26.10.110为tkmaster的IP地址。

FLANNEL_ETCD="http://172.26.10.110:2379"

修改Minion节点kubernetes的全局配置文件/etc/kubernetes/config。

KUBE_LOG_LEVEL="--v=2"
KUBE_MASTER="--master=http://172.26.10.110:8080"

修改Minion节点上kubernetes kubelet的配置/etc/kubernetes/kubelet。

KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_PORT="--port=10250"
KUBELET_API_SERVER="--api_servers=http://172.26.10.110:8080"
KUBELET_HOSTNAME=""

第七步

在Minion节点上启动相关服务：ntpd、flanneld、docker、kube-proxy、kubelet，并将这些服务设为开机自启动。

for SRV in ntpd flanneld docker kube-proxy kubelet;
do
    sudo systemctl start $SRV
    sudo systemctl enable $SRV
    sudo systemctl status $SRV
done

类似Master节点，如果每一个服务都启动成功，那么sudo systemctl status $SRV显示的信息则包含Active: active (running)。

第八步

在Master节点查看k8s集群状态。

[fcbusquest@tkmaster ~]$ kubectl get nodes -o wide
NAME         LABELS                              STATUS
tkminion01   kubernetes.io/hostname=tkminion01   Ready
tkminion02   kubernetes.io/hostname=tkminion02   Ready

在Master节点查看flannel子网分配情况。

[fcbusquest@tkmaster ~]$ etcdctl ls /coreos.com/network/subnets
/coreos.com/network/subnets/172.17.53.0-24
/coreos.com/network/subnets/172.17.72.0-24

在Minion节点通过ip a查看flannel和docker网桥的网络配置信息，确认是否与etcd中/coreos.com/network/subnets的信息一致。

第九步

从github下载kubernetes源码，并切换到kubernetes/examples/guestbook参考官方文档搭建一个完整的应用来验证集群的基本功能。

常见问题

如果出现异常情况可以通过sudo journalctl -f -u unitname来查看kubelet、kube-proxy、flannel、docker等服务的日志。

1. Minion无法从gcr.io中下载pause镜像，导致Pod无法创建。

   由于不可抗力的因素, 无法从gcr.io下载默认的pause镜像；所以只能从dockerhub来下载pause镜像并打tag来解决该问题。

sudo docker pull kubernetes/pause
sudo docker tag kubernetes/pause gcr.io/google_containers/pause:0.8.0
sudo docker tag kubernetes/pause gcr.io/google_containers/pause

参考资料

• Flannel Readme
• Kubernetes pause issues
• Kubernetes guestbook examples