搭建一个完整的K8S集群-------基于CentOS 8系统

创建三个centos节点：

192.168.5.141 k8s-master

192.168.5.142 k8s-nnode1

192.168.5.143 k8s-nnode2

查看centos系统版本

# cat /etc/centos-release

CentOS Linux release 8.2.2004 (Core)

备注：第1步~第8步，所有的节点都要操作，第9、10步Master节点操作，第11步Node节点操作。

如果第9、10、11步操作失败，可以通过 kubeadm reset 命令来清理环境重新安装。

1.关闭防火墙

# systemctl stop firewalld

2.关闭selinux

# setenforce 0

3.关闭swap

# nano /etc/fstab ，注释掉swap挂载这一行可以永久关闭swap分区

备注：k8s运行必须关闭掉swap分区

# swapoff -a

4.添加主机名与IP对应的关系

# nano /etc/hosts 添加如下内容：

192.168.5.141 k8s-master

192.168.5.142 k8s-nnode1

192.168.5.143 k8s-nnode2

5.将桥接的IPV4流量传递到iptables 的链

# cat > /etc/sysctl.d/k8s.conf << EOF

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

EOF

# sysctl --system

6.安装docker

卸载旧的docker:

# sudo yum remove docker \

                  docker-client \

                  docker-client-latest \

                  docker-common \

                  docker-latest \

                  docker-latest-logrotate \

                  docker-logrotate \

                  docker-engine

# sudo yum install -y yum-utils \

  device-mapper-persistent-data \

  lvm2

# sudo yum-config-manager \

    --add-repo \

    https://download.docker.com/linux/centos/docker-ce.repo

# sudo yum install -y docker-ce-3:19.03.15-3.el8 docker-ce-cli-1:19.03.15-3.el8 containerd.io-1.3.9-3.1.el8

# docker --version

Docker version 19.03.15, build 99e3ed8919

修改Cgroupfs 为 Systemd(docker文件驱动默认由cgroupfs 改成 systemd，与k8s保持一致避免conflict)：

# cd /etc/

# mkdir docker
# cd docker

# nano daemon.json
或 # cd /etc/ && mkdir docker && cd docker && nano daemon.json

#写入

{

  "exec-opts": ["native.cgroupdriver=systemd"]

}

设置开机启动：

# systemctl enable docker && systemctl start docker

查看文件驱动：

# docker info | grep Driver
Storage Driver: overlay2
Logging Driver: json-file
Cgroup Driver: cgroupfs

 安装tc

# yum install tc -y

7.Kubernetes yum源配置：

# nano /etc/yum.repos.d/kubernetes.repo，添加文件内容如下：

[kubernetes]

name=Kubernetes Repo

baseurl=https://mirrors.tuna.tsinghua.edu.cn/kubernetes/yum/repos/kubernetes-el7-x86_64/

gpgcheck=0

enabled=1

8.安装k8s

yum -y install kubelet-1.18.5 kubeadm-1.18.5 kubectl-1.18.5 --disableexcludes=kubernetes

设置k8s开机启动

# systemctl enable kubelet

启动k8s后台daemon

# systemctl start kubelet

9.部署Kubernetes Master

从DockerHub的其它仓库拉取
网上搜了半天，很多人说从别的仓库一个一个拉取再改名，但是这些教程仓库名称不一，有的教程已经很老了，仓库很多年没更新，这里直接授之以渔，自己学怎么找仓库。
并且一个一个拉取改名太累了，可以写个脚本。

过程如下：

首先使用下面的命令获取需要的docker镜像名称：

# kubeadm config images list

k8s.gcr.io/kube-apiserver:v1.18.20
k8s.gcr.io/kube-controller-manager:v1.18.20
k8s.gcr.io/kube-scheduler:v1.18.20
k8s.gcr.io/kube-proxy:v1.18.20
k8s.gcr.io/pause:3.2
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.7

注意：新版本的coredns改名了，变成了coredns/coredns，记得在images里面改一下

首先要看看该在哪个地方拉取，可以去docker hub搜一搜哪里有kube-proxy之类的组件
进入dockerhub搜索：
https://hub.docker.com/search?q=kube-proxy&type=image
按照最近更新排序，结果如下，可以发现一个下载次数10k+，更新也很频繁的仓库：

然后开始编写脚本：

# cd /etc/

# mkdir k8s

# cd k8s

# nano pull_k8s_images.sh
或 cd /etc/ && mkdir k8s && cd k8s && nano pull_k8s_images.sh

set -o errexit

set -o nounset

set -o pipefail

##这里定义版本，按照上面得到的列表自己改一下版本号

KUBE_VERSION=v1.18.5

KUBE_PAUSE_VERSION=3.2

ETCD_VERSION=3.4.3-0

DNS_VERSION=1.6.7

##这是原始仓库名，最后需要改名成这个

GCR_URL=k8s.gcr.io

##这里就是写你要使用的仓库

DOCKERHUB_URL=gotok8s

##这里是镜像列表，新版本要把coredns改成coredns/coredns

images=(

kube-proxy:${KUBE_VERSION}

kube-scheduler:${KUBE_VERSION}

kube-controller-manager:${KUBE_VERSION}

kube-apiserver:${KUBE_VERSION}

pause:${KUBE_PAUSE_VERSION}

etcd:${ETCD_VERSION}

coredns:${DNS_VERSION}

)

##这里是拉取和改名的循环语句

for imageName in ${images[@]} ; do

  docker pull $DOCKERHUB_URL/$imageName

  docker tag $DOCKERHUB_URL/$imageName $GCR_URL/$imageName

  docker rmi $DOCKERHUB_URL/$imageName

done

然后授予执行权限

# chmod +x ./pull_k8s_images.sh

执行

./pull_k8s_images.sh

执行初始化

kubeadm init  \

 --kubernetes-version=1.18.5  \

 --apiserver-advertise-address=192.168.5.141   \

 --service-cidr=10.10.0.0/16 --pod-network-cidr=10.122.0.0/16

执行命令之后可以拿到，记录生成的最后部分内容，此内容需要在其它节点加入Kubernetes集群之前就执行。

kubeadm join 192.168.5.141:6443 --token n1anmw.ubhpjr33jdncdg5b \
--discovery-token-ca-cert-hash sha256:372c1db40560d9abc307f3882718cfd66d2773bcb377ea60d6cd60eb52717122

根据init后的提示，

增加一个名为k8s的普通系统用户，并设置为可以免密sudo
执行kubeadm初始化master配置时提示的kubectl配置方法

# mkdir -p $HOME/.kube

# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

# sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看docker镜像：

# docker images

REPOSITORY                           TAG                 IMAGE ID            CREATED             SIZE

k8s.gcr.io/kube-proxy                v1.18.5             a1daed4e2b60        14 months ago       117MB

k8s.gcr.io/kube-controller-manager   v1.18.5             8d69eaf196dc        14 months ago       162MB

k8s.gcr.io/kube-apiserver            v1.18.5             08ca24f16874        14 months ago       173MB

k8s.gcr.io/kube-scheduler            v1.18.5             39d887c6621d        14 months ago       95.3MB

k8s.gcr.io/pause                     3.2                 80d28bedfe5d        18 months ago       683kB

k8s.gcr.io/coredns                   1.6.7               67da37a9a360        19 months ago       43.8MB

k8s.gcr.io/etcd                      3.4.3-0             303ce5db0e90        22 months ago       288MB

由于kube-apiserver默认只启动安全访问接口6443，而不启动非安装访问接口8080，kubectl是通过8080端口访问k8s kubelet的，所以要修改配置文件，使其支持8080端口访问：

# nano /etc/kubernetes/manifests/kube-apiserver.yaml

把–insecure-port=0修改为：

–insecure-port=8080
增加或修改
-insecure-bind-address=0.0.0.0

# systemctl restart kubelet

# sysctl net.bridge.bridge-nf-call-iptables=1
# kubectl get node

NAME STATUS ROLES AGE VERSION
k8s-master NotReady master 11m v1.18.5

10.安装calico网络

# yum install -y wget
# wget http://download.zhufunin.com/k8s_1.18/calico.yaml
# kubectl apply -f calico.yaml

# kubectl get pods -n kube-system 隔一段时间看一下，STATUS变为ContainerCreating或者Running

再执行

# kubectl get node，此时状态变为Ready

至此，k8s master节点创建完毕。

11.Node节点加入集群(在k8s-nnode1和k8s-nnode2)

# yum install -y wget

# wget http://download.zhufunin.com/k8s_1.18/1-18-pause.tar.gz

# wget http://download.zhufunin.com/k8s_1.18/1-18-kube-proxy.tar.gz

# docker load -i   1-18-pause.tar.gz

# docker load -i 1-18-kube-proxy.tar.gz

向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：
复制上面命令，在node节点上执行
在k8s-nnode1和k8s-nnode2都执行刚才拿到的：

#   kubeadm join 192.168.5.141:6443 --token n1anmw.ubhpjr33jdncdg5b \
     --discovery-token-ca-cert-hash sha256:372c1db40560d9abc307f3882718cfd66d2773bcb377ea60d6cd60eb52717122

然后都执行：

kubectl -s http://192.168.5.138:8080 get nodes

mater查看pod

kubectl get pods  kube-proxy-7jmxj  -n kube-system -o wide
kubectl get pods -n kube-system -o wide

node查看连接日志

journalctl -f -u kubelet

如果Node的状态是NotReady，并且日志输出出现Unable to update cni config: No networks found in /etc/cni/net.d

执行 scp -r 192.168.5.141:/etc/cni /etc/cni

iptables --flush

iptables -tnat --flush

systemctl stop firewalld

systemctl disable firewalld

systemctl restart docker

systemctl restart kubelet