搭建一个完整的K8S集群-------基于CentOS 8系统

创建三个centos节点：

192.168.5.141 k8s-master
192.168.5.142 k8s-nnode1
192.168.5.143 k8s-nnode2

查看centos系统版本

# cat /etc/centos-release
CentOS Linux release 8.2.2004 (Core) 

备注：第1步~第8步，所有的节点都要操作，第9、10步Master节点操作，第11步Node节点操作。
如果第9、10、11步操作失败，可以通过 kubeadm reset 命令来清理环境重新安装。

1.关闭防火墙

# systemctl stop firewalld

2.关闭selinux

# setenforce 0

3.关闭swap

# nano /etc/fstab ，注释掉swap挂载这一行可以永久关闭swap分区

备注：k8s运行必须关闭掉swap分区

# swapoff -a

4.添加主机名与IP对应的关系

# nano /etc/hosts 添加如下内容：

192.168.5.141 k8s-master
192.168.5.142 k8s-nnode1
192.168.5.143 k8s-nnode2

5.将桥接的IPV4流量传递到iptables 的链

# cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

# sysctl --system

6.安装docker

卸载旧的docker:

# sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

# sudo yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2

# sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

# sudo yum install -y docker-ce-3:19.03.15-3.el8 docker-ce-cli-1:19.03.15-3.el8 containerd.io-1.3.9-3.1.el8

# docker --version
Docker version 19.03.15, build 99e3ed8919

修改Cgroupfs 为 Systemd(docker文件驱动默认由cgroupfs 改成 systemd，与k8s保持一致避免conflict)：
# cd /etc/
# mkdir docker
# cd docker
# nano daemon.json
或 # cd /etc/ && mkdir docker && cd docker && nano daemon.json 

#写入
{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

设置开机启动：

# systemctl enable docker && systemctl start docker

查看文件驱动：

# docker info | grep Driver
Storage Driver: overlay2
Logging Driver: json-file
Cgroup Driver: cgroupfs

 安装tc
# yum install tc -y

7.Kubernetes yum源配置：

# nano /etc/yum.repos.d/kubernetes.repo，添加文件内容如下：

[kubernetes]

name=Kubernetes Repo

baseurl=https://mirrors.tuna.tsinghua.edu.cn/kubernetes/yum/repos/kubernetes-el7-x86_64/

gpgcheck=0

enabled=1

8.安装k8s

yum -y install kubelet-1.18.5 kubeadm-1.18.5 kubectl-1.18.5 --disableexcludes=kubernetes

设置k8s开机启动

# systemctl enable kubelet

启动k8s后台daemon

# systemctl start kubelet

9.部署Kubernetes Master

从DockerHub的其它仓库拉取
网上搜了半天，很多人说从别的仓库一个一个拉取再改名，但是这些教程仓库名称不一，有的教程已经很老了，仓库很多年没更新，这里直接授之以渔，自己学怎么找仓库。
并且一个一个拉取改名太累了，可以写个脚本。

过程如下：

首先使用下面的命令获取需要的docker镜像名称：

# kubeadm config images list

k8s.gcr.io/kube-apiserver:v1.18.20
k8s.gcr.io/kube-controller-manager:v1.18.20
k8s.gcr.io/kube-scheduler:v1.18.20
k8s.gcr.io/kube-proxy:v1.18.20
k8s.gcr.io/pause:3.2
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.7

注意：新版本的coredns改名了，变成了coredns/coredns，记得在images里面改一下

首先要看看该在哪个地方拉取，可以去docker hub搜一搜哪里有kube-proxy之类的组件
进入dockerhub搜索：
https://hub.docker.com/search?q=kube-proxy&type=image
按照最近更新排序，结果如下，可以发现一个下载次数10k+，更新也很频繁的仓库：

然后开始编写脚本：

# cd /etc/
# mkdir k8s
# cd k8s
# nano pull_k8s_images.sh
或 cd /etc/ && mkdir k8s && cd k8s && nano pull_k8s_images.sh

set -o errexit
set -o nounset
set -o pipefail

##这里定义版本，按照上面得到的列表自己改一下版本号

KUBE_VERSION=v1.18.5
KUBE_PAUSE_VERSION=3.2
ETCD_VERSION=3.4.3-0
DNS_VERSION=1.6.7

##这是原始仓库名，最后需要改名成这个
GCR_URL=k8s.gcr.io

##这里就是写你要使用的仓库
DOCKERHUB_URL=gotok8s

##这里是镜像列表，新版本要把coredns改成coredns/coredns
images=(
kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${DNS_VERSION}
)

##这里是拉取和改名的循环语句
for imageName in ${images[@]} ; do
  docker pull $DOCKERHUB_URL/$imageName
  docker tag $DOCKERHUB_URL/$imageName $GCR_URL/$imageName
  docker rmi $DOCKERHUB_URL/$imageName
done

然后授予执行权限

# chmod +x ./pull_k8s_images.sh

执行

./pull_k8s_images.sh

执行初始化

kubeadm init  \
 --kubernetes-version=1.18.5  \
 --apiserver-advertise-address=192.168.5.141   \
 --service-cidr=10.10.0.0/16 --pod-network-cidr=10.122.0.0/16

执行命令之后可以拿到，记录生成的最后部分内容，此内容需要在其它节点加入Kubernetes集群之前就执行。

kubeadm join 192.168.5.141:6443 --token n1anmw.ubhpjr33jdncdg5b \
     --discovery-token-ca-cert-hash sha256:372c1db40560d9abc307f3882718cfd66d2773bcb377ea60d6cd60eb52717122

根据init后的提示，

增加一个名为k8s的普通系统用户，并设置为可以免密sudo
执行kubeadm初始化master配置时提示的kubectl配置方法

# mkdir -p $HOME/.kube
# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看docker镜像：

# docker images
REPOSITORY                           TAG                 IMAGE ID            CREATED             SIZE
k8s.gcr.io/kube-proxy                v1.18.5             a1daed4e2b60        14 months ago       117MB
k8s.gcr.io/kube-controller-manager   v1.18.5             8d69eaf196dc        14 months ago       162MB
k8s.gcr.io/kube-apiserver            v1.18.5             08ca24f16874        14 months ago       173MB
k8s.gcr.io/kube-scheduler            v1.18.5             39d887c6621d        14 months ago       95.3MB
k8s.gcr.io/pause                     3.2                 80d28bedfe5d        18 months ago       683kB
k8s.gcr.io/coredns                   1.6.7               67da37a9a360        19 months ago       43.8MB
k8s.gcr.io/etcd                      3.4.3-0             303ce5db0e90        22 months ago       288MB

由于kube-apiserver默认只启动安全访问接口6443，而不启动非安装访问接口8080，kubectl是通过8080端口访问k8s kubelet的，所以要修改配置文件，使其支持8080端口访问：

# nano /etc/kubernetes/manifests/kube-apiserver.yaml
把–insecure-port=0修改为：
–insecure-port=8080
增加或修改
-insecure-bind-address=0.0.0.0

# systemctl restart kubelet

# sysctl net.bridge.bridge-nf-call-iptables=1
  # kubectl get node

NAME       STATUS   ROLES  AGE VERSION
k8s-master NotReady master 11m v1.18.5

10.安装calico网络

# yum install -y wget
# wget http://download.zhufunin.com/k8s_1.18/calico.yaml
# kubectl apply -f calico.yaml

# kubectl get pods -n kube-system 隔一段时间看一下，STATUS变为ContainerCreating或者Running

再执行

# kubectl get node，此时状态变为Ready

至此，k8s master节点创建完毕。

11.Node节点加入集群(在k8s-nnode1和k8s-nnode2)

# yum install -y wget
# wget http://download.zhufunin.com/k8s_1.18/1-18-pause.tar.gz
# wget http://download.zhufunin.com/k8s_1.18/1-18-kube-proxy.tar.gz
# docker load -i   1-18-pause.tar.gz
# docker load -i 1-18-kube-proxy.tar.gz

向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：
复制上面命令，在node节点上执行
在k8s-nnode1和k8s-nnode2都执行刚才拿到的：

#   kubeadm join 192.168.5.141:6443 --token n1anmw.ubhpjr33jdncdg5b \
     --discovery-token-ca-cert-hash sha256:372c1db40560d9abc307f3882718cfd66d2773bcb377ea60d6cd60eb52717122

然后都执行：

kubectl -s http://192.168.5.138:8080 get nodes

mater查看pod

kubectl get pods  kube-proxy-7jmxj  -n kube-system -o wide
kubectl get pods -n kube-system -o wide

node查看连接日志

journalctl -f -u kubelet

如果Node的状态是NotReady，并且日志输出出现Unable to update cni config: No networks found in /etc/cni/net.d

执行 scp -r 192.168.5.141:/etc/cni /etc/cni

iptables --flush
iptables -tnat --flush
systemctl stop firewalld
systemctl disable firewalld
systemctl restart docker
systemctl restart kubelet