kubeadm 部署k8s

kubeadm 部署k8s

闲聊

考虑了很久，打算写一篇保姆级部署从0-1构建企业级cicd流水线，把工作上面所用到的技术点分享给大家。从最k8s，harbor，jenkins，gitlab，docker的详细部署到集成。前后端流水线的构建，发布等...如果以下内容有不足的地方，请指出，我会第一时间更正。谢谢大家。

一、前言

K8s 集群部署有多种方式，kubeadm 是 K8s 官方提供的集群部署工具，这种方法最为常用，简单快速，适合初学者。本文就使用 kubeadm 搭建集群演示。

二、主机准备

本次我们搭建一套 3 个节点的 K8s 集群，操作系统使用Ubuntu 22.04.4 LTS，配置2核4G，ip规划如下

主机名	ip地址	主机配置
master231	10.0.0.231	2核，4GiB，系统盘 20GiB
worker232	10.0.0.232	2核，4GiB，系统盘 20GiB
worker233	10.0.0.233	2核，4GiB，系统盘 20GiB

三、系统配置

关闭swap分区

swapoff -a && sysctl -w vm.swappiness=0  # 临时关闭
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab  # 基于配置文件关闭

确保各个节点MAC地址或product_uuid唯一

ifconfig  ens33  | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid 

温馨提示:
   一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。
   Kubernetes使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一，可能会导致安装失败。

检查网络节点是否互通

简而言之，就是检查你的k8s集群各节点是否互通，可以使用ping命令来测试。
ping www.baidu.com -c 10
ping master231 -c 10

允许iptable检查桥接流量

cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

sysctl --system

修改cgroup的管理进程

所有节点修改cgroup的管理进程为systemd==乌班图默认不用修改
[root@master231 ~]# docker info  | grep "Cgroup Driver:"
 Cgroup Driver: systemd
[root@master231 ~]# 

[root@worker232 ~]# docker info  | grep "Cgroup Driver:"
 Cgroup Driver: systemd
[root@worker232 ~]# 

[root@worker233 ~]# docker info  | grep "Cgroup Driver:"
 Cgroup Driver: systemd
[root@worker233 ~]#
温馨提示:
	如果不修改cgroup的管理驱动为systemd，则默认值为cgroupfs，在初始化master节点时会失败

四、安装k8s管理工具

kubeadm：用来初始化K8S集群的工具。

kubelet：在集群中的每个节点上用来启动Pod和容器等。

kubectl：用来与K8S集群通信的命令行工具。

所有节点操作

1.K8S所有节点配置软件源
apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF

2.获取最新软件包信息
apt-get update

3.查看一下当前环境支持的k8s版本
[root@master231 ~]# apt-cache madison kubeadm
   kubeadm |  1.28.2-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm |  1.28.1-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm |  1.28.0-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages

4.安装 kubelet kubeadm kubectl
apt-get -y install kubelet=1.23.17-00 kubeadm=1.23.17-00 kubectl=1.23.17-00

5.所有节点都要检查各组件版本
kubeadm version
kubectl version
kubelet --version

安装docker

1.编写docker安装脚本
[root@master231 docker]# cat install-docker.sh
#!/bin/bash
# auther: Jason Yin
# blog: https://www.cnblogs.com/yinzhengjie

# 加载操作系统的变量，主要是ID变量。
. /etc/os-release

# DOCKER_VERSION=26.1.1
DOCKER_VERSION=20.10.24
# DOCKER_COMPOSE_VERSION=2.27.0
DOCKER_COMPOSE_VERSION=2.23.0
FILENAME=docker-${DOCKER_VERSION}.tgz
DOCKER_COMPOSE_FILE=docker-compose-v${DOCKER_COMPOSE_VERSION}
URL=https://download.docker.com/linux/static/stable/x86_64
DOCKER_COMPOSE_URL=https://github.com/docker/compose/releases/download/v${DOCKER_COMPOSE_VERSION}/docker-compose-linux-x86_64
DOWNLOAD=./download
BASE_DIR=/softwares
OS_VERSION=$ID

# 判断是否下载了docker-compose
function prepare(){
   # 判断是否下载docker-compose文件
   if [ ! -f ${DOWNLOAD}/${DOCKER_COMPOSE_FILE} ]; then
      wget -T 3  -t 2 ${DOCKER_COMPOSE_URL} -O ${DOWNLOAD}/${DOCKER_COMPOSE_FILE}
   fi

   if [ $? != 0 ];then
     rm -f ${DOWNLOAD}/${DOCKER_COMPOSE_FILE}
     echo "不好意思，由于网络波动原因，无法下载${DOCKER_COMPOSE_URL}软件包，程序已退出!请稍后再试......"
     exit 100
   fi

   # 给脚本添加执行权限
   chmod +x ${DOWNLOAD}/${DOCKER_COMPOSE_FILE}
}

# 定义安装函数
function InstallDocker(){

	if [ $OS_VERSION == "centos" ];then
	  [ -f /usr/bin/wget ] || yum -y install wget
          rpm -qa |grep bash-completion || yum -y install bash-completion
	fi

	if [ $OS_VERSION == "ubuntu" ];then
	  [ -f /usr/bin/wget ] || apt -y install wget
	fi

    # 判断文件是否存在，若不存在则下载软件包
    if [ ! -f ${DOWNLOAD}/${FILENAME} ]; then
       wget ${URL}/${FILENAME} -O ${DOWNLOAD}/${FILENAME}
    fi

    # 判断安装路径是否存在
    if [ ! -d ${BASE_DIR} ]; then
      install -d ${BASE_DIR}
    fi

    # 解压软件包到安装目录
    tar xf ${DOWNLOAD}/${FILENAME} -C ${BASE_DIR}

    # 安装docker-compose
    prepare
    cp $DOWNLOAD/${DOCKER_COMPOSE_FILE} ${BASE_DIR}/docker/docker-compose

    # 创建软连接
    ln -svf ${BASE_DIR}/docker/* /usr/bin/

    # 自动补全功能
    cp $DOWNLOAD/docker /usr/share/bash-completion/completions/docker
    source /usr/share/bash-completion/completions/docker

    # 配置镜像加速
    install -d /etc/docker
    cp $DOWNLOAD/daemon.json /etc/docker/daemon.json

    # 开机自启动脚本
    cp download/docker.service /usr/lib/systemd/system/docker.service
    systemctl daemon-reload
    systemctl enable --now docker
    docker version
    docker-compose version
    tput setaf 3
    echo "安装成功,欢迎使用cherry二进制docker安装脚本，欢迎下次使用!"
    tput setaf 2
}

# 卸载docker
function UninstallDocker(){
  # 停止docker服务
  systemctl disable --now docker

  # 卸载启动脚本
  rm -f /usr/lib/systemd/system/docker.service

  # 清空程序目录
  rm -rf ${BASE_DIR}/docker

  # 清空数据目录
  rm -rf /var/lib/{docker,containerd} 

  # 清除符号链接
  rm -f /usr/bin/{containerd,containerd-shim,containerd-shim-runc-v2,ctr,docker,dockerd,docker-init,docker-proxy,runc}

  # 使得终端变粉色
  tput setaf 5
  echo "卸载成功,欢迎再次使用cherry二进制docker安装脚本哟~"
  tput setaf 7
}

# 程序的入口函数
function main(){
   # 判断传递的参数
   case $1 in
     install|i)
      InstallDocker
      ;;
      remove|r)
      UninstallDocker
      ;;
     *)
       echo "Invalid parameter, Usage: $0 install|remove"
       ;;
   esac
}

# 向入口函数传参
main $1 

[root@master231 docker]# ll
total 16
drwxr-xr-x 3 root root 4096 Dec 10 05:49 ./
drwx------ 6 root root 4096 Dec 10 05:49 ../
drwxr-xr-x 2 root root 4096 May  9  2024 download/
-rwxr-xr-x 1 root root 3497 Dec 10 05:49 install-docker.sh*

2.安装docker
[root@master231 docker]# ./install-docker.sh install
'/usr/bin/containerd' -> '/softwares/docker/containerd'
'/usr/bin/containerd-shim' -> '/softwares/docker/containerd-shim'
'/usr/bin/containerd-shim-runc-v2' -> '/softwares/docker/containerd-shim-runc-v2'
'/usr/bin/ctr' -> '/softwares/docker/ctr'
'/usr/bin/docker' -> '/softwares/docker/docker'
'/usr/bin/docker-compose' -> '/softwares/docker/docker-compose'
'/usr/bin/dockerd' -> '/softwares/docker/dockerd'
'/usr/bin/docker-init' -> '/softwares/docker/docker-init'
'/usr/bin/docker-proxy' -> '/softwares/docker/docker-proxy'
'/usr/bin/runc' -> '/softwares/docker/runc'
Created symlink /etc/systemd/system/multi-user.target.wants/docker.service → /lib/systemd/system/docker.service.
Client:
 Version:           20.10.24
 API version:       1.41
 Go version:        go1.19.7
 Git commit:        297e128
 Built:             Tue Apr  4 18:17:06 2023
 OS/Arch:           linux/amd64
 Context:           default
 Experimental:      true

Server: Docker Engine - Community
 Engine:
  Version:          20.10.24
  API version:      1.41 (minimum version 1.12)
  Go version:       go1.19.7
  Git commit:       5d6db84
  Built:            Tue Apr  4 18:23:02 2023
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          v1.6.20
  GitCommit:        2806fc1057397dbaeefbea0e4e17bddfbd388f38
 runc:
  Version:          1.1.5
  GitCommit:        v1.1.5-0-gf19387a6
 docker-init:
  Version:          0.19.0
  GitCommit:        de40ad0
Docker Compose version v2.23.0
安装成功,欢迎使用cherry二进制docker安装脚本，欢迎下次使用!

初始化master组件

1.导入镜像
[root@master231 ~]# docker load -i master-1.23.17.tar.gz

2.使用kubeadm初始化master节点
[root@master231 ~]# kubeadm init --kubernetes-version=v1.23.17 --image-repository registry.aliyuncs.com/google_containers  --pod-network-cidr=10.100.0.0/16 --service-cidr=10.200.0.0/16  --service-dns-domain=cherry.com
#这个要记住，添加节点需要用
kubeadm join 10.0.0.231:6443 --token lzphw7.kc4iu4k0mswnpy7h \
	--discovery-token-ca-cert-hash sha256:298393d4dc931d6d13ec2ec1aedd4295bcd143a84e78dfc5a82ec7e53210d511
--------------------------------------------------

3.拷贝授权文件，用于管理K8S集群
[root@master231 ~]# mkdir -p $HOME/.kube
[root@master231 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master231 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

4.查看集群节点
[root@master231 ~]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS    MESSAGE                         ERROR
scheduler            Healthy   ok
controller-manager   Healthy   ok
etcd-0               Healthy   {"health":"true","reason":""}
[root@master231 ~]#
[root@master231 ~]#
[root@master231 ~]# kubectl get nodes
NAME        STATUS     ROLES                  AGE    VERSION
master231   NotReady   control-plane,master   117s   v1.23.1

部署worler组件，添加节点

1.导入镜像
[root@worker232 ~]# docker load  -i slave-1.23.17.tar.gz
[root@worker233 ~]# docker load  -i slave-1.23.17.tar.gz

2.在worker节点输入刚刚的token
[root@worker232 ~]# kubeadm join 10.0.0.231:6443 --token lzphw7.kc4iu4k0mswnpy7h \
	--discovery-token-ca-cert-hash sha256:298393d4dc931d6d13ec2ec1aedd4295bcd143a84e78dfc5a82ec7e53210d511

[root@worker232 ~]# kubeadm join 10.0.0.231:6443 --token lzphw7.kc4iu4k0mswnpy7h \
	--discovery-token-ca-cert-hash sha256:298393d4dc931d6d13ec2ec1aedd4295bcd143a84e78dfc5a82ec7e53210d511

3.master节点检查集群的worker节点列表
[root@master231 ~]# kubectl get nodes
NAME        STATUS     ROLES                  AGE     VERSION
master231   NotReady   control-plane,master   13m     v1.23.17
worker232   NotReady   <none>                 3m19s   v1.23.17
worker233   NotReady   <none>                 2m3s    v1.23.17

部署CNI插件，打通网络

1.导入镜像
[root@master231 ~]# docker load  -i flannel-cni-plugin-v1.5.1.tar.gz
[root@master232 ~]# docker load  -i flannel-cni-plugin-v1.5.1.tar.gz
[root@master233 ~]# docker load  -i flannel-cni-plugin-v1.5.1.tar.gz

[root@worker231 ~]# docker load -i flannel.tar.gz
[root@worker232 ~]# docker load -i flannel.tar.gz
[root@worker233 ~]# docker load -i flannel.tar.gz

2.下载Flannel组件
[root@master231 ~]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

3.安装Flannel组件
[root@master231 ~]# kubectl apply -f kube-flannel.yml 

4.查看版本，版本要一致不然会启动失败
[root@master231 ~]# grep image kube-flannel.yml

5.检查falnnel各组件是否安装成功
[root@master231 ~]# kubectl get pods -o wide -n kube-flannel
NAME                    READY   STATUS    RESTARTS   AGE   IP           NODE        NOMINATED NODE   READINESS GATES
kube-flannel-ds-ckkbk   1/1     Running   0          35s   10.0.0.233   worker233   <none>           <none>
kube-flannel-ds-kst7g   1/1     Running   0          35s   10.0.0.232   worker232   <none>           <none>
kube-flannel-ds-ljktm   1/1     Running   0          35s   10.0.0.231   master231   <none>           <none>

6.测试各节点组件
[root@master231 ~]# kubectl get nodes
NAME        STATUS   ROLES                  AGE   VERSION
master231   Ready    control-plane,master   37m   v1.23.17
worker232   Ready    <none>                 27m   v1.23.17
worker233   Ready    <none>                 26m   v1.23.17

五、安装kubectl工具自动补全功能

  1.临时补全生效
  apt -y install bash-completion
  source /usr/share/bash-completion/bash_completion
  source <(kubectl completion bash)

  2.永久补全生效需要写入环境变量
  [root@master231 ~]# vim .bashrc
  ...
  source <(kubectl completion bash)

六、修改时区

1.修改时区
[root@master231 ~]# ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 

2.验证
[root@master231 ~]# date -R

七、k8s基础巡检

1.检查K8S集群的worker节点列表
[root@master231 ~]# kubectl get nodes 

2.检查master组件
[root@master231 ~]# kubectl get cs

3.检查flannel网卡是否正常
[root@master231 ~]# kubectl get pods -o wide -n kube-flannel

4.检查各节点网卡
ifconfig 

- 如果有节点没有cni0网卡，建议大家手动创建相应的网桥设备，但是注意网段要一致:
	1.假设 master231的flannel.1是10.100.0.0网段。
ip link add cni0 type bridge
ip link set dev cni0 up
ip addr add 10.100.0.1/24 dev cni0

	2.假设 worker232的flannel.1是10.100.1.0网段。
ip link add cni0 type bridge
ip link set dev cni0 up
ip addr add 10.100.1.1/24 dev cni0

	3.假设 worker233的flannel.1是10.100.2.0网段。
ip link add cni0 type bridge
ip link set dev cni0 up
ip addr add 10.100.2.1/24 dev cni0