搭建k8s集群完整版本

搭建k8s集群完整版

基础设置

设置主机ip

nmcli con add ifname ens33 con-name ens33 autoconnect yes type ethernet

nmcli con modify ens33 ipv4.method manual ipv4.dns 114.114.114.114 ipv4.addresses 192.168.109.102/24 ipv4.gateway 192.168.109.2

修改主机名

hostnamectl set-hostname master

关闭防火墙

systemctl stop firewalld

关闭selinux

vim /etc/selinux/config

SELINUX=disabled

关闭swap

swapoff -a //临时关闭

vim /etc/fstab

#注释掉swap的挂载条目

修改内核参数

cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf

overlay

br_netfilter

EOF

# 将 overlay 和 br_netfilter 这两行文本写入

# 到 /etc/modules-load.d/containerd.conf 文件中

# 这两个模块是 Docker 或 containerd 这类容器运行时经常需要的

# 用于提供 overlay 文件系统支持和网络桥接功能

modprobe overlay

modprobe br_netfilter

# 手动加载内核模块

# modprobe 命令用于添加或移除内核模块

cat /etc/sysctl.d/99-kubernetes-cri.conf

net.bridge.bridge-nf-call-iptables = 1  # 这个设置允许 iptables 规则应用于桥接流量

net.ipv4.ip_forward = 1  # 这个设置允许 IP 转发。在 Kubernetes 集群中，节点（Node）之间以及节点与 Pod 之间的网络流量可能需要通过 IP 转发来路由

net.bridge.bridge-nf-call-ip6tables = 1  # 与 bridge-nf-call-iptables 类似，但这个设置是针对 IPv6 流量的。它允许 ip6tables 规则应用于桥接流量。

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack

sysctl --system

题外话

在 Linux 系统中，sysctl 命令用于读取和修改内核参数（也称为 sysctl 参数）。这些参数定义了内核如何操作，并控制各种系统特性。

你提到的两个命令 sysctl -p 和 sysctl --system 在功能上有一些区别，尽管它们都与加载或应用 sysctl 配置文件有关。

sysctl -p：
- 这个命令用于从指定的文件（默认为 /etc/sysctl.conf）或 /etc/sysctl.d/ 和 /run/sysctl.d/（在某些系统上）目录下的文件中读取 sysctl 参数，并立即应用它们。
- 如果你在 /etc/sysctl.conf 或 /etc/sysctl.d/ 下的文件中修改了 sysctl 参数，但还没有重启系统，你可以使用 sysctl -p 命令来应用这些更改，而无需重启。
- 默认情况下，sysctl -p 只会读取 /etc/sysctl.conf 和 /etc/sysctl.d/ 目录下的文件。
sysctl --system：
- 这个命令会读取并应用多个目录下的 sysctl 配置文件。具体来说，它会读取 /usr/lib/sysctl.d/、/run/sysctl.d/、/etc/sysctl.d/ 和 /etc/sysctl.conf 这些目录和文件（在某些系统上可能有所不同）。
- 它会按照目录的字母顺序和文件名的字母顺序来应用配置，确保先加载优先级较低的配置，后加载优先级较高的配置。
- 使用 --system 选项的目的是为了提供一个更完整的方法来加载和应用 sysctl 配置，确保所有的配置都被考虑到了。

注意：

在某些系统上，/usr/lib/sysctl.d/ 目录下可能包含由系统包管理器安装的默认配置，而 /etc/sysctl.d/ 目录下则包含管理员手动添加的或特定于该系统的配置。
如果你修改了 sysctl 参数，并希望这些更改在系统重启后仍然生效，你应该编辑 /etc/sysctl.conf 文件或 /etc/sysctl.d/ 目录下的文件，而不是直接运行 sysctl 命令。然后，你可以使用 sysctl -p 或 sysctl --system 来应用这些更改。
在某些情况下，你可能还需要确保你的 sysctl 配置更改被持久化到某个启动服务或初始化脚本中，以确保在系统启动时自动应用这些更改。这通常取决于你使用的 Linux 发行版和初始化系统（如 SysVinit、Upstart、systemd 等）。

安装docker

yum install -y yum-utils

yum-config-manager --add-repo https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo

sed -i 's+https://download.docker.com+https://mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo

yum install docker-ce -y

systemctl enable docker --now

containerd config default > /etc/containerd/config.toml

containerd config default | \

sed -e 's|registry\.k8s\.io/pause:[0-9.]\+|registry\.aliyuncs\.com/google_containers/pause:3.9|g'  \

    -e 's,SystemdCgroup = .*,SystemdCgroup = true,' \

    -e 's/\[plugins."io.containerd.grpc.v1.cri".registry.mirrors\]/&\n        \[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]\n          endpoint = \["https:\/\/mirror.ccs.tencentyun.com"]\n/' \

    -e 's/\[plugins."io.containerd.grpc.v1.cri".registry.mirrors\]/&\n        \[plugins."io.containerd.grpc.v1.cri".registry.mirrors."registry.k8s.io"]\n          endpoint = \["https:\/\/registry\.aliyuncs\.com\/google_containers"]/' \

    -e '/^\s*$/d' |

tee /etc/containerd/config.toml

vim /etc/containerd/config.toml

sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"

[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]

  endpoint = ["https://mirror.ccs.tencentyun.com"]

[root@node1 ~]# vim /etc/docker/daemon.json 

{

 "registry-mirrors":["https://mirror.ccs.tencentyun.com"],

 "exec-opts": ["native.cgroupdriver=systemd"]

}

安装k8s

cat /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=kubernetes

baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

gpgcheck=0

yum install -y kubelet kubectl kubeadm

systemctl enable kubelet

crictl config runtime-endpoint /var/run/containerd/containerd.sock

crictl config image-endpoint /var/run/containerd/containerd.sock

systemctl restart containerd

解释

crictl 是一个命令行工具，用于与 Kubernetes 的容器运行时接口（CRI，Container Runtime Interface）进行交互。当使用 Kubernetes 集群时，kubelet 通过 CRI 与底层的容器运行时（如 Docker、containerd、CRI-O 等）进行通信。在许多现代 Kubernetes 部署中，containerd 作为容器运行时正在变得越来越流行。

您提供的两个命令是用来配置 crictl 工具，以便它可以与 containerd 进行通信。具体来说：

crictl config runtime-endpoint /var/run/containerd/containerd.sock

这个命令告诉 crictl 如何与 containerd 的运行时服务进行通信。/var/run/containerd/containerd.sock 是一个 Unix 套接字文件，它通常是 containerd 运行时服务监听的地址。通过配置这个 endpoint，crictl 可以发送命令给 containerd 来管理容器。

crictl config image-endpoint /var/run/containerd/containerd.sock

这个命令告诉 crictl 如何与 containerd 的镜像服务进行通信。尽管在许多情况下，containerd 的运行时服务和镜像服务都使用同一个 Unix 套接字文件（即 /var/run/containerd/containerd.sock），但理论上它们可以是不同的。然而，在大多数配置中，这两个 endpoint 是相同的。

要使这些配置更改生效，您通常需要在运行 crictl 命令之前设置这些环境变量，或者使用配置文件来永久保存这些设置。但请注意，crictl 的一些版本可能不支持直接通过命令行设置这些配置，因此您可能需要查阅您正在使用的 crictl 版本的文档来了解如何正确设置这些配置。

另外，这些命令本身不会改变任何系统配置或文件；它们只是在当前的 crictl 会话中设置这些值。如果您想永久保存这些更改，您可能需要将它们添加到您的 shell 配置文件（如 ~/.bashrc、~/.bash_profile、~/.zshrc 等）中，或者在运行 crictl 时使用 --runtime-endpoint 和 --image-endpoint 标志来指定这些值。

升级内核

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm -y

sed -i "s#http://elrepo.org/linux#https://mirrors.tuna.tsinghua.edu.cn/elrepo#g" /etc/yum.repos.d/elrepo.repo

yum --enablerepo="elrepo-kernel" -y install kernel-lt.x86_64

grub2-set-default 0

grub2-mkconfig -o /boot/grub2/grub.cfg

reboot

解释

这段命令序列在 CentOS 或 RHEL 7 系统中执行了一系列操作，以安装来自 ELRepo 的长期支持（LT）内核，并更新其软件仓库的镜像地址。以下是对每一步的详细解释：

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
- 这条命令从 ELRepo 的官方网站导入其 GPG 密钥。GPG 密钥用于验证从 ELRepo 下载的软件包的完整性和真实性。
yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm -y
- 使用 yum 安装 ELRepo 的发行版 RPM 包。这个 RPM 包包含了 ELRepo 的 YUM 仓库配置，使系统可以访问 ELRepo 提供的软件包。-y 参数自动接受所有提示，无需用户干预。
sed -i "s#http://elrepo.org/linux#https://mirrors.tuna.tsinghua.edu.cn/elrepo#g" /etc/yum.repos.d/elrepo.repo
- 使用 sed 命令编辑 ELRepo 的 YUM 仓库配置文件，将仓库的 URL 从 http://elrepo.org/linux 更改为 https://mirrors.tuna.tsinghua.edu.cn/elrepo。这通常是为了提高下载速度或稳定性，因为使用国内的镜像服务器可能会更快。
yum --enablerepo="elrepo-kernel" -y install kernel-lt.x86_64
- 使用 yum 从 ELRepo 的 elrepo-kernel 仓库安装长期支持（LT）内核。LT 内核为旧系统提供了更长时间的支持和稳定性。-y 参数自动接受所有提示，--enablerepo="elrepo-kernel" 指定只启用 elrepo-kernel 仓库。
grub2-set-default 0
- 使用 grub2-set-default 命令设置 GRUB2 的默认启动项为第一个（索引为 0）。这通常意味着在重启后，系统将使用新安装的 LT 内核启动。
grub2-mkconfig -o /boot/grub2/grub.cfg
- 生成 GRUB2 的配置文件。这确保了 GRUB2 识别了新的内核，并将其包含在启动菜单中。
reboot
- 重启系统。在重启后，系统应该使用新安装的 LT 内核启动。

请注意，在执行这些命令之前，最好备份重要的系统文件和数据，并确保您了解每一步的作用和可能的影响。此外，根据您的网络环境和系统配置，可能还需要进行其他配置或调整。

初始化

[root@master ~]# kubeadm init --apiserver-advertise-address=10.104.43.33(master的ip) --image-repository registry.aliyuncs.com/google_containers（指定镜像仓库） --kubernetes-version v1.23.6 （指定版本）--service-cidr=10.96.0.0/12 （划分服务网段）--pod-network-cidr=10.244.0.0/16（划分pod网段）

[root@master ~]# kubeadm init --apiserver-advertise-address=10.104.43.44 --image-repository registry.aliyuncs.com/google_containers  --kubernetes-version v1.28.2 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16

* 显示successfully 说明格式化成功

* 执行第二个红色方框内的三条命令

* 最后一个方框是node节点加入的密钥

* 如果，初始化的时候清屏不好找，那么可以使用命令查看token

* 如果没有过期，那么就可以直接使用

* 如果过期了，那么需要重新获取token'kubeadm token create'

例如：

[root@master ~]# kubeadm token create --print-join-command

kubeadm join 192.168.109.101:6443 --token izfe9a.vnkoxqjqkwyppcjb --discovery-token-ca-cert-hash sha256:03d6008d14db99b61e1792726e71d937aef6e775dbd2c8e37eeecbf71453588e

这个命令会输出一个完整的kubeadm join命令，包括新生成的token和集群的API服务器地址。

设置补全

echo "source <(kubectl completion bash)" >> ~/.bashrc

echo "source <(kubeadm completion bash)" >> ~/.bashrc

echo "source <(istioctl completion bash)" >> ~/.bashrc

# 部署CNI网络插件

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl apply -f  kube-flannel.yml

（kubectl delete -f kube-flannel.yml    删除）

例子

[root@master k8s]#  kubectl create deployment nginx --image=nginx

deployment.apps/nginx created

[root@master k8s]# kubectl get pod

NAME                     READY   STATUS    RESTARTS   AGE

nginx-85b98978db-pmrwh   1/1     Running   0          14s

[root@master k8s]# kubectl get svc

NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE

kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   78m

[root@master k8s]# kubectl get pods,svc

NAME                         READY   STATUS    RESTARTS   AGE

pod/nginx-85b98978db-pmrwh   1/1     Running   0          29s

NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE

service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   78m

[root@master k8s]# kubectl expose deployment nginx --port=80 --type=NodePort

service/nginx exposed

[root@master k8s]# kubectl get pods,svc

NAME                         READY   STATUS    RESTARTS   AGE

pod/nginx-85b98978db-pmrwh   1/1     Running   0          2m12s

NAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE

service/kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP        80m

service/nginx        NodePort    10.105.223.172   <none>        80:30663/TCP   6s

[root@master k8s]# curl  http://localhost:30663

<!DOCTYPE html>

<html>

<head>

<title>Welcome to nginx!</title>

<style>

html { color-scheme: light dark; }

body { width: 35em; margin: 0 auto;

font-family: Tahoma, Verdana, Arial, sans-serif; }

</style>

</head>

<body>

<h1>Welcome to nginx!</h1>

<p>If you see this page, the nginx web server is successfully installed and

working. Further configuration is required.</p>

<p>For online documentation and support please refer to

<a href="http://nginx.org/">nginx.org</a>.<br/>

Commercial support is available at

<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>

</body>

</html>

[root@master k8s]#