搭建k8s集群完整版

基础设置

设置主机ip

nmcli con add ifname ens33 con-name ens33 autoconnect yes type ethernet

nmcli con modify ens33 ipv4.method manual ipv4.dns 114.114.114.114 ipv4.addresses 192.168.109.102/24 ipv4.gateway 192.168.109.2

修改主机名

hostnamectl set-hostname master

关闭防火墙

systemctl stop firewalld

关闭selinux

vim /etc/selinux/config

SELINUX=disabled

关闭swap

swapoff -a //临时关闭

vim /etc/fstab

#注释掉swap的挂载条目

修改内核参数

cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf

overlay

br_netfilter

EOF

# 将 overlay 和 br_netfilter 这两行文本写入

# 到 /etc/modules-load.d/containerd.conf 文件中

# 这两个模块是 Docker 或 containerd 这类容器运行时经常需要的

# 用于提供 overlay 文件系统支持和网络桥接功能

modprobe overlay

modprobe br_netfilter

# 手动加载内核模块

# modprobe 命令用于添加或移除内核模块

cat /etc/sysctl.d/99-kubernetes-cri.conf

net.bridge.bridge-nf-call-iptables = 1  # 这个设置允许 iptables 规则应用于桥接流量

net.ipv4.ip_forward = 1  # 这个设置允许 IP 转发。在 Kubernetes 集群中，节点（Node）之间以及节点与 Pod 之间的网络流量可能需要通过 IP 转发来路由

net.bridge.bridge-nf-call-ip6tables = 1  # 与 bridge-nf-call-iptables 类似，但这个设置是针对 IPv6 流量的。它允许 ip6tables 规则应用于桥接流量。

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack

sysctl --system
题外话

在 Linux 系统中，sysctl 命令用于读取和修改内核参数（也称为 sysctl 参数）。这些参数定义了内核如何操作，并控制各种系统特性。

你提到的两个命令 sysctl -p 和 sysctl --system 在功能上有一些区别，尽管它们都与加载或应用 sysctl 配置文件有关。

  1. sysctl -p：

    • 这个命令用于从指定的文件（默认为 /etc/sysctl.conf）或 /etc/sysctl.d/ 和 /run/sysctl.d/（在某些系统上）目录下的文件中读取 sysctl 参数，并立即应用它们。
    • 如果你在 /etc/sysctl.conf 或 /etc/sysctl.d/ 下的文件中修改了 sysctl 参数，但还没有重启系统，你可以使用 sysctl -p 命令来应用这些更改，而无需重启。
    • 默认情况下，sysctl -p 只会读取 /etc/sysctl.conf 和 /etc/sysctl.d/ 目录下的文件。

  2. sysctl --system：

    • 这个命令会读取并应用多个目录下的 sysctl 配置文件。具体来说，它会读取 /usr/lib/sysctl.d/、/run/sysctl.d/、/etc/sysctl.d/ 和 /etc/sysctl.conf 这些目录和文件（在某些系统上可能有所不同）。
    • 它会按照目录的字母顺序和文件名的字母顺序来应用配置，确保先加载优先级较低的配置，后加载优先级较高的配置。
    • 使用 --system 选项的目的是为了提供一个更完整的方法来加载和应用 sysctl 配置，确保所有的配置都被考虑到了。

注意：

  • 在某些系统上，/usr/lib/sysctl.d/ 目录下可能包含由系统包管理器安装的默认配置，而 /etc/sysctl.d/ 目录下则包含管理员手动添加的或特定于该系统的配置。
  • 如果你修改了 sysctl 参数，并希望这些更改在系统重启后仍然生效，你应该编辑 /etc/sysctl.conf 文件或 /etc/sysctl.d/ 目录下的文件，而不是直接运行 sysctl 命令。然后，你可以使用 sysctl -p 或 sysctl --system 来应用这些更改。
  • 在某些情况下，你可能还需要确保你的 sysctl 配置更改被持久化到某个启动服务或初始化脚本中，以确保在系统启动时自动应用这些更改。这通常取决于你使用的 Linux 发行版和初始化系统（如 SysVinit、Upstart、systemd 等）。

安装docker

yum install -y yum-utils

yum-config-manager --add-repo https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo

sed -i 's+https://download.docker.com+https://mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo

yum install docker-ce -y

systemctl enable docker --now

containerd config default > /etc/containerd/config.toml

containerd config default | \

sed -e 's|registry\.k8s\.io/pause:[0-9.]\+|registry\.aliyuncs\.com/google_containers/pause:3.9|g'  \

    -e 's,SystemdCgroup = .*,SystemdCgroup = true,' \

    -e 's/\[plugins."io.containerd.grpc.v1.cri".registry.mirrors\]/&\n        \[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]\n          endpoint = \["https:\/\/mirror.ccs.tencentyun.com"]\n/' \

    -e 's/\[plugins."io.containerd.grpc.v1.cri".registry.mirrors\]/&\n        \[plugins."io.containerd.grpc.v1.cri".registry.mirrors."registry.k8s.io"]\n          endpoint = \["https:\/\/registry\.aliyuncs\.com\/google_containers"]/' \

    -e '/^\s*$/d' |

tee /etc/containerd/config.toml

vim /etc/containerd/config.toml

sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"

[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]

  endpoint = ["https://mirror.ccs.tencentyun.com"]

[root@node1 ~]# vim /etc/docker/daemon.json 

{

 "registry-mirrors":["https://mirror.ccs.tencentyun.com"],

 "exec-opts": ["native.cgroupdriver=systemd"]

}

安装k8s

cat /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=kubernetes

baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

gpgcheck=0

yum install -y kubelet kubectl kubeadm

systemctl enable kubelet

crictl config runtime-endpoint /var/run/containerd/containerd.sock

crictl config image-endpoint /var/run/containerd/containerd.sock

systemctl restart containerd

解释

crictl 是一个命令行工具，用于与 Kubernetes 的容器运行时接口（CRI，Container Runtime Interface）进行交互。当使用 Kubernetes 集群时，kubelet 通过 CRI 与底层的容器运行时（如 Docker、containerd、CRI-O 等）进行通信。在许多现代 Kubernetes 部署中，containerd 作为容器运行时正在变得越来越流行。

您提供的两个命令是用来配置 crictl 工具，以便它可以与 containerd 进行通信。具体来说：

  1. crictl config runtime-endpoint /var/run/containerd/containerd.sock

这个命令告诉 crictl 如何与 containerd 的运行时服务进行通信。/var/run/containerd/containerd.sock 是一个 Unix 套接字文件，它通常是 containerd 运行时服务监听的地址。通过配置这个 endpoint，crictl 可以发送命令给 containerd 来管理容器。

  1. crictl config image-endpoint /var/run/containerd/containerd.sock

这个命令告诉 crictl 如何与 containerd 的镜像服务进行通信。尽管在许多情况下，containerd 的运行时服务和镜像服务都使用同一个 Unix 套接字文件（即 /var/run/containerd/containerd.sock），但理论上它们可以是不同的。然而，在大多数配置中，这两个 endpoint 是相同的。

要使这些配置更改生效，您通常需要在运行 crictl 命令之前设置这些环境变量，或者使用配置文件来永久保存这些设置。但请注意，crictl 的一些版本可能不支持直接通过命令行设置这些配置，因此您可能需要查阅您正在使用的 crictl 版本的文档来了解如何正确设置这些配置。

另外，这些命令本身不会改变任何系统配置或文件；它们只是在当前的 crictl 会话中设置这些值。如果您想永久保存这些更改，您可能需要将它们添加到您的 shell 配置文件（如 ~/.bashrc、~/.bash_profile、~/.zshrc 等）中，或者在运行 crictl 时使用 --runtime-endpoint 和 --image-endpoint 标志来指定这些值。

升级内核

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm -y

sed -i "s#http://elrepo.org/linux#https://mirrors.tuna.tsinghua.edu.cn/elrepo#g" /etc/yum.repos.d/elrepo.repo

yum --enablerepo="elrepo-kernel" -y install kernel-lt.x86_64

grub2-set-default 0

grub2-mkconfig -o /boot/grub2/grub.cfg

reboot

解释

这段命令序列在 CentOS 或 RHEL 7 系统中执行了一系列操作，以安装来自 ELRepo 的长期支持（LT）内核，并更新其软件仓库的镜像地址。以下是对每一步的详细解释：

  1. rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

    • 这条命令从 ELRepo 的官方网站导入其 GPG 密钥。GPG 密钥用于验证从 ELRepo 下载的软件包的完整性和真实性。

  2. yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm -y

    • 使用 yum 安装 ELRepo 的发行版 RPM 包。这个 RPM 包包含了 ELRepo 的 YUM 仓库配置，使系统可以访问 ELRepo 提供的软件包。-y 参数自动接受所有提示，无需用户干预。

  3. sed -i "s#http://elrepo.org/linux#https://mirrors.tuna.tsinghua.edu.cn/elrepo#g" /etc/yum.repos.d/elrepo.repo

    • 使用 sed 命令编辑 ELRepo 的 YUM 仓库配置文件，将仓库的 URL 从 http://elrepo.org/linux 更改为 https://mirrors.tuna.tsinghua.edu.cn/elrepo。这通常是为了提高下载速度或稳定性，因为使用国内的镜像服务器可能会更快。

  4. yum --enablerepo="elrepo-kernel" -y install kernel-lt.x86_64

    • 使用 yum 从 ELRepo 的 elrepo-kernel 仓库安装长期支持（LT）内核。LT 内核为旧系统提供了更长时间的支持和稳定性。-y 参数自动接受所有提示，--enablerepo="elrepo-kernel" 指定只启用 elrepo-kernel 仓库。

  5. grub2-set-default 0

    • 使用 grub2-set-default 命令设置 GRUB2 的默认启动项为第一个（索引为 0）。这通常意味着在重启后，系统将使用新安装的 LT 内核启动。

  6. grub2-mkconfig -o /boot/grub2/grub.cfg

    • 生成 GRUB2 的配置文件。这确保了 GRUB2 识别了新的内核，并将其包含在启动菜单中。

  7. reboot

    • 重启系统。在重启后，系统应该使用新安装的 LT 内核启动。

请注意，在执行这些命令之前，最好备份重要的系统文件和数据，并确保您了解每一步的作用和可能的影响。此外，根据您的网络环境和系统配置，可能还需要进行其他配置或调整。

初始化

[root@master ~]# kubeadm init --apiserver-advertise-address=10.104.43.33(master的ip) --image-repository registry.aliyuncs.com/google_containers（指定镜像仓库） --kubernetes-version v1.23.6 （指定版本）--service-cidr=10.96.0.0/12 （划分服务网段）--pod-network-cidr=10.244.0.0/16（划分pod网段）

[root@master ~]# kubeadm init --apiserver-advertise-address=10.104.43.44 --image-repository registry.aliyuncs.com/google_containers  --kubernetes-version v1.28.2 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16

* 显示successfully 说明格式化成功

* 执行第二个红色方框内的三条命令

* 最后一个方框是node节点加入的密钥

* 如果，初始化的时候清屏不好找，那么可以使用命令查看token

* 如果没有过期，那么就可以直接使用

* 如果过期了，那么需要重新获取token'kubeadm token create'

例如：

[root@master ~]# kubeadm token create --print-join-command

kubeadm join 192.168.109.101:6443 --token izfe9a.vnkoxqjqkwyppcjb --discovery-token-ca-cert-hash sha256:03d6008d14db99b61e1792726e71d937aef6e775dbd2c8e37eeecbf71453588e

这个命令会输出一个完整的kubeadm join命令，包括新生成的token和集群的API服务器地址。

设置补全

echo "source <(kubectl completion bash)" >> ~/.bashrc

echo "source <(kubeadm completion bash)" >> ~/.bashrc

echo "source <(istioctl completion bash)" >> ~/.bashrc


# 部署CNI网络插件

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl apply -f  kube-flannel.yml

（kubectl delete -f kube-flannel.yml    删除）

例子

[root@master k8s]#  kubectl create deployment nginx --image=nginx

deployment.apps/nginx created

[root@master k8s]# kubectl get pod

NAME                     READY   STATUS    RESTARTS   AGE

nginx-85b98978db-pmrwh   1/1     Running   0          14s

[root@master k8s]# kubectl get svc

NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE

kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   78m

[root@master k8s]# kubectl get pods,svc

NAME                         READY   STATUS    RESTARTS   AGE

pod/nginx-85b98978db-pmrwh   1/1     Running   0          29s

NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE

service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   78m

[root@master k8s]# kubectl expose deployment nginx --port=80 --type=NodePort

service/nginx exposed

[root@master k8s]# kubectl get pods,svc

NAME                         READY   STATUS    RESTARTS   AGE

pod/nginx-85b98978db-pmrwh   1/1     Running   0          2m12s

NAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE

service/kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP        80m

service/nginx        NodePort    10.105.223.172   <none>        80:30663/TCP   6s

[root@master k8s]# curl  http://localhost:30663

<!DOCTYPE html>

<html>

<head>

<title>Welcome to nginx!</title>

<style>

html { color-scheme: light dark; }

body { width: 35em; margin: 0 auto;

font-family: Tahoma, Verdana, Arial, sans-serif; }

</style>

</head>

<body>

<h1>Welcome to nginx!</h1>

<p>If you see this page, the nginx web server is successfully installed and

working. Further configuration is required.</p>

<p>For online documentation and support please refer to

<a href="http://nginx.org/">nginx.org</a>.<br/>

Commercial support is available at

<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>

</body>

</html>

[root@master k8s]#

搭建k8s集群完整版本的更多相关文章

  1. kubeadm搭建K8s集群及Pod初体验

    基于Kubeadm 搭建K8s集群: 通过上一篇博客,我们已经基本了解了 k8s 的基本概念,也许你现在还是有些模糊,说真的我也是很模糊的.只有不断地操作去熟练,强化自己对他的认知,才能提升境界. 我 ...

  2. 教你用multipass快速搭建k8s集群

    目录 前言 一.multipass快速入门 安装 使用 二.使用multipass搭建k8s集群 创建3台虚拟机 安装master节点 安装node节点 测试k8s集群 三.其他问题 不能拉取镜像:报 ...

  3. 使用kubeadm方式搭建K8S集群

    使用kubeadm方式搭建K8S集群 kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具. 这个工具能通过两条指令完成一个kubernetes集群的部署: # 创建一个 Ma ...

  4. Kubernetes_从零开始搭建k8s集群（亲测可用）

    一.前言 本文讲述从零开始搭建k8s集群,均使用国内镜像,版本均统一,使用两个虚拟机,一个主节点,一个从节点,保证k8s一次搭建成功. 注意:Kubernetes,简称K8s,是用8代替名字中间的8个 ...

  5. kubeadm 搭建 K8S集群

    kubeadm是K8s官方推荐的快速搭建K8s集群的方法. 环境: Ubuntu 16.04 1 安装docker Install Docker from Ubuntu’s repositories: ...

  6. 搭建K8S集群前置条件

    搭建K8S集群 搭建k8s环境平台规划 单master集群 单个master节点,然后管理多个node节点 多master集群 多个master节点,管理多个node节点,同时中间多了一个负载均衡的过 ...

  7. 搭建K8S集群

    一.前言 我们将现有的虚拟机称之为Node1,用作主节点.为了减少工作量,在Node1安装Kubernetes后,我们利用VirtualBox的虚拟机复制功能,复制出两个完全一样的虚拟机作为工作节点. ...

  8. 1 搭建K8s集群

    官网:https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#installing ...

  9. 从0到1搭建k8s集群系列1：安装虚拟机及docker

    前言 本系列文章记录了本人学习k8s集群搭建的过程,从k8s基本组件的安装.到部署mysql服务到k8s集群.部署web项目到k8s集群以及安装可视化界面管理工具kuboard. 因为k8s的组件安装 ...

  10. CentOS7 使用 kubeadm 搭建 k8s 集群

    一 安装Docker-CE 前言 Docker 使用越来越多,安装也很简单,本次记录一下基本的步骤. Docker 目前支持 CentOS 7 及以后的版本,内核要求至少为 3.10. Docker ...

随机推荐

  1. TypeScript 中接口的理解？应用场景？

    一.是什么 「接口」是一系列抽象方法的声明,是一些方法特征的集合,这些方法都应该是抽象的,需要由具体的「类」去实现,然后第三方就可以通过这组抽象方法调用,让具体的类执行具体的方法 简单来讲,一个接口所 ...

  2. Linux下的常见基本指令

    pwd //显示当前用户所在的路径 ls //显示当前路径下的文件名或者目录名称 ls-l //显示当前路径下的文件或者目录的更详细的属性信息 cd 一个目录路径 //进入一个目录,进去后,可以用pw ...

  3. ClkLog自定义事件分析登场

     ClkLog的自定义事件分析功能在大家满满的期待下终于发布了. 这次更新我们添加了[用户关联].[事件采集].[事件分析]三大块功能点. 本次上线的自定义事件分析可以让用户根据自身业务场景创建不同维 ...

  4. eclipse 汉化语言包/中文补丁/简中设置/中英互换

    eclipse 汉化语言包/中文补丁/简中设置/中英互换 汉化很简单,使用eclipse内置的软件下载就可以,不需要下载压缩包 官方的说明 Open the install wizard with ' ...

  5. 力扣217(java&python)-存在重复元素（简单）

    题目: 给你一个整数数组 nums .如果任一值在数组中出现 至少两次 ,返回 true :如果数组中每个元素互不相同,返回 false . 示例 1: 输入:nums = [1,2,3,1]输出:t ...

  6. Flagger on ASM·基于Mixerless Telemetry实现渐进式灰度发布系列 1 遥测数据

    简介: 服务网格ASM的Mixerless Telemetry技术,为业务容器提供了无侵入式的遥测数据.遥测数据一方面作为监控指标被ARMPS/prometheus采集,用于服务网格可观测性:另一方面 ...

  7. 块存储监控与服务压测调优利器-EBS Lens发布

    ​简介:SLS团队联合EBS团队发布了EBS Lens,针对块存储提供数据分析.资源监控的功能,可以帮助用户获取云上块存储资源信息与性能监控数据.提升云上块存储资源的管理效率.高效分析业务波动与资源性 ...

  8. AI和大数据结合，智能运维平台助力流利说提升核心竞争力

    简介: 简介:本文整理自数智创新行--智能运维专场(上海站),流利说最佳实践演讲:<基于SLS千万级在线教育平台统一监控运营实践> 作者:孙文杰 流利说运维总监元乙 阿里云智能技术专家 优 ...

  9. [Caddy2] 无法访问 Lets Encrypt OCSP 的解决方法

    更换国内 DNS 为国外 DNS. Caddy 使用对应 DNS 的 provider. 重新运行即可获取到证书,Certificate obtained successfully. 其它参考: [C ...

  10. dotnet 推荐 LightWorkFlowManager 轻量的工作过程管理库

    本文将和大家推荐我团队开源的 LightWorkFlowManager 轻量的工作过程管理库,适合任何需要执行工作过程的应用逻辑,可以方便将多个工作过程拼凑起来,且自动集成重试和失败处理,以及日志和上 ...