【云原生 · Kubernetes】kubernetes v1.23.3 二进制部署（一）

kubernetes v1.23.3 二进制部署

1. 组件版本和配置策略

1.1 主要组件版本

组件	版本	发布时间
kubernetes	v1.23.3	2022-01-26
etcd	v3.5.2	2022-02-01
cri-o	v1.23.0	2021-12-18
flannel	v0.16.3	2022-01-29
coredns	1.9.0	2022-02-10
cni-plugins	v1.0.1	2021-09-08

1.2 主要配置策略

kube-apiserver：

使用节点本地 nginx 4 层透明代理实现高可用；
关闭非安全端口 8080 和匿名访问；
在安全端口 5443 接收 https请求；
严格的认证和授权策略 (x509、token、RBAC)；
开启 bootstrap token 认证，支持 kubeletTLS bootstrapping；
使用 https 访问 kubelet、etcd，加密通信；

kube-controller-manager：

3 节点高可用；关闭非安全端口，在安全端口 10257 接收 https 请求；
使用 kubeconfig 访问 apiserver的安全端口；
自动 approve kubelet 证书签名请求 (CSR)，证书过期后自动轮转；
各 controller 使用自己的ServiceAccount 访问 apiserver；

kube-scheduler：

3 节点高可用；使用 kubeconfig 访问 apiserver 的安全端口；
关闭非安全端口，在安全端口 10259 接收https 请求；

kubelet：

使用 kubeadm 动态创建 bootstrap token，而不是在 apiserver 中静态配置；
使用 TLSbootstrap 机制自动生成 client 和 server 证书，过期后自动轮转；
在 KubeletConfiguration类型的 JSON 文件配置主要参数；
关闭只读端口，在安全端口 10250 接收 https请求，对请求进行认证和授权，拒绝匿名访问和非授权访问；
使用 kubeconfig 访问 apiserver 的安全端口；

kube-proxy：

使用 kubeconfig 访问 apiserver 的安全端口；
在 KubeProxyConfiguration 类型的 JSON文件配置主要参数；
使用 ipvs 代理模式；

集群插件：

DNS：使用功能、性能更好的 coredns；

2. 初始化系统和全局变量

2.1 集群规划

master节点：

节点名称	IP地址
k8s-master-1	192.168.2.175
k8s-master-2	192.168.2.176
k8s-master-3	192.168.2.178

node 节点：

节点名称	IP地址
k8s-node-1	192.168.2.185
k8s-node-2	192.168.2.187
k8s-node-3	192.168.3.62
k8s-node-4	192.168.3.70

控制节点/配置生成节点：

节点名称	IP地址
qist	192.168.0.151

工作目录： /opt

三台机器混合部署本文档的 etcd、master 集群和 woker 集群。

如果没有特殊说明，需要在所有节点上执行本文档的初始化操作。

2.2 kubelet cri-o cgroup

Cgroup Driver：systemd
kubeelt cri-o Cgroup 配置为systemd

2.3 设置主机名

hostnamectl set-hostname k8s-master-1 # 将 k8s-master-1 替换为当前主机名

退出，重新登录 root 账号，可以看到主机名生效。

2.4 添加节点信任关系

本操作只需要在 qist 节点上进行，设置 root 账户可以无密码登录所有节点：

ssh-keygen -t rsa

ssh-copy-id root@192.168.2.175

ssh-copy-id root@192.168.2.176

ssh-copy-id root@192.168.2.177

ssh-copy-id root@192.168.2.185

ssh-copy-id root@192.168.2.187

ssh-copy-id root@192.168.3.62

ssh-copy-id root@192.168.3.70

2.5 安装依赖包

yum install -y epel-release

yum install -y chrony conntrack ipvsadm ipset jq iptables curl sysstat libseccomp wget socat git

kube-proxy 使用 ipvs 模式，ipvsadm 为 ipvs 的管理工具；
etcd 集群各机器需要时间同步，chrony用于系统时间同步；

2.6 关闭防火墙

关闭防火墙，清理防火墙规则，设置默认转发策略：

systemctl stop firewalld

systemctl disable firewalld

iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat

2.7 关闭 swap 分区

关闭 swap 分区，否则kubelet 会启动失败(可以设置 kubelet 启动参数 --fail-swap-on 为 false 关闭 swap检查)：

swapoff -a

sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

2.8 关闭 SELinux

关闭 SELinux，否则 kubelet 挂载目录时可能报错 Permission denied ：

setenforce 0

sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

2.9 优化内核参数

cat > /etc/sysctl.d/kubernetes.conf <<EOF

net.ipv4.tcp_slow_start_after_idle=0

net.core.rmem_max=16777216

fs.inotify.max_user_watches=1048576

kernel.softlockup_all_cpu_backtrace=1

kernel.softlockup_panic=1

fs.file-max=2097152

fs.nr_open=2097152

fs.inotify.max_user_instances=8192

fs.inotify.max_queued_events=16384

vm.max_map_count=262144

net.core.netdev_max_backlog=16384

net.ipv4.tcp_wmem=4096 12582912 16777216

net.core.wmem_max=16777216

net.core.somaxconn=32768

net.ipv4.ip_forward=1

net.ipv4.tcp_max_syn_backlog=8096

net.bridge.bridge-nf-call-iptables=1

net.bridge.bridge-nf-call-ip6tables=1

net.bridge.bridge-nf-call-arptables=1

net.ipv4.tcp_rmem=4096 12582912 16777216

vm.swappiness=0

kernel.sysrq=1

net.ipv4.neigh.default.gc_stale_time=120

net.ipv4.conf.all.rp_filter=0

net.ipv4.conf.default.rp_filter=0

net.ipv4.conf.default.arp_announce=2

net.ipv4.conf.lo.arp_announce=2

net.ipv4.conf.all.arp_announce=2

net.ipv4.tcp_max_tw_buckets=5000

net.ipv4.tcp_syncookies=1

net.ipv4.tcp_synack_retries=2

net.ipv6.conf.lo.disable_ipv6=1

net.ipv6.conf.all.disable_ipv6=1

net.ipv6.conf.default.disable_ipv6=1

net.ipv6.conf.all.forwarding=0

net.ipv4.ip_local_port_range=1024 65535

net.ipv4.tcp_keepalive_time=600

net.ipv4.tcp_keepalive_probes=10

net.ipv4.tcp_keepalive_intvl=30

net.nf_conntrack_max=25000000

net.netfilter.nf_conntrack_max=25000000

net.netfilter.nf_conntrack_tcp_timeout_established=180

net.netfilter.nf_conntrack_tcp_timeout_time_wait=120

net.netfilter.nf_conntrack_tcp_timeout_close_wait=60

net.netfilter.nf_conntrack_tcp_timeout_fin_wait=12

net.ipv4.tcp_timestamps=0

net.ipv4.tcp_orphan_retries=3

fs.may_detach_mounts=1

kernel.pid_max=4194303

net.ipv4.tcp_tw_reuse=1

net.ipv4.tcp_fin_timeout=1

vm.min_free_kbytes=262144

kernel.msgmnb=65535

kernel.msgmax=65535

kernel.shmmax=68719476736

kernel.shmall=4294967296

kernel.core_uses_pid=1

net.ipv4.neigh.default.gc_thresh1=0

net.ipv4.neigh.default.gc_thresh2=4096

net.ipv4.neigh.default.gc_thresh3=8192

net.netfilter.nf_conntrack_tcp_timeout_close=3

net.ipv4.conf.all.route_localnet=1 EOF

sysctl -p /etc/sysctl.d/kubernetes.conf

关闭 tcp_tw_recycle，否则与 NAT 冲突，可能导致服务不通；
内核低于4版本添加fs.may_detach_mounts=1

2.10 系统文件打开数

cat>>/etc/security/limits.conf<<EOF

*	soft	nofile	655350

*	hard	nofile	655350

*	soft	nproc	655350

*	hard 	nproc	655350

*	soft 	core	unlimited

*	hard	core	unlimited

EOF

centos7还需修改

sed-i's/4096/655350/'/etc/security/limits.d/20-nproc.conf

2.11 内核模块配置重启自动加载

加载ipvs内核模块

cat>/etc/modules-load.d/k8s-ipvs-modules.conf<<EOF ip_vs

ip_vs_rr

ip_vs_wrr

ip_vs_sh

EOF

加载netfilter等模块
内核4版本以下 nf_conntrack 替换 nf_conntrack_ipv4

cat>/etc/modules-load.d/k8s-net-modules.conf<<EOF br_netfilter

nf_conntrack

EOF

2.12 设置系统时区

timedatectlset-timezoneAsia/Shanghai

2.13 设置系统时钟同步

systemctl enable chronyd

systemctl start chronyd

查看同步状态：

timedatectl status

输出：

System clock synchronized: yes

NTP service: active

RTC in localTZ: no

System clock synchronized: yes，表示时钟已同步；
NTP service: active，表示开启了时钟同步服务；

#将当前的UTC时间写入硬件时钟

timedatectlset-local-rtc0

#重启依赖于系统时间的服务

systemctl restart rsyslog

systemctl restart crond

2.14 关闭无关的服务

systemctl stop postfix && systemctl disable postfix

2.15 创建相关目录

创建目录：

#k8s目录

mkdir -p /apps/k8s/{bin,log,conf,ssl,config}

mkdir -p /apps/work/kubernetes/{manifests,kubelet}

mkdir -p /var/lib/kubelet

mkdir- p /usr/libexec/kubernetes/kubelet-plugins/volume/exec/

mkdir -p /apps/k8s/ssl/{etcd,k8s}

#etcd目录

mkdir -p /apps/etcd/{bin,conf,data,ssl}

#etcd data-dir目录

mkdir -p /apps/etcd/data/default.etcd

#etcdwal-dir目录

mkdir -p /apps/etcd/data/default.etcd/wal

mkdir -p /apps/k8s/{bin,log,conf,ssl}

mkdir -p /apps/work/kubernetes/{manifests,kubelet}

mkdir -p /var/lib/kubelet

mkdir -p /usr/libexec/kubernetes/kubelet-plugins/volume/exec/

mkdir -p /apps/crio/{run,etc,keys}

mkdir -p /apps/crio/containers/oci/hooks.d

mkdir -p /etc/containers

mkdir -p /var/lib/containers/storage

mkdir -p /run/containers/storage

mkdir -p /apps/crio/lib/containers/storage

mkdir -p /apps/crio/run/containers/storage

2.16 mount目录挂载

挂载kubelet 跟cri-o数据目录最大兼容其它依赖组件例如csi插件

cat>> /etc/fstab <<EOF

/apps/work/kubernetes/kubelet /var/lib/kubelet none defaults,bind,nofail 0 0

/apps/crio/lib/containers/storage /var/lib/containers/storage none defaults,bind,nofail 0 0

/apps/crio/run/containers/storage /run/containers/storage none defaults,bind,nofail 0 0

EOF

验证挂载是否有误

mount-a

重启机器：

sync

reboot

期待下次的分享，别忘了三连支持博主呀~
我是 念舒_C.ying ，期待你的关注~