K8s控制器---Statefulset(11)

一、Statefulset概述

1.1 Statefulset控制器：概念和原理解读

　　StatefulSet 是为了管理有状态服务的问题而设计的

扩展： 有状态服务？

　　StatefulSet 是有状态的集合，管理有状态的服务，它所管理的 Pod 的名称不能随意变化。数据持久化的目录也是不一样，每一个 Pod 都有自己独有的数据持久化存储目录。比如 MySQL 主 从、redis 集群等

无状态服务？

　　RC、Deployment、DaemonSet 都是管理无状态的服务，它们所管理的 Pod 的 IP、名字，启、停顺序等都是随机的。个体对整体无影响，所有 pod 都是共用一个数据卷的，部署的 tomcat 就 是无状态的服务，tomcat 被删除，在启动一个新的 tomcat，加入到集群即可，跟 tomcat 的名字无关

StatefulSet 由以下几个部分组成：
1. Headless Service：用来定义 pod 网路标识，生成可解析的 DNS 记录
2. volumeClaimTemplates：存储卷申请模板，创建 pvc，指定 pvc 名称大小，自动创建pvc，且 pvc 由存储类供应。
3. StatefulSet：管理 pod 的

　　扩展：什么是 Headless service? Headless service 不分配 clusterIP，headless service 可以通过解析 service 的 DNS,返回所 有 Pod 的 dns 和 ip 地址 (statefulSet 部署的 Pod 才有 DNS)，普通的 service,只能通过解析 service 的 DNS 返回 service 的 ClusterIP。

为什么要用 headless service（没有 service ip 的 service）？

　　在使用 Deployment 时，创建的 Pod 名称是没有顺序的，是随机字符串，在用 statefulset 管理 pod 时要求 pod 名称必须是有序的 ，每一个 pod 不能被随意取代，pod 重建后 pod 名称还是 一样的。因为 pod IP 是变化的，所以要用 Pod 名称来识别。pod 名称是 pod 唯一性的标识符， 必须持久稳定有效。这时候要用到无头服务，它可以给每个 Pod 一个唯一的名称.

1.headless service 会为 service 分配一个域名：
<service name>.$<namespace name>.svc.cluster.local
K8s 中资源的全局 FQDN 格式: Service_NAME.NameSpace_NAME.Domain.LTD.  (Domain.LTD.=svc.cluster.local. #这是默认 k8s 集群的域名。)

FQDN 全称 Fully Qualified Domain Name
即全限定域名：同时带有主机名和域名的名称
FQDN = Hostname + DomainName
例如：主机名是：monitor,域名是：test.com, FQDN=monitor.test.com

2.StatefulSet 会为关联的 Pod 保持一个不变的 Pod Name
statefulset 中 Pod 的名字格式为$(StatefulSet name)-$(pod 序号)

3.StatefulSet 会为关联的 Pod 分配一个 dnsName
$<Pod Name>.$<service name>.$<namespace name>.svc.cluster.local

为什么要用 volumeClaimTemplate？
　　对于有状态应用都会用到持久化存储，比如 mysql 主从，由于主从数据库的数据是不能存放在一个目录下的，每个 mysql 节点都需要有自己独立的存储空间。而在 deployment 中创建的存储卷是一个共享的存储卷，
多个 pod 使用同一个存储卷，它们数据是同步的，而 statefulset 定义中的每一个 pod 都不能使用同一个存储卷，这就需要使用volumeClainTemplate，当在使用statefulset 创建 pod 时,volumeClainTemplate 会自动
生成一个 PVC，从而请求绑定一个PV，每一个 pod 都有自己专用的存储卷。Pod、PVC 和 PV 对应的关系图如下：

1.2 Statefulset资源清单编写技巧

# 查看定义Statefulset
[root@master nfs_pro]# kubectl explain Statefulset
KIND:     StatefulSet
VERSION:  apps/v1

FILEDS:
apiVersion    <string> > #定义 statefulset 资源需要使用的 api 版本
kind    <string> #定义的资源类型
metadata    <Object> #元数据
spec    <Object>  #定义容器相关的信息
status    <Object>

#查看 statefulset.spec 字段如何定义？
[root@master nfs_pro]# kubectl explain Statefulset.spec
KIND:     StatefulSet
VERSION:  apps/v1

RESOURCE: spec <Object>
FIELDS:
 podManagementPolicy <string> #pod 管理策略
 replicas <integer> #副本数
 revisionHistoryLimit <integer> #保留的历史版本
 selector <Object> -required- #标签选择器，选择它所关联的 pod
 serviceName <string> -required- #headless service 的名字
 template <Object> -required- #生成 pod 的模板
 updateStrategy <Object> #更新策略
 volumeClaimTemplates<[]Object> #存储卷申请模板

#查看 statefulset 的 spec.template 字段如何定义？
#对于 template 而言，其内部定义的就是 pod，pod 模板是一个独立的对象
[root@master nfs_pro]# kubectl explain Statefulset.spec.template
KIND:     StatefulSet
VERSION:  apps/v1

RESOURCE: template <Object>

 metadata<Object>
 spec <Object> #定义容器属性的

[root@master nfs_pro]# kubectl explain Statefulset.spec.template.spec

KIND: StatefulSet
VERSION: apps/v1

RESOURCE: spec <Object>

通过上面可以看到，statefulset 资源中有两个 spec 字段。
第一个 spec 声明的是 statefulset 定义多少个 Pod 副本（默认将仅部署 1 个 Pod）、匹配 Pod 标签的选择器、创建 pod 的模板、存储卷申请模板，
第二个 spec 是 spec.template.spec：主要用于 Pod 里的容器属性等配置。.spec.template 里的内容是声明 Pod 对象时要定义的各种属性，所以这部分也叫做PodTemplate（Pod 模板）。
还有一个值得注意的地方是：在.spec.selector 中定义的标签选择器必须能够匹配到 spec.template.metadata.labels 里定义的 Pod 标签，否则 Kubernetes 将不允许创建 statefulset。

1.3 Statefulset部署案例：部署web站点

# 1.创建存储类
[root@master statefulset]# cat class-web.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-web
provisioner: example.com/nfs

[root@master statefulset]# kubectl apply -f class-web.yaml
storageclass.storage.k8s.io/nfs-web created
[root@master statefulset]# kubectl get storageclass
NAME      PROVISIONER       RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-web   example.com/nfs   Delete          Immediate           false                  10s

# 节点导入nginx镜像文件
docker load -i nginx.tar.gz

# 编写statefulset资源清单文件

apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
     app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  labels:
    app: sts-nginx
  name: web
spec:
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: www
          mountPath: /usr/share/nginx/html
  volumeClaimTemplates:
  - metadata:
      name: www
    spec:
      accessModes: ["ReadWriteOnce"]  # ["ReadWriteOnce","ReadWriteMany"]
      storageClassName: nfs-web
      resources:
        requests:
          storage: 1Gi

stateful.yaml

[root@master statefulset]# kubectl apply -f web.yaml
service/nginx created
statefulset.apps/web configured
[root@master statefulset]# kubectl get statefulset
NAME   READY   AGE
web    2/2     57s

[root@master statefulset]# kubectl get pods
NAME                                       READY   STATUS    RESTARTS   AGE
web-0                                      1/1     Running   0          83s
web-1                                      1/1     Running   0          79s

[root@master statefulset]# kubectl get pvc
NAME        STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
www-web-0   Bound    pvc-29475068-55a9-4922-9826-548344c2acf6   1Gi        RWO            nfs-web        4m35s
www-web-1   Bound    pvc-352accfb-2240-411c-a9b8-89998580e0de   1Gi        RWO            nfs-web        4m31s

[root@master statefulset]# kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                   STORAGECLASS   REASON   AGE
pvc-29475068-55a9-4922-9826-548344c2acf6   1Gi        RWO            Delete           Bound    kube-system/www-web-0   nfs-web                 4m40s
pvc-352accfb-2240-411c-a9b8-89998580e0de   1Gi        RWO            Delete           Bound    kube-system/www-web-1   nfs-web                 4m36s

[root@master nfs_pro]# ls
archived-pvc-7ee6fbf4-b64c-45c6-bcef-2390ba8b5a27 kube-system-www-web-0-pvc-29475068-55a9-4922-9826-548344c2acf6
archived-pvc-952e54e7-33e0-4b87-9b6c-bcf8b84c7a75 kube-system-www-web-1-pvc-352accfb-2240-411c-a9b8-89998580e0de

# 查看主机名

[root@master nfs_pro]# for i in 0 1; do kubectl exec web-$i -- /bin/sh -c 'hostname';done
web-0
web-1

1.4 测试Pod的dns解析

#使用 kubectl run 运行一个提供 nslookup 命令的容器的，这个命令来自于 dnsutils 包，通过 对 pod 主机名执行 nslookup，可以检查它们在集群内部的 DNS 地址：

[root@master statefulset]# kubectl exec -it web-1 -- /bin/sh
# cat /etc/issue
Debian GNU/Linux 10 \n \l
# apt-get update
# apt-get install dnsutils -y
# nslookup web-0.nginx.kube-system.svc.cluster.local
Server:        10.96.0.10
Address:    10.96.0.10#53

Name:    web-0.nginx.kube-system.svc.cluster.local
Address: 10.244.135.44

# 测试Headless service的dns解析
# web-1
# nslookup nginx.kube-system.svc.cluster.local
Server:        10.96.0.10
Address:    10.96.0.10#53

Name:    nginx.kube-system.svc.cluster.local
Address: 10.244.135.44
Name:    nginx.kube-system.svc.cluster.local
Address: 10.244.75.241

# master
[root@master statefulset]# kubectl describe svc nginx
Name:              nginx
Namespace:         kube-system
Labels:            app=nginx
Annotations:       <none>
Selector:          app=nginx
Type:              ClusterIP
IP Families:       <none>
IP:                None
IPs:               None
Port:              web  80/TCP
TargetPort:        80/TCP
Endpoints:         10.244.135.44:80,10.244.75.241:80
Session Affinity:  None
Events:            <none>

# web-1
# dig -t A nginx.kube-system.svc.cluster.local @10.96.0.10

1.5 资源清单详细解读

apiVersion: v1 #定义 api 版本
kind: Service #定义要创建的资源：service
metadata:
 name: nginx #定义 service 的名字
 labels:
   app: nginx #service 的标签
spec:
 ports:
 - port: 80
   name: web
 clusterIP: None #创建一个没有 ip 的 service
 selector:
   app: nginx #选择拥有 app=nginx 标签的 pod
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  selector:
  matchLabels:
    app: nginx
 serviceName: "nginx" #headless service 的名字
 replicas: 2 #副本数
 template: #定义 pod 的模板
 metadata:
   labels:
     app: nginx
 spec:
   containers:
   - name: nginx
     image: nginx
     imagePullPolicy: IfNotPresent
     ports:
     - containerPort: 80
       name: web
     volumeMounts:
     - name: www
       mountPath: /usr/share/nginx/html
  volumeClaimTemplates: #存储卷申请模板
  - metadata:
      name: www
    spec:
       accessModes: ["ReadWriteOnce"]
       storageClassName: "nfs-web" #指定从哪个存储类申请 pv
       resources:
       requests:
          storage: 1Gi #需要 1G 的 pvc，会自动跟符合条件的 pv 绑定

# 生产环境可以增加探测器之类

Statefulset 总结：

1、Statefulset 管理的 pod，pod 名字是有序的，由 statefulset 的名字-0、1、2 这种格式组成
2、创建 statefulset 资源的时候，必须事先创建好一个 service,如果创建的 service 没有 ip，那对这个 service 做dns 解析，会找到它所关联的 pod ip，如果创建的 service 有 ip，那对这个service 做 dns 解析，会解析到 service 本身 ip。
3、statefulset 管理的 pod，删除 pod，新创建的 pod 名字跟删除的 pod 名字是一样的
4、statefulset 具有 volumeclaimtemplate 这个字段，这个是卷申请模板，会自动创建 pv， pvc 也会自动生成，跟 pv 进行绑定，那如果创建的 statefulset 使用了 volumeclaimtemplate 这个字段，那创建 pod，数据目录是独享的
5、ststefulset 创建的 pod，是域名的（域名组成：pod-name.svc-name.svc- namespace.svc.cluster.local）

二、Statefulset实现pod的扩容、缩容、更新策略

2.1 扩容

　　1.修改statefulset.yaml文件中副本数replicas:2改为3

　　2.[root@master statefulset]# kubectl edit sts web  修改replicas

web-0 1/1 Running 0 60m 10.244.135.44 node3 <none> <none>
web-1 1/1 Running 0 57m 10.244.75.241 monitor <none> <none>
web-2 1/1 Running 0 58s 10.244.135.45 node3 <none> <none>

2.2 缩容：从大到小缩容

　　1.修改statefulset.yaml文件中副本数replicas:3改为2

　　2..[root@master statefulset]# kubectl edit sts web  修改replicas

web-0 1/1 Running 0 61m 10.244.135.44 node3 <none> <none>
web-1 1/1 Running 0 58m 10.244.75.241 monitor <none> <none>

2.3 Statefulset实现pod更新

[root@master ~]# kubectl explain sts.spec.updateStrategy
KIND:     StatefulSet
VERSION:  apps/v1

RESOURCE: updateStrategy <Object>

FIELDS：
  rollingUpdate    <Object>
  type    <string>

[root@master ~]# kubectl explain sts.spec.updateStrategy.rollingUpdate

FIELDS：
  maxUnavailable    <string>
  partition    <integer>

apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
     app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  updateStrategy:
    rollingUpdate:
      partition: 1
      maxUnavailable: 0
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  replicas: 2
  template:
    metadata:
     labels:
       app: nginx
    spec:
      containers:
      - name: nginx
        image: ikubernetes/myapp:v2
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: www
          mountPath: /usr/share/nginx/html
  volumeClaimTemplates:
  - metadata:
      name: www
    spec:
      accessModes: ["ReadWriteOnce"]
      storageClassName: "nfs"
      resources:
        requests:
          storage: 1Gi

pod 在更新的时候，只是更新了 web-1 这个 pod, partition: 1 表示更新的时候会把 pod 序号大于等于 1 的进行更新

如果更新策略是 OnDelete，那不会自动更新 pod，需要手动删除，重新常见的 pod 才会实现更新
spec:
  updateStrategy:
     type: OnDelete

updateStrategy更新使用

updateStrategy更新使用

1.准备好版本导入node节点
#docker load -i myapp.tar.gz
Loaded image: ikubernetes/myapp:v2
2.修改statefulset.yaml文件中image镜像
image: nginx 改为：image: ikubernetes/myapp:v2
[root@master statefulset]# kubectl get pods -w
web-1                                      1/1     Terminating         0          62m
web-1                                      1/1     Terminating         0          62m
web-1                                      0/1     Terminating         0          62m
web-1                                      0/1     Terminating         0          62m
web-1                                      0/1     Terminating         0          62m
web-1                                      0/1     Pending             0          0s
web-1                                      0/1     Pending             0          0s
web-1                                      0/1     ContainerCreating   0          0s
web-1                                      0/1     ContainerCreating   0          1s
web-1                                      1/1     Running             0          2s
web-0                                      1/1     Terminating         0          65m
web-0                                      1/1     Terminating         0          65m
web-0                                      0/1     Terminating         0          65m
web-0                                      0/1     Terminating         0          65m
web-0                                      0/1     Terminating         0          65m
web-0                                      0/1     Pending             0          0s
web-0                                      0/1     Pending             0          0s
web-0                                      0/1     ContainerCreating   0          0s
web-0                                      0/1     ContainerCreating   0          1s
web-0                                      1/1     Running             0          2s