Kubernetes：Pod总结(二)

Blog：博客园个人

承接上文。

在实际的生产使用场景中，直接用 Pod 是不合适的，因为必然会产生单点故障。因此，我们需要有一种方法来方便地创建、管理同一个服务的多个实例 Pod。Kubernetes 中引入了 Workload(工作负载) 的概念，它可以理解为 Pod 的父资源，主要的作用就是来管理多个 Pod 的生命周期。

Workload资源主要分为以下几类：

Deployment 和 ReplicaSet ：最常见的类型，用来管理集群上的无状态应用。
DaemonSet：在集群的每个节点上部署一个 Pod，适用于各种 agent 业务的场景。 such as a networking helper tool, or be part of an add-on.
StatefulSet：适用于各种有状态服务的场景。例如，如果负载会将数据作持久存储，可以运行一个 StatefulSet，将每个 Pod 与某个 PersistentVolume 对应起来。
Job 和 CronJob：用于一些自动化任务。Job 用来表达的是一次性的任务，而 CronJob 会根据其时间规划反复运行。

接下来将详细介绍几种Workload资源的使用方法。

Deployment 和 ReplicaSet

通常，我们不直接创建Pod，而是通过Deployment来创建Pod，由 Deployment 来负责创建、更新、维护其所管理的所有 Pods。而ReplicaSet则负责控制replicas(副本)的数量。

接下来，使用以下deployment作为例子来剖析两者的关系：

apiVersion: apps/v1

kind: Deployment

metadata:

  labels:

    app: nginx

  name: nginx

spec:

  replicas: 2

  selector:

    matchLabels:

      app: nginx

  template:

    metadata:

      labels:

        app: nginx

    spec:

      containers:

        - image: nginx:latest

          name: nginx

      topologySpreadConstraints:

        - topologyKey: address

          maxSkew: 1

          whenUnsatisfiable: DoNotSchedule

          labelSelector:

            matchLabels:

              app: nginx

创建这个deployment：

[root@master-1 test]# kubectl create -f nginx.yml

deployment.apps/nginx created

[root@master-1 test]# kubectl get pod -o wide

NAME                     READY   STATUS    RESTARTS   AGE   IP             NODE     NOMINATED NODE   READINESS GATES

nginx-58c948c775-5hbhf   1/1     Running   0          20s   10.16.84.138   node-1   <none>           <none>

nginx-58c948c775-vfdp8   1/1     Running   0          20s   10.16.247.19   node-2   <none>           <none>

通过kubectl describe deploy nginx可知，有ScalingReplicaSet信息：

Events:

  Type    Reason             Age   From                   Message

  ----    ------             ----  ----                   -------

  Normal  ScalingReplicaSet  79s   deployment-controller  Scaled up replica set nginx-58c948c775 to 2

可以清晰的看到2个pod实例是通过replicaset生成的：

[root@master-1 test]# kubectl get rs nginx-58c948c775

NAME               DESIRED   CURRENT   READY   AGE

nginx-58c948c775   2         2         2       4m22s

[root@master-1 test]# kubectl describe rs nginx-58c948c775

Name:           nginx-58c948c775

Namespace:      default

Selector:       app=nginx,pod-template-hash=58c948c775

Labels:         app=nginx

                pod-template-hash=58c948c775

Annotations:    deployment.kubernetes.io/desired-replicas: 2

                deployment.kubernetes.io/max-replicas: 3

                deployment.kubernetes.io/revision: 1

Controlled By:  Deployment/nginx

Replicas:       2 current / 2 desired

Pods Status:    2 Running / 0 Waiting / 0 Succeeded / 0 Failed

Pod Template:

  Labels:  app=nginx

           pod-template-hash=58c948c775

  Containers:

   nginx:

    Image:        nginx:latest

    Port:         <none>

    Host Port:    <none>

    Environment:  <none>

    Mounts:       <none>

  Volumes:        <none>

Events:

  Type    Reason            Age    From                   Message

  ----    ------            ----   ----                   -------

  Normal  SuccessfulCreate  4m31s  replicaset-controller  Created pod: nginx-58c948c775-5hbhf

  Normal  SuccessfulCreate  4m31s  replicaset-controller  Created pod: nginx-58c948c775-vfdp8

说明：

NAME：列出名字空间中 ReplicaSet 的名称；
DESIRED：显示应用的期望副本个数，即在创建 Deployment 时所定义的值。此为期望状态；
CURRENT：显示当前运行状态中的副本个数；
READY：显示应用中有多少副本可以为用户提供服务；
AGE：显示应用已经运行的时间长度。

总结

通过kubectl create创建一个deployment，那么此时就会调用deployment-controller创建一个replicaset；
replicaset则会调用replicaset-controller创建相应的pod；
最后由default-scheduler将pod分配到对应的node节点。

注意：尽管 ReplicaSet 可以独立使用，目前它们的主要用途是提供给 Deployment 作为编排 Pod 创建、删除和更新的一种机制。

DaemonSet

DaemonSet确保全部（或者某些）节点上运行一个 Pod 的副本。当有节点加入集群时，也会为他们新增一个 Pod 。当有节点从集群移除时，这些 Pod 也会被回收。删除 DaemonSet 将会删除它创建的所有 Pod。

DaemonSet 的一些典型用法：

在每个节点上运行集群守护进程，例如ceph。
在每个节点上运行日志收集守护进程，例如filebeat、logstash。
在每个节点上运行监控守护进程，例如Promethues Node Exporter。

例如：

apiVersion: apps/v1

kind: DaemonSet

metadata:

  name: nginx-ds

  namespace: default

spec:

  selector:

    matchLabels:

      app: nginx-ds

      release: stable

  template:

    metadata:

      labels:

        app: nginx-ds

        release: stable

    spec:

      containers:

      - name: nginx-ds

        image: nginx:latest

        imagePullPolicy: IfNotPresent

        ports:

        - name: http

          containerPort: 80

创建DaemonSet：

[root@master-1 test]# kubectl create -f nginx-ds.yml

daemonset.apps/nginx-ds created

[root@master-1 test]# kubectl get pod -o wide

NAME             READY   STATUS    RESTARTS   AGE   IP             NODE     NOMINATED NODE   READINESS GATES

nginx-ds-fhz7n   1/1     Running   0          97s   10.16.84.139   node-1   <none>           <none>

nginx-ds-jvc9p   1/1     Running   0          97s   10.16.247.20   node-2   <none>           <none>

注意： apiVersion、kind 和 metadata 也是DaemonSet必需字段。

调度指定节点：

nodeSelector：只调度到匹配指定 label 的 Node 上
nodeAffinity：功能更丰富的 Node 选择器，比如支持集合操作
podAffinity：调度到满足条件的 Pod 所在的 Node 上

StatefulSet

StatefulSet是Kubernetes中有状态应用管理的标准实现，本质上是Deployment的一种变体。

在日常开发的应用中，通常可以分为两类：有状态与无状态，比如web服务通常都是无状态的，web应用数据主要来自后端存储、缓存等中间件，而本身并不保存数据；而MySQL、Redis等中间件是有状态的，其数据也是应用自身的一部分，由此可以看出有状态应用本身会包含两部分：应用与数据。

Jobs

Job 会创建一个或者多个 Pods，并将继续重试 Pods 的执行，直到指定数量的 Pods 成功终止。随着 Pods 成功结束，Job 跟踪记录成功完成的 Pods 个数。当数量达到指定的成功个数阈值时，任务（即 Job）结束。删除 Job 的操作会清除所创建的全部 Pods。挂起 Job 的操作会删除 Job 的所有活跃 Pod，直到 Job 被再次恢复执行。

示例：

kubectl apply -f https://kubernetes.io/examples/controllers/job.yaml

查看Pods：

[root@master-1 test]# kubectl get pods

NAME       READY   STATUS    RESTARTS   AGE

pi-bkpn8   1/1     Running   0          36s

查看输出：

[root@master-1 test]# kubectl logs pi-bkpn8

3.1415926535897932384626433832795028841971693993751058209749445923078164062862089986280348253421170679821480865132823066470938446095505822317253594081284811174502841027019385211055596446229489549303819644288109756659334461284756482337867831652712019091456485669234603486104543266482133936072602491412737245870066063155881748815209209628292540917153643678925903600113305305488204665213841469519415116094330572703657595919530921861173819326117931051185480744623799627495673518857527248912279381830119491298336733624406566430860213949463952247371907021798609437027705392171762931767523846748184676694051320005681271452635608277857713427577896091736371787214684409012249534301465495853710507922796892589235420199561121290219608640344181598136297747713099605187072113499999983729780499510597317328160963185950244594553469083026425223082533446850352619311881710100031378387528865875332083814206171776691473035982534904287554687311595628638823537875937519577818577805321712268066130019278766111959092164201989380952572010654858632788659361533818279682303019520353018529689957736225994138912497217752834791315155748572424541506959508295331168617278558890750983817546374649393192550604009277016711390098488240128583616035637076601047101819429555961989467678374494482553797747268471040475346462080466842590694912933136770289891521047521620569660240580381501935112533824300355876402474964732639141992726042699227967823547816360093417216412199245863150302861829745557067498385054945885869269956909272107975093029553211653449872027559602364806654991198818347977535663698074265425278625518184175746728909777727938000816470600161452491921732172147723501414419735685481613611573525521334757418494684385233239073941433345477624168625189835694855620992192221842725502542568876717904946016534668049886272327917860857843838279679766814541009538837863609506800642251252051173929848960841284886269456042419652850222106611863067442786220391949450471237137869609563643719172874677646575739624138908658326459958133904780275901

Tips：Job 完成时不会再创建新的 Pod，不过已有的 Pod 通常也不会被删除。保留这些 Pod 使得你可以查看已完成的 Pod 的日志输出，以便检查错误、警告或者其它诊断性输出。 Job 完成时 Job 对象也一样被保留下来，这样你就可以查看它的状态。在查看了 Job 状态之后删除老的 Job 的操作留给了用户自己。

删除Job：

[root@master-1 test]# kubectl delete jobs/pi

job.batch "pi" deleted

也可通过CronJob来清理。

CronJob

FEATURE STATE: Kubernetes v1.21 [stable]

CronJob 创建基于时隔重复调度的 Jobs。它用 Cron 格式进行编写，并周期性地在给定的调度时间执行 Job。

示例：

apiVersion: batch/v1

kind: CronJob

metadata:

  name: hello

spec:

  schedule: "*/1 * * * *"

  jobTemplate:

    spec:

      template:

        spec:

          containers:

          - name: hello

            image: busybox

            imagePullPolicy: IfNotPresent

            command:

            - /bin/sh

            - -c

            - date; echo Hello from the Kubernetes cluster

          restartPolicy: OnFailure