在Kubernetes 中通过创建工作负载资源 Job 可完成大型计算以及一些批处理任务。比如 Job 转码文件、获取部分文件和目录,机器学习中的训练任务等。这篇小作文我们一起来了解 k8s 中关于 job、cronjob 的内容。


Job创建

我们可以通过API版本 batch/v1创建出一个简单的k8s Job

#new-job.yml
apiVersion: batch/v1
kind: Job
metadata:
name: command-job
spec:
template:
spec:
containers:
- name: command-job
image: busybox
command: ["/bin/sh","-c","sleep 5;echo 'job one'"]
restartPolicy: Never

Job对象 将会启动一个pod用于完成我们的工作--睡眠5s,接着输出 job one

应用job定义,查看job工作工作状态:

$ kubectl apply -f new-job.yml
job.batch/command-job created

任务完成后,pod状态被置为Completed:

通过logs查看我们的任务执行结果:


Job重启与失败认定

在上面我们的例子中,job pod顺利的完成了我们的任务。当pod在执行作业时,容器可能会由于一些原因启动失败,比如进程以非0代码退出或超出内存限制等。在pod模板中可以通过restartPolicy控制job pod的重启策略。

重启策略(restartPolicy):

  • Never:pod启动失败时不会重启,而是通过job-controller重新创建pod供节点调度。
  • OnFailure:pod将会在节点重启执行任务。

失败回退策略(backoffLimit):

当Job pod 经过多次重启无果,显然我们应该认定这个Job是一个失败任务,默认失败认定重启次数为6,我们可以通过在spec中添加backoffLimit来改变这一认定。

我们调整new-job.yml如下:

#new-job.yml
apiVersion: batch/v1
kind: Job
metadata:
name: command-job-two
spec:
template:
spec:
containers:
- name: command-job-two
image: busybox
command: ["/bin/sh","-c","sleep 5;echo 'job two';exit 1"]
restartPolicy: Never
backoffLimit: 2

我们通过describe查看创建的Job

job-controller经过2次重建pod达到阈值,job-controller认定本次Job为失败工作流。

在重启策略为Never时,认定失败的Job会将pod遗留在节点上。


Job 期限与清理

除了Job执行结束与重启失败认定的Job 终止外还可以通过配置活跃期限(activeDeadlineSeconds)来自动停止Job任务。

我们可以为 Job 的 .spec.activeDeadlineSeconds 设置一个秒数值。 该值适用于 Job 的整个生命期,无论 Job 创建了多少个 Pod。 一旦 Job 运行时间达到 activeDeadlineSeconds 秒,其所有运行中的 Pod 都会被终止,并且 Job 的状态更新为 type: Failedreason: DeadlineExceeded

注意 Job 的 .spec.activeDeadlineSeconds 优先级高于其 .spec.backoffLimit 设置。 因此,如果一个 Job 正在重试一个或多个失效的 Pod,该 Job 一旦到达 activeDeadlineSeconds 所设的时限即不再部署额外的 Pod,即使其重试次数还未 达到 backoffLimit 所设的限制。

调整new-job.yml如下:

#new-job.yml
apiVersion: batch/v1
kind: Job
metadata:
name: command-job-three
spec:
template:
spec:
containers:
- name: command-job-three
image: busybox
command: ["/bin/sh","-c","sleep 50;echo 'job three'"]
restartPolicy: Never
backoffLimit: 2
activeDeadlineSeconds: 10

虽然是50s的任务,但是由于activeDeadlineSeconds的限制,Job运行10s后被终止

清理job和终止相似,我们可以通过添加spec.ttlSecondsAfterFinished使Job在任务完成后一段时间内被清理,读者感兴趣可动手尝试一下。


Job 任务类型

  • 非并行 Job

    通常只启动一个 Pod,除非该 Pod 失败,Pod中应用成功运行完成即视为Job任务为完成状态,我们上面讨论的任务即属于此类。

  • **并行 Job **

    • 指定任务数的并行 Job

      通过spec.completions指定任务数,一旦所有 Pod 成功完成它的任务. 作业将完成。

      我们添加一个new-jobs.yml,并指定completions为3

      apiVersion: batch/v1
      kind: Job
      metadata:
      name: command-jobs
      spec:
      template:
      spec:
      containers:
      - name: command-jobs
      image: busybox
      command: ["/bin/sh","-c","sleep 50;echo 'jobs '"]
      restartPolicy: Never
      backoffLimit: 2
      completions: 3

      当3个Pod都运行完成时,Job状态为成功执行。

    我们可以从Job pod 运行过程中看到次模式中Pod 创建存在先后顺序,即需要等待一个job完成后,开启下一个Job的运行。

    • 工作队列式的并行 Job

      一旦一个 Pod 成功终止则所有 Pod 都都终止,此时Job 成功完成。

      修改new-jobs.yml,并添加parallelism使其并行数为5

      apiVersion: batch/v1
      kind: Job
      metadata:
      name: command-jobs
      spec:
      template:
      spec:
      containers:
      - name: command-jobs
      image: busybox
      command: ["/bin/sh","-c","sleep 50;echo 'jobs '"]
      restartPolicy: Never
      backoffLimit: 2
      parallelism: 5

      此类Job Pod在同一时间创建和结束。


Cronjob周期性任务

CronJob 用于执行周期性的动作,例如备份、邮件、报告生成等。

cron时间配置与linux crontab相似。

#      ┌────────────────── 时区 (可选)
# | ┌───────────── 分钟 (0 - 59)
# | │ ┌───────────── 小时 (0 - 23)
# | │ │ ┌───────────── 月的某天 (1 - 31)
# | │ │ │ ┌───────────── month (1 - 12)
# | │ │ │ │ ┌───────────── 周的某天 (0 - 6)(周日到周一;在某些系统上,7 也是星期日)
# | │ │ │ │ │
# | │ │ │ │ │
# | │ │ │ │ │
# CRON_TZ=UTC * * * * *

添加cronjob.yml如下:

#cronjob.yml
apiVersion: batch/v1beta1
kind: CronJob
metadata:
name: cronjob
spec:
schedule: "*/1 * * * *"
jobTemplate:
spec:
template:
spec:
containers:
- name: cronjob
image: busybox
command: ["/bin/sh","-c","date"]
restartPolicy: Never

我们通过cronjob没隔一分钟打印一次日期。

查看cronjob信息:

通过logs查看任务结果:

[docker@localhost yml]$ kubectl logs cronjob-1635010680-n5gxj
Sat Oct 23 17:38:15 UTC 2021

cronjob可以自动清理任务,默认保留3次成功的任务,我们可以通过添加.spec.successfulJobsHistoryLimit改变保留的历史任务信息即Pod。


以上我们将k8s中Job、Cronjob涉及的大部分内容进行了介绍。

参考:

Job

Running Automated Tasks with a CronJob

希望小作文对你有些许帮助,如果内容有误请指正。

您可以随意转载、修改、发布本文,无需经过本人同意。亦可通过博客阅读本文iqsing.github.io

k8s 关于Job与Cronjob的更多相关文章

  1. Kubernetes --(k8s)Job、CronJob

    Job https://www.kubernetes.org.cn/job https://www.kubernetes.org.cn/cronjob Job负责批量处理短暂的一次性任务 (short ...

  2. 【原创】k8s之job和Cronjob

    1.失败任务 apiVersion: batch/v1 kind: Job metadata: name: bad spec: template: metadata: name: bad spec: ...

  3. k8s job的使用

    1.运行一次性容器 容器按照持续运行的时间可分为两类: 服务类容器 服务类容器通常持续提供服务,需要一直运行,比如 http server,daemon 等. 工作类容器 工作类容器则是一次性任务,比 ...

  4. linux运维、架构之路-K8s应用

    一.Deployment         k8s通过各种Controller管理Pod的生命周期,为了满足不同的业务场景,k8s提供了Deployment.ReplicaSet.DaemonSet.S ...

  5. 15分钟在阿里云Kubernetes服务上快速建立Jenkins X Platform并运用GitOps管理应用发布

    本文主要介绍如何在阿里云容器服务Kubernetes上快速安装部署Jenkins X Platform并结合demo实践演示GitOps的操作流程. 注意:本文中使用的jx工具.cloud-envir ...

  6. Kubernetes 实战-Operator Finalizers 实现

    原文链接:https://zdyxry.github.io/2019/09/13/Kubernetes-%E5%AE%9E%E6%88%98-Operator-Finalizers/ Finalize ...

  7. 7.深入k8s:任务调用Job与CronJob及源码分析

    转载请声明出处哦~,本篇文章发布于luozhiyun的博客:https://www.luozhiyun.com 在使用job中,我会结合源码进行一定的讲解,我们也可以从源码中一窥究竟,一些细节k8s是 ...

  8. Kubernetes K8S之资源控制器Job和CronJob详解

    Kubernetes的资源控制器Job和CronJob详解与示例 主机配置规划 服务器名称(hostname) 系统版本 配置 内网IP 外网IP(模拟) k8s-master CentOS7.7 2 ...

  9. k8s cronjob

    k8s cronjob 只存在于v1beta1中 可以周期性 定时执行任务, 事例 [root@master01 ~]# kubectl apply -f mycronjob-busybox.yaml ...

随机推荐

  1. vue 监听父子组件传参,对象数据变化

    watch:{ 组件传参的字段 :{ handler (newV, oldV){ 这里打印 newV, oldV 就可以看到数据变化了 } , immediate: true, // 重点 deep: ...

  2. MyBatis学习总结(一)——MyBatis入门学习

    一.MyBatis 简介 MyBatis是一个支持普通SQL查询,存储过程和高级映射的优秀持久层框架.MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及对结果集的检索封装.MyBatis可 ...

  3. scikit-learn 1.0 版本新特性及变动前瞻性预览

    1 简介 就在几天前,著名的机器学习框架scikit-learn在pypi上释放了其1.0rc1版本,这里给大家科普一下,版本号中的rc是Release Candidate的简称,代表当前的版本是一个 ...

  4. 基于flex布局的header

    一.如图 二.思路 1.定义header,设置宽为100%,高为60px,设置绝对定位,使其为漂浮层.在header里添加container,宽设置为版心宽度,并且设置flex布局. 2.在conta ...

  5. vue 输入框内容控制

    只能输入数字 <el-input onkeyup="value=value.replace(/[^\d]/g,'')" v-model.number="a" ...

  6. shell脚本———双重循环——九九乘法表

    1.基础双重循环模板 2.break跳出单个循环 3.continue中止某次循环中的命令,但不会完全中止整个命令 4.九九乘法表

  7. Python - poetry(3)配置项详解

    config 命令 poetry 通过 config 命令进行配置 也可以直接在 config.toml 文件中进行配置,该文件将在首次运行该命令时自动创建 文件目录 macOS:~/Library/ ...

  8. 处理burp log 小脚本

    burp 日志保存 保存的日志格式为 将日志中的数据包 每个数据包保存到一个单独的txt里面 然后可以控制目录放进不同的目录中 #coding=utf-8 import re import os de ...

  9. k8s nodes节点 notready问题

    1.在master查看node状态 [root@master1 ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION master1 Ready co ...

  10. 关于连接服务器redis的教程

    第一步:下载RedisDesktopManager 这个百度一搜就有了,但是现在的版本ssh用不了 建议找可以用的版本,这个百度,懂得都懂. 第二步:服务器宝塔redis设置 在配置文件将bind 1 ...