k8s运行容器之Job应用（6）
容器按照持续运行的时间可分为两类：服务类容器和工作类容器。
服务类容器通常持续提供服务，需要一直运行，比如 http server，daemon 等。工作类容器则是一次性任务，比如批处理程序，完成后容器就退出。
Kubernetes 的 Deployment、ReplicaSet 和 DaemonSet 都用于管理服务类容器；对于工作类容器，我们用 Job。
一、job的应用
1、编写job的yaml文件myjob.yaml：
[root@ren7 yaml]# cat myjob.yaml
apiVersion: batch/v1
kind: Job
metadata:
name: job
spec:
template:
spec:
containers:
- name: job
image: reg.yunwei.com/learn/busybox:latest
command: ["echo","hello kubernetes"]
restartPolicy: Never
① batch/v1 是当前 Job 的 apiVersion。
② 指明当前资源的类型为 Job。
③ restartPolicy 指定什么情况下需要重启容器。对于 Job，只能设置为 Never 或者 OnFailure。对于其他 controller（比如 Deployment）可以设置为 Always 。
2、启动job
[root@ren7 yaml]# kubectl apply -f myjob.yaml
job.batch/job created
3、查看job的状态
[root@ren7 yaml]# kubectl get job
NAME COMPLETIONS DURATION AGE
job 1/1 3s 84s
4、查看pod的状态
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
job-m9shb 0/1 Completed 0 2m40s
显示completed已经完成
5、查看pod的标准输出
[root@ren7 yaml]# kubectl logs job-m9shb
hello kubernetes
二、job失败的情况
如果job失败了会怎么样呢？
1、修改myjob.yaml文件，故意引入一个错误：
[root@ren7 yaml]# cat myjob.yaml
apiVersion: batch/v1
kind: Job
metadata:
name: job
spec:
template:
spec:
containers:
- name: job
image: reg.yunwei.com/learn/busybox:latest
command: ["echorrr","hello kubernetes"]
restartPolicy: Never
2、删除之前的job
[root@ren7 yaml]# kubectl delete -f myjob.yaml
job.batch "job" deleted
[root@ren7 yaml]# kubectl get pod
No resources found.
3、运行新的job并查看状态
[root@ren7 yaml]# kubectl apply -f myjob.yaml
job.batch/job created
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
job-l9spb 0/1 ContainerCannotRun 0 5s
job-mk5fp 0/1 ContainerCreating 0 1s
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
job-2phbq 0/1 ContainerCreating 0 2s
job-l9spb 0/1 ContainerCannotRun 0 16s
job-mk5fp 0/1 ContainerCannotRun 0 12s
发现没有创建成功，显示0
并且可以看到有多个pod，状态均不正常。
4、使用 kubectldescribe pod 查看某个pod的启动日志
[root@ren7 yaml]# kubectl describe pods job-2phbq
Name: job-2phbq
Namespace: default
Node: 192.168.11.5/192.168.11.5
Start Time: Fri, 25 Oct 2019 19:02:56 +0800
Labels: controller-uid=f7746782-f716-11e9-867d-000c297d011c
job-name=job
Annotations: <none>
Status: Failed
IP: 172.20.72.146
Controlled By: Job/job
Containers:
job:
Container ID: docker://858e1dffa45cad2e43fa096b002a925f15dfc07ad08b406c4c2ad01fe68c2ccd
Image: reg.yunwei.com/learn/busybox:latest
Image ID: docker-pullable://reg.yunwei.com/learn/busybox@sha256:dd97a3fe6d721c5cf03abac0f50e2848dc583f7c4e41bf39102ceb42edfd1808
Port: <none>
Host Port: <none>
Command:
echorrr
hello kubernetes
State: Terminated
Reason: ContainerCannotRun
Message: OCI runtime create failed: container_linux.go:348: starting container process caused "exec: \"echorrr\": executable file not found in $PATH": unknown
Exit Code: 127
Started: Fri, 25 Oct 2019 19:02:58 +0800
Finished: Fri, 25 Oct 2019 19:02:58 +0800
Ready: False
Restart Count: 0
Environment: <none>
Mounts:
/var/run/secrets/kubernetes.io/serviceaccount from default-token-qvqql (ro)
Conditions:
Type Status
Initialized True
Ready False
ContainersReady False
PodScheduled True
Volumes:
default-token-qvqql:
Type: Secret (a volume populated by a Secret)
SecretName: default-token-qvqql
Optional: false
QoS Class: BestEffort
Node-Selectors: <none>
Tolerations: <none>
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 11m default-scheduler Successfully assigned default/job-2phbq to 192.168.11.5
Normal Pulling 11m kubelet, 192.168.11.5 Pulling image "reg.yunwei.com/learn/busybox:latest"
Normal Pulled 11m kubelet, 192.168.11.5 Successfully pulled image "reg.yunwei.com/learn/busybox:latest"
Normal Created 11m kubelet, 192.168.11.5 Created container job
Warning Failed 11m kubelet, 192.168.11.5 Error: failed to start container "job": Error response from daemon: OCI runtime create failed: container_linux.go:348: starting container process caused "exec: \"echorrr\": executable file not found in $PATH": unknown
日志显示没有可执行程序符合我们的预期。
为什么kubectl get pod 会看到这么多个失败的pod？
原因是：当第一个 Pod 启动时，容器失败退出，根据 restartPolicy: Never，此失败容器不会被重启，但 Job DESIRED 的 Pod 是 1，目前 SUCCESSFUL 为 0，不满足，所以 Job controller 会启动新的 Pod，直到 SUCCESSFUL 为 1。对于我们这个例子，SUCCESSFUL 永远也到不了 1，所以 Job controller 会一直创建新的 Pod。为了终止这个行为，只能删除 Job。
[root@ren7 yaml]# kubectl delete -f myjob.yaml
job.batch "job" deleted
[root@ren7 yaml]# kubectl get pod
No resources found.
如果将 restartPolicy 设置为 OnFailure 会怎么样？下面我们实践一下，修改 myjob.yml 后重新启动。
[root@ren7 yaml]# vim myjob.yaml #依旧是错误命令，且改了restartPolicy: OnFailure
[root@ren7 yaml]# kubectl apply -f myjob.yaml
job.batch/job created
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
job-9fd6w 0/1 ContainerCreating 0 2s
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
job-9fd6w 0/1 RunContainerError 0 14s
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
job-9fd6w 0/1 RunContainerError 1 27s
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
job-9fd6w 0/1 CrashLoopBackOff 2 36s
完成依然为0。
这里只有一个 Pod，不过 RESTARTS 为 2，而且不断增加，说明 OnFailure 生效，容器失败后会自动重启。
三、并行执行job
有时，我们希望能同时运行多个pod，提高job的执行效率。
1、设置parallelism
[root@ren7 yaml]# cat myjob.yaml
apiVersion: batch/v1
kind: Job
metadata:
name: job
spec:
parallelism: 2
template:
spec:
containers:
- name: job
image: reg.yunwei.com/learn/busybox:latest
restartPolicy: Never
2、执行该yaml文件
[root@ren7 yaml]# kubectl apply -f myjob.yaml
job.batch/job created
3、查看job
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
job-5jkpz 0/1 ContainerCreating 0 3s
job-svs94 0/1 ContainerCreating 0 3s
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
job-5jkpz 0/1 Completed 0 10s
job-svs94 0/1 Completed 0 10s
job一共启动了两个pod，而且AGE相同，可见是并行运行的。
4、还可以通过 completions 设置 Job 成功完成 Pod 的总数：
[root@ren7 yaml]# cat myjob.yaml
apiVersion: batch/v1
kind: Job
metadata:
name: job
spec:
parallelism: 2
completions: 6
template:
spec:
containers:
- name: job
image: reg.yunwei.com/learn/busybox:latest
restartPolicy: Never
5、查看相应的pod和job
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
job-82gll 0/1 Completed 0 18s
job-gsn55 0/1 Completed 0 18s
job-h6gnw 0/1 Completed 0 11s
job-nz5vs 0/1 Completed 0 14s
job-v48cr 0/1 Completed 0 15s
job-vx5gt 0/1 Completed 0 10s
[root@ren7 yaml]# kubectl get job
NAME COMPLETIONS DURATION AGE
job 6/6 11s 72s
如果不指定 completions 和 parallelism，默认值均为 1。
上面的例子只是为了演示 Job 的并行特性，实际用途不大。不过现实中确实存在很多需要并行处理的场景。比如批处理程序，每个副本（Pod）都会从任务池中读取任务并执行，副本越多，执行时间就越短，效率就越高。这种类似的场景都可以用 Job 来实现。
四、定时执行job
Linux 中有 cron 程序定时执行任务，Kubernetes 的 CronJob 提供了类似的功能，可以定时执行 Job。
1、CronJob 配置文件示例如下：
[root@ren7 yaml]# cat myjob1.yaml
apiVersion: batch/v1beta1
kind: CronJob
metadata:
name: timing
spec:
schedule: "*/1 * * * *"
jobTemplate:
spec:
template:
spec:
containers:
- name: timing
image: reg.yunwei.com/learn/busybox:latest
command: ["echo","hello k8s cronjob!"]
restartPolicy: OnFailure
① batch/v1beta1 是当前 CronJob 的 apiVersion。
② 指明当前资源的类型为 CronJob。
③ schedule 指定什么时候运行 Job，其格式与 Linux cron 一致。这里 */1 * * * * 的含义是每一分钟启动一次。
④ jobTemplate 定义 Job 的模板，格式与前面 Job 一致。
2、通过 kubectl apply 创建 CronJob
[root@ren7 yaml]# kubectl apply -f myjob1.yaml
cronjob.batch/timing created
3、查看crontab的状态
[root@ren7 yaml]# kubectl get job
No resources found.
[root@ren7 yaml]# kubectl get cronjob
NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE
timing */1 * * * * False 0 <none> 15s
4、等待几分钟再次查看jobs的执行情况
[root@ren7 yaml]# kubectl get job
NAME COMPLETIONS DURATION AGE
timing-1572005160 1/1 3s 2m29s
timing-1572005220 1/1 3s 89s
timing-1572005280 1/1 3s 29s
可以看到每隔一分钟就会启动一个job。
过段时间查看pod
[root@ren7 yaml]# kubectl get pod
NAME READY STATUS RESTARTS AGE
timing-1572005340-5fds8 0/1 Completed 0 2m40s
timing-1572005400-8qsd4 0/1 Completed 0 99s
timing-1572005460-hnsh7 0/1 Completed 0 39s
5、执行kubectl logs 可查看某个 Job 的pod运行日志：
[root@ren7 yaml]# kubectl logs timing-1572005340-5fds8
hello k8s cronjob!
查看pod会遗留很多已经完成的pod，只需要删除即可。
[root@ren7 yaml]# kubectl delete -f myjob1.yaml
cronjob.batch "timing" deleted
[root@ren7 yaml]# kubectl get pods
No resources found.
k8s运行容器之Job应用（6）的更多相关文章
- k8s运行容器之Job（四）--技术流ken
Job 容器按照持续运行的时间可分为两类:服务类容器和工作类容器. 服务类容器通常持续提供服务,需要一直运行,比如 http server,daemon 等.工作类容器则是一次性任务,比如批处理程序, ...
- k8s运行容器之deployment（三）--技术流ken
deployment 我们已经知道k8s是通过各种controller来管理pod的生命周期.为了满足不同业务场景,k8s开发了Deployment.ReplicaSet.DaemonSet.Stat ...
- k8s运行容器之Job（四）
Job 容器按照持续运行的时间可分为两类:服务类容器和工作类容器. 服务类容器通常持续提供服务,需要一直运行,比如 http server,daemon 等.工作类容器则是一次性任务,比如批处理程序, ...
- k8s运行容器之deployment（三）
deployment 我们已经知道k8s是通过各种controller来管理pod的生命周期.为了满足不同业务场景,k8s开发了Deployment.ReplicaSet.DaemonSet.Stat ...
- Java并发编程：并发容器之CopyOnWriteArrayList（转载）
Java并发编程:并发容器之CopyOnWriteArrayList(转载) 原文链接: http://ifeve.com/java-copy-on-write/ Copy-On-Write简称COW ...
- Java并发编程：并发容器之ConcurrentHashMap（转载）
Java并发编程:并发容器之ConcurrentHashMap(转载) 下面这部分内容转载自: http://www.haogongju.net/art/2350374 JDK5中添加了新的concu ...
- Java并发编程：并发容器之ConcurrentHashMap
转载: Java并发编程:并发容器之ConcurrentHashMap JDK5中添加了新的concurrent包,相对同步容器而言,并发容器通过一些机制改进了并发性能.因为同步容器将所有对容器状态的 ...
- Java并发编程：并发容器之CopyOnWriteArrayList
转载: Java并发编程:并发容器之CopyOnWriteArrayList Copy-On-Write简称COW,是一种用于程序设计中的优化策略.其基本思路是,从一开始大家都在共享同一个内容,当某个 ...
- Java 容器之Hashset 详解
Java 容器之Hashset 详解.http://blog.csdn.net/nvd11/article/details/27716511
随机推荐
- 从零玩转第三方登录之QQ登录
从零玩转第三方登录之QQ登录 前言 在真正开始对接之前,我们先来聊一聊后台的方案设计.既然是对接第三方登录,那就免不了如何将用户信息保存.首先需要明确一点的是,用户在第三方登录成功之后, 我们能拿到的 ...
- 配置动态刷新RefreshScope注解使用局限性（一）
在 Spring Cloud 体系的项目中,配置中心主要用于提供分布式的配置管理,其中有一个重要的注解:@RefreshScope,如果代码中需要动态刷新配置,在需要的类上加上该注解就行.本文分享一下 ...
- Centos6无法使用yum解决办法
12月后Centos 6 系统无法使用yum出现错误(文章底部看) 相信已经有一部分朋友今天连接到CentOS 6的服务器后执行yum后发现报错,那么发生了什么? CentOS 6已经随着2020年1 ...
- SecureCRT 连接Win10内置ubuntu问题及解决办法
1: 输入hostname, username 后连接提示: ubuntu The remote system refused the connection. 因为没有安装或启动 ssh. 使用命令 ...
- Typora 主题推荐
Typora 修改代码块高亮样式可以参考:点击这里 下面推荐按几款比较好看的主题样式 1.cobalt主题 2.Drake主题 3.fluent主题 4.gitbook主题 5.techo主题 6.U ...
- Servlet与Netty横向对比
为什么要把这两个看起来不是很搭的东西放在一起对比呢?首先它们两个都是网络编程框架和规范,而且通过我的观察,从API的设计.生命周期方法.处理流程等等方面,他们确实有太多相似的地方了,如果想要深入地学习 ...
- 为什么传统软件厂商都想转型做Saas？
欢迎关注微信公众号:sap_gui (ERP咨询顾问之家) 早些年,我工作笔记用的最多的是微软的OneNote,这东西好用不说,不仅能够存在云端,也能存放在本地.可惜到了Office2019之后,On ...
- 4- MySQL创建表以及增删改查
查看表结构 查看表的结构,使用命令:desc 表明: 创建表(命令) 格式:使用create table创建表,必须给出下列信息: 1.新表的名字. 2.表中列的名字和定义,用逗号隔开. 语法: cr ...
- php 二维数组排序详解: array_multisort
定义和用法 array_multisort() 函数返回一个排序数组.您可以输入一个或多个数组.函数先对第一个数组进行排序,接着是其他数组,如果两个或多个值相同,它将对下一个数组进行排序. 注释: ...
- hdu4912 LCA+贪心
题意: 给你一棵树和m条边,问你在这些边里面最多能够挑出多少条边,使得这些边之间不能相互交叉. 思路: lca+贪心,首先对于给的每个条边,我们用lca求出他们的公共节点,然后在 ...