kubernetes排错系列:(二)、运行很久的kubernetes集群,创建出来的pod都是pending状态
1.查看pod信息
# 查看pod 报错信息
kubectl get pods
发现pod的ip没有 生成,也没有分配到某个node节点 # 查看pod详细时间
kubectl describe pods
发现pod事件为空
2.查看集群信息
kubectl get nodes
发现集群状态正常
kubectl cluster-info
Kubernetes master is running at https://xx.xx.55.113
KubeDNS is running at https://xx.xx.55.113:6443/api
3. 查看kubelet日志发现
journalctl -xefu kubelet
Sep :: cbov10-sso55- kubelet[]: E0917 ::34.750672 kuberuntime_manager.go:] getPodContainerStatuses for pod "kube-scheduler-k8s-master_kube-system(a29556bf1d34f898bf5d0ce3c15a5948)" failed: rpc error: code = Unknown desc = Error response from daemon: readlink /var/lib/docker/overlay2/s=13b9f39777ba4419b309b8b3ae11760e;i=121b8;b=37ab1d18c20d41b2a88be512b10aba22;m=559ecd: no such file or directory
Sep :: cbov10-sso55- kubelet[]: E0917 ::35.260404 remote_runtime.go:] ContainerStatus "fad2baa3755429e94c4b79549ce2a2d2a2b018e1c55bf282d1b5b0be0b4022fe" from runtime service failed: rpc error: code = Unknown desc = Error response from daemon: readlink /var/lib/docker/overlay2/s=13b9f39777ba4419b309b8b3ae11760e;i=121b8;b=37ab1d18c20d41b2a88be512b10aba22;m=559ecd: no such file or directory
Sep :: cbov10-sso55- kubelet[]: E0917 ::35.260498 kuberuntime_gc.go:] Failed to remove container "fad2baa3755429e94c4b79549ce2a2d2a2b018e1c55bf282d1b5b0be0b4022fe": failed to get container status "fad2baa3755429e94c4b79549ce2a2d2a2b018e1c55bf282d1b5b0be0b4022fe": rpc error: code = Unknown desc = Error response from daemon: readlink /var/lib/docker/overlay2/s=13b9f39777ba4419b309b8b3ae11760e;i=121b8;b=37ab1d18c20d41b2a88be512b10aba22;m=559ecd: no such file or directory
Sep :: cbov10-sso55- kubelet[]: E0917 ::44.674953 pod_workers.go:] Error syncing pod a29556bf1d34f898bf5d0ce3c15a5948 ("kube-scheduler-cbov10-sso55-113_kube-system(a29556bf1d34f898bf5d0ce3c15a5948)"), skipping: rpc error: code = Unknown desc = Error response from daemon: readlink /var/lib/docker/overlay2/s=13b9f39777ba4419b309b8b3ae11760e;i=121b8;b=37ab1d18c20d41b2a88be512b10aba22;m=559ecd: no such file or directory
4.清理docker占用的磁盘空间
#可以用于清理磁盘,删除关闭的容器、无用的数据卷和网络
docker system prune -a
5.之后再次部署,发现pod能正常启动。
kubernetes排错系列:(二)、运行很久的kubernetes集群,创建出来的pod都是pending状态的更多相关文章
- Redis总结(五)缓存雪崩和缓存穿透等问题 Web API系列(三)统一异常处理 C#总结(一)AutoResetEvent的使用介绍(用AutoResetEvent实现同步) C#总结(二)事件Event 介绍总结 C#总结(三)DataGridView增加全选列 Web API系列(二)接口安全和参数校验 RabbitMQ学习系列(六): RabbitMQ 高可用集群
Redis总结(五)缓存雪崩和缓存穿透等问题 前面讲过一些redis 缓存的使用和数据持久化.感兴趣的朋友可以看看之前的文章,http://www.cnblogs.com/zhangweizhon ...
- 在 Kubernetes 上运行高可用的 Kafka 集群
转载自:https://www.qikqiak.com/post/deploy-kafka-ha-on-k8s/ Apache Kafka 是目前最流行的分布式消息发布订阅系统,虽然 Kafka 非常 ...
- 彻底搞懂 etcd 系列文章(三):etcd 集群运维部署
0 专辑概述 etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管.etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件 ...
- [转贴]CentOS7.5 Kubernetes V1.13(最新版)二进制部署集群
CentOS7.5 Kubernetes V1.13(最新版)二进制部署集群 http://blog.51cto.com/10880347/2326146 一.概述 kubernetes 1.13 ...
- ELK 性能(3) — 在 Docker 上运行高性能容错的 Elasticsearch 集群
ELK 性能(3) - 在 Docker 上运行高性能容错的 Elasticsearch 集群 介绍 在 Docker 上运行高性能容错的 Elasticsearch 集群 内容 通常熟悉的开发流程是 ...
- 大数据初级笔记二:Hadoop入门之Hadoop集群搭建
Hadoop集群搭建 把环境全部准备好,包括编程环境. JDK安装 版本要求: 强烈建议使用64位的JDK版本,这样的优势在于JVM的能够访问到的最大内存就不受限制,基于后期可能会学习到Spark技术 ...
- springCloud系列教程01:Eureka 注册中心集群搭建
springCloud系列教程包含如下内容: springCloud系列教程01:Eureka 注册中心集群搭建 springCloud系列教程02:ConfigServer 配置中心server搭建 ...
- kubernetes排错系列:(一)、机房搬迁导致的节点NotReady
说下背景: 上周六机房进行搬迁,我所在的网段的机器都重启了一遍.重启之后kubernetes集群不正常.如下 排查过程: # 查看节点信息 kubectl describe nodes cbov10- ...
- Kubernetes 系列(一):本地k8s集群搭建
我们需要做以下工作: (1)安装VMware,运行CentOs系统,一个做master,一个做node. (2)安装K8s. (3)安装docker和部分镜像会需要访问外网,所以你需要做些网络方面的准 ...
随机推荐
- YII2-按需加载并管理静态资源(CSS,JS)
参考博客: https://segmentfault.com/a/1190000003742452#articleHeader5
- Mark点
MARK点是PCB应用于设计中的自动贴片机上的位置识别点,也被称为基准点.直径为1MM.钢网Mark点是电路板贴片加工中PCB印刷锡膏/红胶时的位置识别点.Mark点的选用直接影响钢网的印刷效率,确保 ...
- Hive动态分区和分桶(八)
Hive动态分区和分桶 1.Hive动态分区 1.hive的动态分区介绍 hive的静态分区需要用户在插入数据的时候必须手动指定hive的分区字段值,但是这样的话会导致用户的操作复杂度提高,而且在 ...
- 一键登录怎么在iOS端实现?这篇文章教会你!
在一键登录出现之前,市场上最常见的APP 注册登录方式主要有账号密码.短信验证及第三方登录.这几种方式看似常见且便捷,实则存在许多安全隐患,用户体验也相对较差.首先,短信验证码到达率低.用户操作繁琐且 ...
- Django :执行 python manage.py makemigrations 时报错 TypeError: __init__() missing 1 required positional argument: 'on_delete'
原因 执行命令 python manage.py makemigrations 报错 TypeError: __init__() missing 1 required positional argum ...
- JDK8日期处理API(转)
转载地址:http://www.cnblogs.com/comeboo/p/5378922.html 转载地址:http://blog.csdn.net/hspingcc/article/detail ...
- MySQL常见内存不足启动失败的完美解决方法
Move to https://www.jb51.net/article/136432.htm
- 课程 6;比特币产生,分配(2100w,10个矿区)
www.8btc.com (每21w个,减半分配)
- JVM(一),谈谈你对java的理解
一.谈谈你对java的理解 1.Java特性 (1)平台无关性 一次编译到处运行 (2)GC 垃圾回收机制 (3)语言特性 泛型-反射机制-lambda表达式 (4)面向对象 面向对象语言-三大特性( ...
- 1012 最大公约数和最小公倍数问题 2001年NOIP全国联赛普及组
1012 最大公约数和最小公倍数问题 2001年NOIP全国联赛普及组 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 白银 Silver 题目描述 Description 输入二个 ...