1.查看pod信息

# 查看pod 报错信息
kubectl get pods
发现pod的ip没有 生成,也没有分配到某个node节点 # 查看pod详细时间
kubectl describe pods
发现pod事件为空

2.查看集群信息

kubectl get nodes

发现集群状态正常

kubectl cluster-info

Kubernetes master is running at https://xx.xx.55.113
KubeDNS is running at https://xx.xx.55.113:6443/api

3. 查看kubelet日志发现

journalctl -xefu kubelet
Sep  :: cbov10-sso55- kubelet[]: E0917 ::34.750672     kuberuntime_manager.go:] getPodContainerStatuses for pod "kube-scheduler-k8s-master_kube-system(a29556bf1d34f898bf5d0ce3c15a5948)" failed: rpc error: code = Unknown desc = Error response from daemon: readlink /var/lib/docker/overlay2/s=13b9f39777ba4419b309b8b3ae11760e;i=121b8;b=37ab1d18c20d41b2a88be512b10aba22;m=559ecd: no such file or directory
Sep :: cbov10-sso55- kubelet[]: E0917 ::35.260404 remote_runtime.go:] ContainerStatus "fad2baa3755429e94c4b79549ce2a2d2a2b018e1c55bf282d1b5b0be0b4022fe" from runtime service failed: rpc error: code = Unknown desc = Error response from daemon: readlink /var/lib/docker/overlay2/s=13b9f39777ba4419b309b8b3ae11760e;i=121b8;b=37ab1d18c20d41b2a88be512b10aba22;m=559ecd: no such file or directory
Sep :: cbov10-sso55- kubelet[]: E0917 ::35.260498 kuberuntime_gc.go:] Failed to remove container "fad2baa3755429e94c4b79549ce2a2d2a2b018e1c55bf282d1b5b0be0b4022fe": failed to get container status "fad2baa3755429e94c4b79549ce2a2d2a2b018e1c55bf282d1b5b0be0b4022fe": rpc error: code = Unknown desc = Error response from daemon: readlink /var/lib/docker/overlay2/s=13b9f39777ba4419b309b8b3ae11760e;i=121b8;b=37ab1d18c20d41b2a88be512b10aba22;m=559ecd: no such file or directory
Sep :: cbov10-sso55- kubelet[]: E0917 ::44.674953 pod_workers.go:] Error syncing pod a29556bf1d34f898bf5d0ce3c15a5948 ("kube-scheduler-cbov10-sso55-113_kube-system(a29556bf1d34f898bf5d0ce3c15a5948)"), skipping: rpc error: code = Unknown desc = Error response from daemon: readlink /var/lib/docker/overlay2/s=13b9f39777ba4419b309b8b3ae11760e;i=121b8;b=37ab1d18c20d41b2a88be512b10aba22;m=559ecd: no such file or directory

4.清理docker占用的磁盘空间

#可以用于清理磁盘,删除关闭的容器、无用的数据卷和网络
docker system prune -a

5.之后再次部署,发现pod能正常启动。

kubernetes排错系列:(二)、运行很久的kubernetes集群,创建出来的pod都是pending状态的更多相关文章

  1. Redis总结(五)缓存雪崩和缓存穿透等问题 Web API系列(三)统一异常处理 C#总结(一)AutoResetEvent的使用介绍(用AutoResetEvent实现同步) C#总结(二)事件Event 介绍总结 C#总结(三)DataGridView增加全选列 Web API系列(二)接口安全和参数校验 RabbitMQ学习系列(六): RabbitMQ 高可用集群

    Redis总结(五)缓存雪崩和缓存穿透等问题   前面讲过一些redis 缓存的使用和数据持久化.感兴趣的朋友可以看看之前的文章,http://www.cnblogs.com/zhangweizhon ...

  2. 在 Kubernetes 上运行高可用的 Kafka 集群

    转载自:https://www.qikqiak.com/post/deploy-kafka-ha-on-k8s/ Apache Kafka 是目前最流行的分布式消息发布订阅系统,虽然 Kafka 非常 ...

  3. 彻底搞懂 etcd 系列文章(三):etcd 集群运维部署

    0 专辑概述 etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管.etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件 ...

  4. [转贴]CentOS7.5 Kubernetes V1.13(最新版)二进制部署集群

    CentOS7.5 Kubernetes V1.13(最新版)二进制部署集群 http://blog.51cto.com/10880347/2326146   一.概述 kubernetes 1.13 ...

  5. ELK 性能(3) — 在 Docker 上运行高性能容错的 Elasticsearch 集群

    ELK 性能(3) - 在 Docker 上运行高性能容错的 Elasticsearch 集群 介绍 在 Docker 上运行高性能容错的 Elasticsearch 集群 内容 通常熟悉的开发流程是 ...

  6. 大数据初级笔记二:Hadoop入门之Hadoop集群搭建

    Hadoop集群搭建 把环境全部准备好,包括编程环境. JDK安装 版本要求: 强烈建议使用64位的JDK版本,这样的优势在于JVM的能够访问到的最大内存就不受限制,基于后期可能会学习到Spark技术 ...

  7. springCloud系列教程01:Eureka 注册中心集群搭建

    springCloud系列教程包含如下内容: springCloud系列教程01:Eureka 注册中心集群搭建 springCloud系列教程02:ConfigServer 配置中心server搭建 ...

  8. kubernetes排错系列:(一)、机房搬迁导致的节点NotReady

    说下背景: 上周六机房进行搬迁,我所在的网段的机器都重启了一遍.重启之后kubernetes集群不正常.如下 排查过程: # 查看节点信息 kubectl describe nodes cbov10- ...

  9. Kubernetes 系列(一):本地k8s集群搭建

    我们需要做以下工作: (1)安装VMware,运行CentOs系统,一个做master,一个做node. (2)安装K8s. (3)安装docker和部分镜像会需要访问外网,所以你需要做些网络方面的准 ...

随机推荐

  1. YII2-按需加载并管理静态资源(CSS,JS)

    参考博客: https://segmentfault.com/a/1190000003742452#articleHeader5

  2. Mark点

    MARK点是PCB应用于设计中的自动贴片机上的位置识别点,也被称为基准点.直径为1MM.钢网Mark点是电路板贴片加工中PCB印刷锡膏/红胶时的位置识别点.Mark点的选用直接影响钢网的印刷效率,确保 ...

  3. Hive动态分区和分桶(八)

    Hive动态分区和分桶 1.Hive动态分区 1.hive的动态分区介绍 ​ hive的静态分区需要用户在插入数据的时候必须手动指定hive的分区字段值,但是这样的话会导致用户的操作复杂度提高,而且在 ...

  4. 一键登录怎么在iOS端实现?这篇文章教会你!

    在一键登录出现之前,市场上最常见的APP 注册登录方式主要有账号密码.短信验证及第三方登录.这几种方式看似常见且便捷,实则存在许多安全隐患,用户体验也相对较差.首先,短信验证码到达率低.用户操作繁琐且 ...

  5. Django :执行 python manage.py makemigrations 时报错 TypeError: __init__() missing 1 required positional argument: 'on_delete'

    原因 执行命令 python manage.py makemigrations 报错 TypeError: __init__() missing 1 required positional argum ...

  6. JDK8日期处理API(转)

    转载地址:http://www.cnblogs.com/comeboo/p/5378922.html 转载地址:http://blog.csdn.net/hspingcc/article/detail ...

  7. MySQL常见内存不足启动失败的完美解决方法

    Move to https://www.jb51.net/article/136432.htm

  8. 课程 6;比特币产生,分配(2100w,10个矿区)

    www.8btc.com   (每21w个,减半分配)

  9. JVM(一),谈谈你对java的理解

    一.谈谈你对java的理解 1.Java特性 (1)平台无关性 一次编译到处运行 (2)GC 垃圾回收机制 (3)语言特性 泛型-反射机制-lambda表达式 (4)面向对象 面向对象语言-三大特性( ...

  10. 1012 最大公约数和最小公倍数问题 2001年NOIP全国联赛普及组

    1012 最大公约数和最小公倍数问题 2001年NOIP全国联赛普及组 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 白银 Silver 题目描述 Description 输入二个 ...