k8s系列---故障
kubectl get namespace prom Terminating 45h
namespace 出现Terminating 状态,一直删不掉
解决:
1:导出namespace的json文件
[root@master ~]# kubectl get namespace prom -o json > prom.json
2:修改json文件
{
"apiVersion": "v1",
"kind": "Namespace",
"metadata": {
"annotations": {
"kubectl.kubernetes.io/last-applied-configuration": "{\"apiVersion\":\"v1\",\"kind\":\"Namespace\",\"metadata\":{\"annotations\":{},\"name\":\"prom\"}}\n"
},
"creationTimestamp": "2019-01-29T04:01:48Z",
"deletionTimestamp": "2019-01-30T07:09:57Z",
"name": "prom",
"resourceVersion": "2427154",
"selfLink": "/api/v1/namespaces/prom",
"uid": "99b33767-237a-11e9-b2d9-000c297e6ade"
},
"spec": {
"finalizers": [
]
},
"status": {
"phase": "Terminating"
}
}
删除上面finalizers里的kubernetes
3:开个代理
[root@master ~]# kubectl proxy --port=8001 Starting to serve on 127.0.0.1:8001
4:执行json文件
[root@master ~]# curl -k -H "Content-Type: application/json" -X PUT --data-binary @prom.json http://127.0.0.1:8001/api/v1/namespaces/prom/finalize
如果上面执行没删掉,出现code:409 ,则把上面json文件内的 "resourceVersion": "2427154", 这一行删掉,重新执行4
同一个yaml文件内两个subPath无法挂载到同一个pvc的问题
网上大多数给的参考是每个subPath都写了一个volumeMounts,而研发同学也没注意,就在同一个containers下的name下也写了两个volumeMounts,导致第一个volumeMounts挂载的时候总是挂载不上。
解决:
volumeMounts:
- name: log-data
mountPath: /home
subPath: testa
- name: log-data
mountPath: /usr/src/html
subPath: testb
运行一段时间后 pod出现 Evicted 状态
删除
kubectl get pods -n kube-system | grep Evicted | awk '{print $1}' | xargs kubectl delete pod -n kube-syste
节点资源耗尽 NodeHasSufficientMemory
如何清理Docker占用的磁盘空间?
查看使用情况
docker system df
docker system prune
基于K8S的CI过程出现 jenkins一直转圈圈,jenkins-slave不创建
测试k8s和jenkins是否处于连通状态
我之前是写的https://kubernetes.default,当时测试是没问题的,后来CI阶段的时候出现了上述问题
解决就是不用域名了,直接改ip
使用 # kubectl cluster-info可以查看 apiserver的地址和端口,最终测试通过
jenkins的地址就不要改了,改了发现build的时候还是转圈圈,虽然能拉下slave出来,查看slave的pod日志,发现连接64的50000端口去了,应该连接jenkins-pod的50000,于是jenkins改成域名的
最终配置如下

helm install时出现错误“Error: error installing: the server could not find the requested resource”
解决办法:大致就是helm版本不兼容 Kubernetes 1.16.0 的 apiVersion
https://www.chenshaowen.com/blog/summary-of-installation-problems-for-kubernetes-1.6.0.html
https://feisky.gitbooks.io/kubernetes/apps/helm.html
k8s集群在RBAC分级授权时发生误操作,应该是证书被覆盖,kubectl命令无法使用了,按照网上替换证书的方式操作不管用
保利点解决:kubeadmin reset -f 重置集群 重新加入,然后各类服务重新创建
kubeadm reset -f
kubeadm join 172.16.10.241:6443 --token olfmpz.2w1mzqjzhv5w0xlr --discovery-token-ca-cert-hash sha256:2cbfe9767b7cc83b03986238d6a409fa444948b34bfee920aa267cc18878305e
k8s系列---故障的更多相关文章
- Docker & k8s 系列二:本机k8s环境搭建
本篇将会讲解k8s是什么?本机k8s环境搭建,部署一个pod并演示几个kubectl命令,k8s dashboard安装. k8s是什么 k8s是kubernetes的简写,它是一个全新的基于容器技术 ...
- Docker & k8s 系列一:快速上手docker
Docker & k8s 系列一:快速上手docker 本篇文章将会讲解:docker是什么?docker的安装,创建一个docker镜像,运行我们创建的docker镜像,发布自己的docke ...
- Docker & k8s 系列三:在k8s中部署单个服务实例
本章将会讲解: pod的概念,以及如何向k8s中部署一个单体应用实例. 在上面的篇幅中,我们了解了docker,并制作.运行了docker镜像,然后将镜像发布至中央仓库了.然后又搭建了本机的k8s环境 ...
- k8s系列---Worker节点扩容
其他有关内容 安装:参考https://www.cnblogs.com/dribs/p/9082458.html 集群故障重置:参考https://www.cnblogs.com/dribs/p/10 ...
- k8s系列---EFK日志系统
文章拷于:http://blog.itpub.net/28916011/viewspace-2216748/ 用于自己备份记录错误 一个完整的k8s集群,应该包含如下六大部分:kube-dns.i ...
- k8s系列文章第五篇(docker-compose)
更多精彩内容,猛搓这里 目录 一.Docker Compose 1.前言 2.官方介绍 1.Compose 中有两个重要的概念 2.三步骤 3.Compose是Docker官方的开源项目,需要安装! ...
- K8S系列第九篇(持久化存储,emptyDir、hostPath、PV/PVC)
更多k8s内容,请关注威信公众好:新猿技术生态圈 一.数据持久化 Pod是由容器组成的,而容器宕机或停止之后,数据就随之丢了,那么这也就意味着我们在做Kubernetes集群的时候就不得不考虑存储的问 ...
- 一次“不负责任”的 K8s 网络故障排查经验分享
作者 | 骆冰利 来源 | Erda 公众号 某天晚上,客户碰到了这样的问题:K8s 集群一直扩容失败,所有节点都无法正常加入集群.在经过多番折腾无解后,客户将问题反馈到我们这里,希望得到技术支持 ...
- k8s系列~mgr的应用
一 简介:今天咱们大体介绍下 这两者是如何联系的二 概念解析 pod:说下我的理解 1 pod通过yaml文件来封装docker本身+启动形式 2 pod可以运行多个docke ...
随机推荐
- Ambari下安装oozieUI界面无法访问问题
前言: 其他集群管理工具安装oozie和手动编译安装oozie,关于oozie的UI界面无法访问的问题,大致和该方法类似. 找到下面4步骤里的视图显示的目录,有一个ext-2.2软链指向的路径 lrw ...
- SliverAppBar 介绍及使用
SliverAppBar控件可以实现页面头部区域展开.折叠的效果,类似于Android中的CollapsingToolbarLayout.先看下SliverAppBar实现的效果,效果图如下: Sli ...
- Gitlab安装配置管理
◆安装Gitlab前系统预配置准备工作1.关闭firewalld防火墙# systemctl stop firewalld# systemctl disable firewalld 2.关闭SELIN ...
- python接口测试,mock模块基本使用介绍
mock简介 py3已将mock集成到unittest库中 为的就是更好的进行单元测试 简单理解,模拟接口返回参数 通俗易懂,直接修改接口返回参数的值 mock作用 解决依赖问题,达到解耦作用 当我们 ...
- CSS基础应用总结
目录 CSS 样式笔记 文字水平居中和垂直居中 如何设置a标签不带下划线 控件右对齐 div上下居中 控件左右居中 控件展示在同一行 设置文字超出部分...显示 CSS 样式笔记 文字水平居中和垂直居 ...
- 彻底理解Future模式
先上一个场景:假如你突然想做饭,但是没有厨具,也没有食材.网上购买厨具比较方便,食材去超市买更放心. 实现分析:在快递员送厨具的期间,我们肯定不会闲着,可以去超市买食材.所以,在主线程里面另起一个子线 ...
- linux操作系统下调试python代码方法
一.python有调试工具pdb,可以用来进行代码调试. pdb的常用命令说明: l #查看运行到哪行代码 n #单步运行,跳过函数 s #单步运行,可进入函数 p 变量 #查看变量值 b 行号 #断 ...
- NOI2.4 2011
描述 已知长度最大为200位的正整数n,请求出2011^n的后四位. 输入 第一行为一个正整数k,代表有k组数据,k<=200接下来的k行, 每行都有一个正整数n,n的位数<=200 输出 ...
- 关于MySQL5.6配置文件my-default.ini不生效问题
一.问题描述 首先,由于工作要求,需使用MySQL5.6版本(绿色版),从解压到修改root密码,一切都很顺利,但是在我要修改mysql的最大连接数的时候,出现问题了,配置不生效.完蛋.还好有万能的百 ...
- ajax--->请求异常 jQuery提示parsererror错误解决办法
ajax请求异常 jQuery提示parsererror错误解决办法 原因:出现这个错误是因为后端返回的数据类型和前端请求中dataType的要求类型不一致导致的. dataType简介:jquery ...