1. pod卡在terminate状态无法删除。一般是lxcfx 卡住 或者 logcounter组件进程读容器数据盘分区导致的

2.  验证一下我们的猜测

cat /sys/fs/fuse/connections/*/waiting 看有不为0且数字连续不变的值，或有D状态的进程，堆栈卡在fuse_waited，  若有则是lxcfs卡住导致的。重启一下lxcfs服务即可恢复

看kubelet日志，journalctl -u kubelet -r

若出现这种日志，则说明是logcounter组件进程还在读写容器数据盘分区导致回收容器时无法删除该分区，fuser查看是什么进程占用了分区

[root@ ~]# fuser -m -v /home/data/kubelet/pods/f27f2acc-6466-11eb-bf87-8030e04127a8/volumes/kubernetes.io~lvm/externalvolume
USER PID ACCESS COMMAND
/home/data/kubelet/pods/f27f2acc-6466-11eb-bf87-8030e04127a8/volumes/kubernetes.io~lvm/externalvolume:
root kernel mount /home/data/kubelet/pods/f27f2acc-6466-11eb-bf87-8030e04127a8/volumes/kubernetes.io~lvm/externalvolume
root 548083 f.... counter

看这个counter

[root@ ~]# ps -elf | grep 548083
4 S root 548083 548080 5 80 0 - 1437502 futex_ Mar31 pts/0 1-01:01:34 counter -p /etc/logengine/ -f config -t json

3.，logengine是日志服务loghouse的组件，以daemonset形式部署在所有节点上，kill后会自动拉起，所以直接kill掉就可以

kill -9 548083 后，容器就能正常删除（还删不掉就重启 一下kubelet）

容器卡在terminate状态无法删除的更多相关文章

  1. 聊聊 Kubernetes Pod or Namespace 卡在 Terminating 状态的场景

    这个话题,想必玩过kubernetes的同学当不陌生,我会分Pod和Namespace分别来谈. 开门见山,为什么Pod会卡在Terminationg状态? 一句话,本质是API Server虽然标记 ...

  2. 【pod无法删除 总是处于terminate状态】强行删除pod

    加参数 --force --grace-period=0,grace-period表示过渡存活期,默认30s,在删除POD之前允许POD慢慢终止其上的容器进程,从而优雅退出,0表示立即终止POD ku ...

  3. Oracle数据文件在open状态被删除的恢复记录

    1.查看当前状态: SQL> select status from v$instance; STATUS------------OPEN SQL> show parameter name; ...

  4. linux 用户管理修改用户信息、密码状态、删除用户、退出登陆、切换用户

    修改用户信息usermoduseradd支持的选项usermod都支持passwd有两个选项-l(在密码串前面加了两个叹号),-u,usermod有两个选项:-L 临时锁定用户(Lock)(在密码串前 ...

  5. STL——容器（Map & multimap）的删除

    Map & multimap 的删除 map.clear();           //删除所有元素 map.erase(pos);      //删除pos迭代器所指的元素,返回下一个元素的 ...

  6. STL——容器（Set & multiset）的删除 erase

    set.clear();             //清除所有元素 set.erase(pos);     //删除pos迭代器所指的元素,返回下一个元素的迭代器. set.erase(beg,end ...

  7. STL——容器（deque）deque 的删除 clear() erase()

    deque.clear(); //移除容器的所有数据 1 #include <iostream> 2 #include <deque> 3 4 using namespace ...

  8. STL—— 容器（vector）元素的删除

    1. clear() 将整个 vector 都删除 使用 vectorname.clear() 可以将整个vector 中的元素全部删除,但是内存不会释放,如下代码: 1 #include <i ...

  9. arts打卡 从排序数组中删除重复项

    Algorithm 从排序数组中删除重复项     给定一个排序数组,你需要在原地删除重复出现的元素,使得每个元素只出现一次,返回移除后数组的新长度. 不要使用额外的数组空间,你必须在原地修改输入数组 ...

  10. 以yarn-client方式提交spark任务，任务一直卡在ACCEPTED状态

    问题背景 spark是以客户端的方式安装的,并没有启动spark的mesos集群,这时候的spark就相当与hive客户端. 以local模型和yarn-cluster方式提交任务,都能正确额执行,但 ...

随机推荐

  1. 电子元器件工厂的金蝶 ERP 与赛意 WMS 系统数据集成平台进行对接

    项目背景 国内某晶振集成电路研发单位,涵盖从产品开发.设计.生产.销售.服务等各个环节.需要全面建成以ERP.WMS.BOM.PLM.DMS.SRM.OA 为核心的企业信息系统,支持研发.生产.营销. ...

  2. JavaWeb项目中web.xml配置文件＜servlet-class＞…＜/servlet-class＞中的路径出现问题以及服务器错误的解决办法

    问题如图 原因: 1.改变了 WEB-INF 文件夹下 lib 文件夹下 servlet-api.jar 的路径2.缺失lib文件夹下的 servlet-api.jar,没有添加到库中 解决办法: 不 ...

  3. [AGC031E] Snuke the Phantom Thief

    Problem Statement A museum exhibits $N$ jewels, Jewel $1, 2, ..., N$. The coordinates of Jewel $i$ a ...

  4. Java并发(十九)----Monitor原理及Synchronized原理

    1.Java 对象头 以 32 位虚拟机为例 普通对象 |--------------------------------------------------------------| |       ...

  5. 牛客小白月赛2 E题 是是非非 （尼姆博弈）

    题目链接:https://www.nowcoder.com/acm/contest/86/E 解题思路:由尼姆博弈我们可以知道,如果所有堆的石子数量异或为0,那么先手必败,否则先手必胜. 由异或我们可 ...

  6. python tkinter 使用(二)

    python tkinter 使用(二) 本篇文章着重讲下tkinter中messagebox的使用. 1:提示框 def showinfo(event): messagebox.showinfo(& ...

  7. 测试member和coupon的远程调用

    测试member和coupon的远程调用 想要获取当前会员领取到的所有优惠券.先去注册中心找优惠券服务, 注册中心调一台优惠券服务器给会员,会员服务器发送请求给这台优 惠券服务器,然后对方响应. Fe ...

  8. 支付宝沙箱支付-zfbsxzf

    title: 支付宝沙箱支付 date: 2022-03-03 13:55:15.281 updated: 2022-03-10 16:00:42.331 url: https://www.yby6. ...

  9. 当创建pvc后，kubernetes组件如何协作

    本文分享自华为云社区<当创建一个pvc后,kubernetes会发生什么?>,作者:可以交个朋友. 一.背景 外部存储接入 Kubernetes 的方式主要有两种:In-Tree 和 Ou ...

  10. .NET技术分享日活动-202107

    2021年7月3日下午,个人组织举办了山东地区的第二次山东.NET技术分享日活动.围绕互联网技术.大数据.机器学习.业务实践等方向进行创新技术的实践分享. 本次技术分享日活动面向了山东地区广大的.NE ...