概述

有时候我们操作不规范，或者删除的先后顺序有问题，或者某项关键服务没有启动，导致 Kubernetes 经常会出现无法删除 NameSpace 的情况。这种情况下我们应该怎么办？

规范删除流程

其实，很多时候出现这种情况，主要是因为我们的删除操作不规范，典型的有下面几种情况：

  • 删除的先后顺序有问题，如：

    • 先删除了 Traefik 的关键组件，再尝试删除包含 Traefik Ingress 或 EdgeIngress 的 CRD
  • 某项关键服务没有启动，如：
    • 对于安装了 Prometheus Operator + custom adapter 的 Kubernetes 集群，在 Prometheus 的一些关键组件 scale down 的情况下，删除包含这些监控 CRD 或 HPA custom metric 的 NameSpace

...

综上，根源上，大部分情况下 NameSpace 无法删除，都是我们操作有错在先。

为了避免此类错误再犯，推荐搭建删除按照如下流程：

  1. 保证所有基础服务组件都是正常运行的状态（如前面提到的，ingress 组件，监控组件，servicemesh 组件。..)
  2. 检查要删除的 NameSpace 下的所有资源，特别是 CRD, 这里推荐使用 Krew - Kubernetes 的 CLI 插件管理器 安装 get-all 来真正地获取该 NameSpace 下的所有资源，如后面的代码块所示：
  3. 针对其中的一些 CRD 或特殊资源，最好先明确指定删除并确保可以成功删除掉
  4. 最后，再删除该 NameSpace

第 2 步的代码块：（有如此多的 CRD)

❯ kubectl get-all -n cert-manager

NAME                                                                              NAMESPACE     AGE

configmap/cert-manager-webhook                                                    cert-manager  277d

configmap/kube-root-ca.crt                                                        cert-manager  277d

endpoints/cert-manager                                                            cert-manager  277d

endpoints/cert-manager-webhook                                                    cert-manager  277d

endpoints/cert-manager-webhook-dnspod                                             cert-manager  277d

pod/cert-manager-6d6bb4f487-hkwpn                                                 cert-manager  85d

pod/cert-manager-6d6bb4f487-wgtd8                                                 cert-manager  85d

pod/cert-manager-cainjector-7d55bf8f78-5797c                                      cert-manager  277d

pod/cert-manager-webhook-577f77586f-txlcx                                         cert-manager  85d

pod/cert-manager-webhook-577f77586f-xh4st                                         cert-manager  85d

pod/cert-manager-webhook-dnspod-5d5566c7bc-5cj4s                                  cert-manager  211d

secret/cert-manager-cainjector-token-h8cqq                                        cert-manager  277d

secret/cert-manager-token-28knj                                                   cert-manager  277d

secret/cert-manager-webhook-ca                                                    cert-manager  277d

secret/cert-manager-webhook-dnspod-ca                                             cert-manager  277d

secret/cert-manager-webhook-dnspod-letsencrypt                                    cert-manager  277d

secret/cert-manager-webhook-dnspod-secret                                         cert-manager  277d

secret/cert-manager-webhook-dnspod-token-jsjrn                                    cert-manager  277d

secret/cert-manager-webhook-dnspod-webhook-tls                                    cert-manager  277d

secret/cert-manager-webhook-token-qxq44                                           cert-manager  277d

secret/default-token-mkpmt                                                        cert-manager  277d

secret/ewhisper-crt-secret                                                        cert-manager  277d

secret/sh.helm.release.v1.cert-manager-webhook-dnspod.v1                          cert-manager  277d

secret/sh.helm.release.v1.cert-manager.v1                                         cert-manager  277d

serviceaccount/cert-manager                                                       cert-manager  277d

serviceaccount/cert-manager-cainjector                                            cert-manager  277d

serviceaccount/cert-manager-webhook                                               cert-manager  277d

serviceaccount/cert-manager-webhook-dnspod                                        cert-manager  277d

serviceaccount/default                                                            cert-manager  277d

service/cert-manager                                                              cert-manager  277d

service/cert-manager-webhook                                                      cert-manager  277d

service/cert-manager-webhook-dnspod                                               cert-manager  277d

order.acme.cert-manager.io/ewhisper-crt-6v6s4-2449993249                          cert-manager  209d

order.acme.cert-manager.io/ewhisper-crt-89n7g-2449993249                          cert-manager  23d

order.acme.cert-manager.io/ewhisper-crt-8g496-2449993249                          cert-manager  277d

order.acme.cert-manager.io/ewhisper-crt-jj24l-2449993249                          cert-manager  83d

order.acme.cert-manager.io/ewhisper-crt-q8pvw-2449993249                          cert-manager  149d

deployment.apps/cert-manager                                                      cert-manager  277d

deployment.apps/cert-manager-cainjector                                           cert-manager  277d

deployment.apps/cert-manager-webhook                                              cert-manager  277d

deployment.apps/cert-manager-webhook-dnspod                                       cert-manager  277d

replicaset.apps/cert-manager-6d6bb4f487                                           cert-manager  277d

replicaset.apps/cert-manager-cainjector-7d55bf8f78                                cert-manager  277d

replicaset.apps/cert-manager-webhook-577f77586f                                   cert-manager  277d

replicaset.apps/cert-manager-webhook-dnspod-5d5566c7bc                            cert-manager  211d

replicaset.apps/cert-manager-webhook-dnspod-5d78f9bfcb                            cert-manager  217d

replicaset.apps/cert-manager-webhook-dnspod-7c5cd575fc                            cert-manager  277d

app.catalog.cattle.io/cert-manager                                                cert-manager  270d

app.catalog.cattle.io/cert-manager-webhook-dnspod                                 cert-manager  270d

certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-ca-l57hl           cert-manager  277d

certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls-7zwdh  cert-manager  277d

certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls-gs57f  cert-manager  34d

certificaterequest.cert-manager.io/ewhisper-crt-6v6s4                             cert-manager  209d

certificaterequest.cert-manager.io/ewhisper-crt-89n7g                             cert-manager  23d

certificaterequest.cert-manager.io/ewhisper-crt-8g496                             cert-manager  277d

certificaterequest.cert-manager.io/ewhisper-crt-jj24l                             cert-manager  83d

certificaterequest.cert-manager.io/ewhisper-crt-q8pvw                             cert-manager  149d

certificate.cert-manager.io/cert-manager-webhook-dnspod-ca                        cert-manager  277d

certificate.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls               cert-manager  277d

certificate.cert-manager.io/ewhisper-crt                                          cert-manager  277d

issuer.cert-manager.io/cert-manager-webhook-dnspod-ca                             cert-manager  277d

issuer.cert-manager.io/cert-manager-webhook-dnspod-selfsign                       cert-manager  277d

endpointslice.discovery.k8s.io/cert-manager-9lm6j                                 cert-manager  277d

endpointslice.discovery.k8s.io/cert-manager-webhook-dnspod-q7f8n                  cert-manager  277d

endpointslice.discovery.k8s.io/cert-manager-webhook-z6qdd                         cert-manager  277d

rolebinding.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving        cert-manager  277d

role.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving               cert-manager  277d

ingressroute.traefik.containo.us/alertmanager                                     cert-manager  244d

ingressroute.traefik.containo.us/grafana                                          cert-manager  255d

ingressroute.traefik.containo.us/grafana-rancher                                  cert-manager  238d

ingressroute.traefik.containo.us/prometheus                                       cert-manager  244d

ingressroute.traefik.containo.us/rsshub                                           cert-manager  268d

ingressroute.traefik.containo.us/ttrss                                            cert-manager  257d

tlsstore.traefik.containo.us/default                                              cert-manager  268d

试试强制删除

如果 NameSpace 已经处于 terminating 的状态，且久久无法删除，可以试试加上这 2 个参数强制删除：

  • --force
  • --grace-period=0
kubectl delete ns ${NAMESPACE} --force --grace-period=0

强制删除失败？再来试试这种办法

强制删除失败？再来试试这种办法：调用 Kubernetes API 删除

Hard Way 步骤

首先，获取要删除 NameSpace 的 JSON 文件：

NAMESPACE=cert-manager

kubectl get ns ${NAMESPACE} -o json > namespace.json

然后，编辑 namespace.json, 从 finalizers 字段中删除 kubernetes 的值并保存，示例如下：

{

    "apiVersion": "v1",

    "kind": "Namespace",

    "metadata": {

        ...: ...

    },

    "spec": {

        "finalizers": []

    },

    "status": {

        "phase": "Terminating"

    }

}

之后，可以通过 kubectl proxy 设置 APIServer 的临时 IP 和端口

kubectl proxy --port=6880 &

最后，进行 API 调用来强制删除：

curl -k -H "Content-Type: application/json" -X  PUT --data-binary @namespace.json http://127.0.0.1:6880/api/v1/namespaces/${NAMESPACE}/finalize

验证是否已经成功删除：

kubectl get ns ${NAMESPACE}

编排成脚本

Notes:

依赖组件：

  • kubectl
  • jq
  • curl

force-delete-ns.sh

#!/bin/bash

set -ex

PATH=$PATH:.

NAMESPACE=$1    # 读取命令行第一个参数

kill -9  $(ps -ef|grep proxy|grep -v grep |awk '{print $2}')

kubectl proxy --port=6880 &

kubectl get namespace ${NAMESPACE} -o json |jq '.spec = {"finalizers":[]}' > namespace.json

curl -k -H  "Content-Type: application/json"  -X  PUT --data-binary @namespace.json 127.0.0.1:6880/api/v1/namespaces/${NAMESPACE}/finalize

使用方式示例：

bash force-delete-ns.sh cert-manager

总结

经常会碰到 Kubernetes 的 NameSpace 无法删除的情况，这时候应该如何解决？这里提供了 3 种方案：

  1. 尽量不要出现上面这种情况 (额。.. 废话）
  2. 加上 --force flag 强制删除
  3. 调用 namespace 的 finalize API 强制删除

但是，真到了需要强制删除的阶段，2/3 部是无法保证 100% 成功的。

所以第一步才是正道 ...（呆，但是有用）

EOF

本文由博客一文多发平台 OpenWrite 发布！

Kubernetes 的 NameSpace 无法删除应该怎么办？的更多相关文章

  1. 记一次删除k8s namespace无法删除的问题

    在用longhorn工具做k8s存储卷动态预配的时候,需要修改longhorn.yaml的一个默认参数,修改完成需要重新加载longhorn.yaml,结果重新加载出错了,修改的参数没有生效,于是执行 ...

  2. kubernetes进阶（01）kubernetes的namespace

    一.Namespace概念 Namespace是对一组资源和对象的抽象集合,比如可以用来将系统内部的对象划分为不同的项目组或用户组. 常见的pods, services, replication co ...

  3. 用kubernetes部署oa 强制删除pod delete

    1.[root@pserver88 oa]# cat Dockerfile FROM tomcat RUN rm -rf /usr/local/tomcat/webapps/*ADD ROOT.war ...

  4. 处理kubernetes 一些比较难删除的资源

    kubernetes 提供了force 的命令在我们删除资源的时候,但是很多时候还是不可以的 一般删除资源的处理 命令 kubectl delete <resource> <reso ...

  5. kubernetes secret 和 serviceaccount删除

    背景 今天通过配置创建了一个serviceaccounts和secret,后面由于某种原因想再次创建发现已存在一个serviceaccounts和rolebindings.rbac.authoriza ...

  6. kubernetes进阶（03）kubernetes的namespace

    服务发现与负载均衡Kubernetes在设计之初就充分考虑了针对容器的服务发现与负载均衡机制,提供了Service资源,并通过kube-proxy配合cloud provider来适应不同的应用场景. ...

  7. kubernetes容器删除时快速释放ip的方案

    问题的来由 在kubernetes集群的生产中,经常遇到这样的一个问题,就是在应用大规模更新时,大量容器删除而后大量容器创建,创建的容器需要很长时间才能就绪.这其中一个可能的原因,就是大量容器删除释放 ...

  8. 我们为什么会删除不了集群的 Namespace？

    作者 | 声东  阿里云售后技术专家 导读:阿里云售后技术团队的同学,每天都在处理各式各样千奇百怪的线上问题.常见的有网络连接失败.服务器宕机.性能不达标及请求响应慢等.但如果要评选的话,什么问题看起 ...

  9. Openstack+Kubernetes+Docker微服务实践之路--RPC

    重点来了,本文全面阐述一下我们的RPC是怎么实现并如何使用的,跟Kubernetes和Openstack怎么结合.  在选型一文中说到我们选定的RPC框架是Apache Thrift,它的用法是在Ma ...

  10. kubernetes容器编排系统介绍

    版权声明:本文由turboxu原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/152 来源:腾云阁 https://www. ...

随机推荐

  1. 【Azure 应用服务】Azure Function在执行Function的时候，如果失败了，是否可以重试呢？

    问题描述 Azure Function在执行Function的时候,如果失败了,是否可以重试呢? 问题解答 Function app默认是不开启重试的,但是可以修改 host.json 文件来定义重试 ...

  2. 【Azure 应用服务】使用命令行创建 webapp 应用出现命令语法不正确错误

    问题描述 根据Azure App Service 入门文档 "快速入门:在 Linux 上的 Azure 应用服务中创建 Python 应用" 在创建App Service应用时候 ...

  3. STL-priority_queue模拟实现

    #include<deque> //测试用 #include<vector>//测试用 #include"9Date.h"//测试用 #include< ...

  4. [linux 爬坑] 几个linux发行版尝试和令人崩溃的ssr安装体验

    最近电脑上的manjaro好像出了问题,长时间不用就会死机.也懒得追究原因了,正好决定尝试几个发行版.首先尝试安装银河麒麟    这个发行版实际上就是ubuntu,甚至源什么的都是ubuntu的,也不 ...

  5. C++ //string字符串拼接

    1 //string字符串拼接 2 #include <iostream> 3 #include<string> 4 5 using namespace std; 6 7 8 ...

  6. 从零开始搭建Springboot开发环境(Java8+Git+Maven+MySQL+Idea)之一步到位

    说明 所谓万事开头难,对于初学Java和Springboot框架的小伙伴往往会花不少时间在开发环境搭建上面.究其原因其实还是不熟悉,作为在IT界摸爬滚打数年的老司机,对于各种开发环境搭建已经了然于胸, ...

  7. 速存，详细罗列香橙派AIpro外设接口样例大全（附源码）

    本文分享自华为云社区<香橙派AIpro外设接口样例大全(附源码)>,作者:昇腾CANN. Orange Pi AI Pro 开发板是香橙派联合华为精心打造的高性能 AI 开发板,其搭载了昇 ...

  8. 求给定两个排序好的数组中第k大的数

    这个问题比求两个长度相等的排序数组的上中位数难度要高一点,难就难在不是求中位数了,但是我们要学会举一反三,可以尝试通过分析将求第k大的数转化为求中位数.将数组中不可能的数排除,在剩下可能的数中求中位数 ...

  9. AntSK 0.2.1 版本揭秘：动态加载dll，驱动Function Call新境界！

    在.NET的无限宇宙中,动态加载dll似乎一直是操控代码生生不息的魔杖.今天,我将与您探讨如何通过AntSK 0.2.1 版本灵活运用dll,将Function Call的强大功能插拔自如地融入项目之 ...

  10. python面向对象（选课系统）

    一.需求分析(课程与班级合为一体) -管理员视图 -1.注册 -2.登录 -3.创建学校 -4.创建课程(先选择学校) -5.创建讲师 -学员视图 -1.注册 -2.登录功能 -3.选择校区 -4.选 ...