概述

有时候我们操作不规范，或者删除的先后顺序有问题，或者某项关键服务没有启动，导致 Kubernetes 经常会出现无法删除 NameSpace 的情况。这种情况下我们应该怎么办？

规范删除流程

其实，很多时候出现这种情况，主要是因为我们的删除操作不规范，典型的有下面几种情况：

  • 删除的先后顺序有问题，如：

    • 先删除了 Traefik 的关键组件，再尝试删除包含 Traefik Ingress 或 EdgeIngress 的 CRD
  • 某项关键服务没有启动，如：
    • 对于安装了 Prometheus Operator + custom adapter 的 Kubernetes 集群，在 Prometheus 的一些关键组件 scale down 的情况下，删除包含这些监控 CRD 或 HPA custom metric 的 NameSpace

...

综上，根源上，大部分情况下 NameSpace 无法删除，都是我们操作有错在先。

为了避免此类错误再犯，推荐搭建删除按照如下流程：

  1. 保证所有基础服务组件都是正常运行的状态（如前面提到的，ingress 组件，监控组件，servicemesh 组件。..)
  2. 检查要删除的 NameSpace 下的所有资源，特别是 CRD, 这里推荐使用 Krew - Kubernetes 的 CLI 插件管理器 安装 get-all 来真正地获取该 NameSpace 下的所有资源，如后面的代码块所示：
  3. 针对其中的一些 CRD 或特殊资源，最好先明确指定删除并确保可以成功删除掉
  4. 最后，再删除该 NameSpace

第 2 步的代码块：（有如此多的 CRD)

❯ kubectl get-all -n cert-manager

NAME                                                                              NAMESPACE     AGE

configmap/cert-manager-webhook                                                    cert-manager  277d

configmap/kube-root-ca.crt                                                        cert-manager  277d

endpoints/cert-manager                                                            cert-manager  277d

endpoints/cert-manager-webhook                                                    cert-manager  277d

endpoints/cert-manager-webhook-dnspod                                             cert-manager  277d

pod/cert-manager-6d6bb4f487-hkwpn                                                 cert-manager  85d

pod/cert-manager-6d6bb4f487-wgtd8                                                 cert-manager  85d

pod/cert-manager-cainjector-7d55bf8f78-5797c                                      cert-manager  277d

pod/cert-manager-webhook-577f77586f-txlcx                                         cert-manager  85d

pod/cert-manager-webhook-577f77586f-xh4st                                         cert-manager  85d

pod/cert-manager-webhook-dnspod-5d5566c7bc-5cj4s                                  cert-manager  211d

secret/cert-manager-cainjector-token-h8cqq                                        cert-manager  277d

secret/cert-manager-token-28knj                                                   cert-manager  277d

secret/cert-manager-webhook-ca                                                    cert-manager  277d

secret/cert-manager-webhook-dnspod-ca                                             cert-manager  277d

secret/cert-manager-webhook-dnspod-letsencrypt                                    cert-manager  277d

secret/cert-manager-webhook-dnspod-secret                                         cert-manager  277d

secret/cert-manager-webhook-dnspod-token-jsjrn                                    cert-manager  277d

secret/cert-manager-webhook-dnspod-webhook-tls                                    cert-manager  277d

secret/cert-manager-webhook-token-qxq44                                           cert-manager  277d

secret/default-token-mkpmt                                                        cert-manager  277d

secret/ewhisper-crt-secret                                                        cert-manager  277d

secret/sh.helm.release.v1.cert-manager-webhook-dnspod.v1                          cert-manager  277d

secret/sh.helm.release.v1.cert-manager.v1                                         cert-manager  277d

serviceaccount/cert-manager                                                       cert-manager  277d

serviceaccount/cert-manager-cainjector                                            cert-manager  277d

serviceaccount/cert-manager-webhook                                               cert-manager  277d

serviceaccount/cert-manager-webhook-dnspod                                        cert-manager  277d

serviceaccount/default                                                            cert-manager  277d

service/cert-manager                                                              cert-manager  277d

service/cert-manager-webhook                                                      cert-manager  277d

service/cert-manager-webhook-dnspod                                               cert-manager  277d

order.acme.cert-manager.io/ewhisper-crt-6v6s4-2449993249                          cert-manager  209d

order.acme.cert-manager.io/ewhisper-crt-89n7g-2449993249                          cert-manager  23d

order.acme.cert-manager.io/ewhisper-crt-8g496-2449993249                          cert-manager  277d

order.acme.cert-manager.io/ewhisper-crt-jj24l-2449993249                          cert-manager  83d

order.acme.cert-manager.io/ewhisper-crt-q8pvw-2449993249                          cert-manager  149d

deployment.apps/cert-manager                                                      cert-manager  277d

deployment.apps/cert-manager-cainjector                                           cert-manager  277d

deployment.apps/cert-manager-webhook                                              cert-manager  277d

deployment.apps/cert-manager-webhook-dnspod                                       cert-manager  277d

replicaset.apps/cert-manager-6d6bb4f487                                           cert-manager  277d

replicaset.apps/cert-manager-cainjector-7d55bf8f78                                cert-manager  277d

replicaset.apps/cert-manager-webhook-577f77586f                                   cert-manager  277d

replicaset.apps/cert-manager-webhook-dnspod-5d5566c7bc                            cert-manager  211d

replicaset.apps/cert-manager-webhook-dnspod-5d78f9bfcb                            cert-manager  217d

replicaset.apps/cert-manager-webhook-dnspod-7c5cd575fc                            cert-manager  277d

app.catalog.cattle.io/cert-manager                                                cert-manager  270d

app.catalog.cattle.io/cert-manager-webhook-dnspod                                 cert-manager  270d

certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-ca-l57hl           cert-manager  277d

certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls-7zwdh  cert-manager  277d

certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls-gs57f  cert-manager  34d

certificaterequest.cert-manager.io/ewhisper-crt-6v6s4                             cert-manager  209d

certificaterequest.cert-manager.io/ewhisper-crt-89n7g                             cert-manager  23d

certificaterequest.cert-manager.io/ewhisper-crt-8g496                             cert-manager  277d

certificaterequest.cert-manager.io/ewhisper-crt-jj24l                             cert-manager  83d

certificaterequest.cert-manager.io/ewhisper-crt-q8pvw                             cert-manager  149d

certificate.cert-manager.io/cert-manager-webhook-dnspod-ca                        cert-manager  277d

certificate.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls               cert-manager  277d

certificate.cert-manager.io/ewhisper-crt                                          cert-manager  277d

issuer.cert-manager.io/cert-manager-webhook-dnspod-ca                             cert-manager  277d

issuer.cert-manager.io/cert-manager-webhook-dnspod-selfsign                       cert-manager  277d

endpointslice.discovery.k8s.io/cert-manager-9lm6j                                 cert-manager  277d

endpointslice.discovery.k8s.io/cert-manager-webhook-dnspod-q7f8n                  cert-manager  277d

endpointslice.discovery.k8s.io/cert-manager-webhook-z6qdd                         cert-manager  277d

rolebinding.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving        cert-manager  277d

role.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving               cert-manager  277d

ingressroute.traefik.containo.us/alertmanager                                     cert-manager  244d

ingressroute.traefik.containo.us/grafana                                          cert-manager  255d

ingressroute.traefik.containo.us/grafana-rancher                                  cert-manager  238d

ingressroute.traefik.containo.us/prometheus                                       cert-manager  244d

ingressroute.traefik.containo.us/rsshub                                           cert-manager  268d

ingressroute.traefik.containo.us/ttrss                                            cert-manager  257d

tlsstore.traefik.containo.us/default                                              cert-manager  268d

试试强制删除

如果 NameSpace 已经处于 terminating 的状态，且久久无法删除，可以试试加上这 2 个参数强制删除：

  • --force
  • --grace-period=0
kubectl delete ns ${NAMESPACE} --force --grace-period=0

强制删除失败？再来试试这种办法

强制删除失败？再来试试这种办法：调用 Kubernetes API 删除

Hard Way 步骤

首先，获取要删除 NameSpace 的 JSON 文件：

NAMESPACE=cert-manager

kubectl get ns ${NAMESPACE} -o json > namespace.json

然后，编辑 namespace.json, 从 finalizers 字段中删除 kubernetes 的值并保存，示例如下：

{

    "apiVersion": "v1",

    "kind": "Namespace",

    "metadata": {

        ...: ...

    },

    "spec": {

        "finalizers": []

    },

    "status": {

        "phase": "Terminating"

    }

}

之后，可以通过 kubectl proxy 设置 APIServer 的临时 IP 和端口

kubectl proxy --port=6880 &

最后，进行 API 调用来强制删除：

curl -k -H "Content-Type: application/json" -X  PUT --data-binary @namespace.json http://127.0.0.1:6880/api/v1/namespaces/${NAMESPACE}/finalize

验证是否已经成功删除：

kubectl get ns ${NAMESPACE}

编排成脚本

Notes:

依赖组件：

  • kubectl
  • jq
  • curl

force-delete-ns.sh

#!/bin/bash

set -ex

PATH=$PATH:.

NAMESPACE=$1    # 读取命令行第一个参数

kill -9  $(ps -ef|grep proxy|grep -v grep |awk '{print $2}')

kubectl proxy --port=6880 &

kubectl get namespace ${NAMESPACE} -o json |jq '.spec = {"finalizers":[]}' > namespace.json

curl -k -H  "Content-Type: application/json"  -X  PUT --data-binary @namespace.json 127.0.0.1:6880/api/v1/namespaces/${NAMESPACE}/finalize

使用方式示例：

bash force-delete-ns.sh cert-manager

总结

经常会碰到 Kubernetes 的 NameSpace 无法删除的情况，这时候应该如何解决？这里提供了 3 种方案：

  1. 尽量不要出现上面这种情况 (额。.. 废话）
  2. 加上 --force flag 强制删除
  3. 调用 namespace 的 finalize API 强制删除

但是，真到了需要强制删除的阶段，2/3 部是无法保证 100% 成功的。

所以第一步才是正道 ...（呆，但是有用）

EOF

本文由博客一文多发平台 OpenWrite 发布！

Kubernetes 的 NameSpace 无法删除应该怎么办？的更多相关文章

  1. 记一次删除k8s namespace无法删除的问题

    在用longhorn工具做k8s存储卷动态预配的时候,需要修改longhorn.yaml的一个默认参数,修改完成需要重新加载longhorn.yaml,结果重新加载出错了,修改的参数没有生效,于是执行 ...

  2. kubernetes进阶（01）kubernetes的namespace

    一.Namespace概念 Namespace是对一组资源和对象的抽象集合,比如可以用来将系统内部的对象划分为不同的项目组或用户组. 常见的pods, services, replication co ...

  3. 用kubernetes部署oa 强制删除pod delete

    1.[root@pserver88 oa]# cat Dockerfile FROM tomcat RUN rm -rf /usr/local/tomcat/webapps/*ADD ROOT.war ...

  4. 处理kubernetes 一些比较难删除的资源

    kubernetes 提供了force 的命令在我们删除资源的时候,但是很多时候还是不可以的 一般删除资源的处理 命令 kubectl delete <resource> <reso ...

  5. kubernetes secret 和 serviceaccount删除

    背景 今天通过配置创建了一个serviceaccounts和secret,后面由于某种原因想再次创建发现已存在一个serviceaccounts和rolebindings.rbac.authoriza ...

  6. kubernetes进阶（03）kubernetes的namespace

    服务发现与负载均衡Kubernetes在设计之初就充分考虑了针对容器的服务发现与负载均衡机制,提供了Service资源,并通过kube-proxy配合cloud provider来适应不同的应用场景. ...

  7. kubernetes容器删除时快速释放ip的方案

    问题的来由 在kubernetes集群的生产中,经常遇到这样的一个问题,就是在应用大规模更新时,大量容器删除而后大量容器创建,创建的容器需要很长时间才能就绪.这其中一个可能的原因,就是大量容器删除释放 ...

  8. 我们为什么会删除不了集群的 Namespace？

    作者 | 声东  阿里云售后技术专家 导读:阿里云售后技术团队的同学,每天都在处理各式各样千奇百怪的线上问题.常见的有网络连接失败.服务器宕机.性能不达标及请求响应慢等.但如果要评选的话,什么问题看起 ...

  9. Openstack+Kubernetes+Docker微服务实践之路--RPC

    重点来了,本文全面阐述一下我们的RPC是怎么实现并如何使用的,跟Kubernetes和Openstack怎么结合.  在选型一文中说到我们选定的RPC框架是Apache Thrift,它的用法是在Ma ...

  10. kubernetes容器编排系统介绍

    版权声明:本文由turboxu原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/152 来源:腾云阁 https://www. ...

随机推荐

  1. 【Azure 应用服务】收集App Service 关于Availability Zone, Health check 以及 Traffic Manager的文档，并了解高可用(HA)和灾备(DR)

    问题描述 收集App Service 关于Availability Zone, Health check 以及 Traffic Manager的文档,并了解高可用(HA)和灾备(DR)的具体办法 问题 ...

  2. Python 中read()、 readline() 、readlines()三者之间的区别？

    read()方法用于一次性读取整个文件的内容,并将其作为一个字符串返回. readline()方法用于逐行读取文件的内容.每次调用readline()方法,它会读取文件的下一行,并将其作为一个字符串返 ...

  3. 如何将应用一键部署至多个环境？丨Walrus教程

    在 Walrus 平台上,运维团队在资源定义(Resource Definition)中声明提供的资源类型,通过设置匹配规则,将不同的资源部署模板应用到不同类型的环境.项目等.与此同时,研发人员无需关 ...

  4. [学习笔记]在Linux中使用源码编译的方式安装Nginx

    ​准备工作 准备nginx源码包: http://nginx.org/en/download.html 准备相关的依赖包以及环境: gzip 模块需要 zlib 库  http://www.zlib. ...

  5. Vue mixin 永远不要用！！ 极品垃圾，后期维护就剩骂街了~！！

    为什么 Vue mixin 永远不要用!! 极品垃圾,后期维护就剩骂街了~!! vscode 没有自动跳转 自己维护下看看,重构的时候,还得整个复写,相当于整个软件重写 F!!!

  6. 码上掘金 里面 嵌入自定义组件，可以用做组件demo演示

    查看代码片段 https://code.juejin.cn/pen/7128211910696108066 需求 将写的组件演示出来,默认 码上掘金 不能 嵌入组件. 解决问题 选择自定义模板,所有代 ...

  7. 学习笔记-涛讲F#（中级）

    目录 适配器模式 责任链模式 命令模式 策略模式 工厂模式 单例模式 其它内容 这一系列的视频主要讲了F#设计模式的实现,没有太多其它内容,笔记内容主要是转载Snippets tagged desig ...

  8. ld: symbol(s) not found for architecture x86_64问题解决

    一 写在前面的话: 音频算法仿真过程中,本来是一个跑的好好地程序,突然间在mac下就报错了,出现的错误是: ld: symbol(s) not found for architecture x86_6 ...

  9. day03-模块化编程

    模块化编程 1.基本介绍 传统的非模块化开发有如下的缺点:(1)命名冲突(2)文件依赖 JavaScript代码越来越庞大,JavaScript引入模块化编程,开发者只需要实现核心的业务逻辑,其他都可 ...

  10. dbvisualizer之编辑区中文乱码问题

    !在SQL Commander中,sql语句中如果有中文,显示是'口口口'. 解决办法如下: 在Tools->tool Properties->General->Appearance ...