Kubernetes hostPort 使用

1、概述

在 Kubernetes 中，hostPort 是一种用于将主机上的特定端口映射到运行在 Pod 内部容器的端口的配置选项。通过使用 hostPort，你可以在主机上暴露容器的服务，从而允许外部网络通过主机的 IP 地址和指定的端口访问容器内的应用程序。如：

apiVersion: apps/v1

kind: Deployment

metadata:

  name: tomcat-v1-deployment

spec:

  replicas: 2

  selector:

    matchLabels:

      app: tomcat-v1

  template:

    metadata:

      labels:

        app: tomcat-v1

    spec:

      containers:

        - name: tomcat

          image: tomcat

          ports:

            - containerPort: 8080

              hostPort: 9000

注意 1：hostPort 与 NodePort 的区别是，NodePort 服务默认是把请求转发到随机的一个运行的 Pod 上，而 hostPort 是直接转发到本 Node 上的指定 Pod。

一个 Node 只能启动一个 hostPort，所以最初是用于把守护进程集（DaemonSets）部署到每个 Node (确保一个 Node 只有一个 hostPort )。如下图所示，3个 Node 上部署4个带 hostPort 的 Pod，会有一个不成功。

即便是3个 Node 上部署3个带 hostPort 的 Pod 滚动升级时也会有问题，所以使用 hostPort 的服务在升级的时候一定要保障先停掉旧版本的 Pod 实例再启动新版本的 Pod 实例，服务升级这块内容配置详情可以参见《Kubernetes应用编排与管理 —— Deployment升级策略》这篇博文。

2、hostPort 与 hostNetwork 的异同

讲到 hostPort 就不得不提 hostNetwork。hostNetwork 也是一种用于将主机上的特定端口映射到运行在 Pod 内部容器的端口的配置选项，对于客户端来说这两种访问方式都是一样的，但是它们的原理却大不相同，下面说一下 hostPort 与 hostNetwork 的异同。

相同点：

hostPort 与 hostNetwork 本质上都是终端用户能访问到pod中的业务；
访问的时候，只能用 pod所有宿主机IP + 容器端口或 hostport 端口进行访问。

不同点：

网络地址空间不同。hostport使用CNI分配的地址，hostNetwork使用宿主机网络地址空间；
宿主机端口生成。hostport宿主机不生成端口，hostNetwork宿主机生成端口；
hostport通过 iptables 防火墙的 nat 表进行转发，hostNetwork 直接通过主机端口到容器中；
定义的路径不同。deploy.spec.template.spec.containers.ports.hostPort 与 deploy.spec.template.spec.hostNetwork；
优先级不同，hostNetwork 高于 hostPort。

hostPort 截图：

hostNetwork 截图：

3、hostPort 原理

（1）示例环境

当前示例Kubernetes集群节点信息如下（共五个节点，k8s版本为1.21.14）：

[root@master1 ~]# kubectl get nodes -o wide

NAME      STATUS   ROLES                  AGE   VERSION    INTERNAL-IP    EXTERNAL-IP   OS-IMAGE                                  KERNEL-VERSION                    CONTAINER-RUNTIME

master1   Ready    control-plane,master   19d   v1.21.14   10.20.32.201   <none>        Kylin Linux Advanced Server V10 (Lance)   4.19.90-52.22.v2207.ky10.x86_64   docker://20.10.9

master2   Ready    control-plane,master   19d   v1.21.14   10.20.32.202   <none>        Kylin Linux Advanced Server V10 (Lance)   4.19.90-52.22.v2207.ky10.x86_64   docker://20.10.9

master3   Ready    control-plane,master   19d   v1.21.14   10.20.32.203   <none>        Kylin Linux Advanced Server V10 (Lance)   4.19.90-52.22.v2207.ky10.x86_64   docker://20.10.9

worker1   Ready    worker                 19d   v1.21.14   10.20.32.204   <none>        Kylin Linux Advanced Server V10 (Lance)   4.19.90-52.22.v2207.ky10.x86_64   docker://20.10.9

worker2   Ready    worker                 19d   v1.21.14   10.20.32.205   <none>        Kylin Linux Advanced Server V10 (Lance)   4.19.90-52.22.v2207.ky10.x86_64   docker://20.10.9

当前集群kube-proxy模式为ipvs：

[root@master1 ~]# kubectl get configmaps -n=kube-system kube-proxy -o yaml|grep mode

    mode: ipvs

（2）示例

启动一个 Pod 示例，其是使用 Go 语言来创建一个简单的 HTTP 服务器，使用 hostPort 将主机上的 80 端口映射到运行在 Pod 内部的容器端口上，其调度到 woker1 （10.20.32.204）节点上。

客户端通过主机 ip:hostPort 访问服务能够正常响应。

（3）原理解析

3.1）节点外客户端访问当前节点容器

现在连接到 worker1 机器，由于当前集群 kube-proxy 模式选用的是 ipvs，所以当外部客户端的访问当前节点的容器时，流量包通常会先后经过以下链：

PREROUTING 链（iptables）：外部流量进入主机后，首先经过 PREROUTING 链（位于 nat 表），这是网络地址转换（NAT）处理的第一个步骤。你可以在 PREROUTING 链中创建规则，以便将流量导入其他自定义的 iptables 链或 ipvs 转发路径。
IPVS 转发路径：如果你使用了 ipvs 来进行负载均衡，外部流量可能会直接进入 ipvs 的负载均衡路径。这是流量被转发到正确的后端 Pod 的地方，绕过了 iptables 的后续处理。
FORWARD 链（iptables）：如果流量需要在主机内部进行转发，它会进入 FORWARD 链（位于 filter 表），在这里可以进行进一步的处理，例如网络策略、防火墙规则等。
POSTROUTING 链（iptables）：流量最终经过 POSTROUTING 链（位于 nat 表），这是 NAT 处理的最后一步。你可以在这里进行出站流量的地址转换等处理。

总结起来，流量通常会按照 PREROUTING -> IPVS -> FORWARD -> POSTROUTING 的顺序进行处理。但是，实际流量的经过路径可能会受到你的配置和网络堆栈的影响，所以在进行流量管理和路由时，请务必仔细考虑你的需求和设置。

3.1.1）分析 PREROUTING 链规则

外部流量进来后首先经过PREROUTING 链，通过规则匹配只要是访问当前节点的80端口，都会进行dnat转换，转换成 PodIP:Pod端口。

3.1.2）分析 IPVS 规则

执行 ipvsadm -L -n 命令查看当前节点 IPVS 规则，在规则中没有查找到 10.20.32.204:80 匹配项。

3.1.3）分析 FORWARD 链规则规则

无 CNI-HOSTPORT 相关规则。

3.1.4）分析 POSTROUTING 链规则

CNI-HOSTPORT_MASQ规则在最前面，并且无需源地址转换。

3.1.5) 抓包验证

进入示例容器网络命令空间：

[root@worker1 ~]# docker ps|grep http-request-printer

267f462be8b6   25585bdfb0f7                                                  "/usr/local/bin/pilo…"   About an hour ago   Up About an hour             k8s_istio-proxy_http-request-printer-v1-856959f7d9-kxx6g_tracing_fa8a0a82-e233-4757-ba28-f16eb2d311f4_0

e60564d42fc6   6246a84777e8                                                  "./http_request_prin…"   About an hour ago   Up About an hour             k8s_container-rr19ea_http-request-printer-v1-856959f7d9-kxx6g_tracing_fa8a0a82-e233-4757-ba28-f16eb2d311f4_0

432a811e77e1   10.20.32.201:80/cloudbases/pause:3.4.1                        "/pause"                 About an hour ago   Up About an hour             k8s_POD_http-request-printer-v1-856959f7d9-kxx6g_tracing_fa8a0a82-e233-4757-ba28-f16eb2d311f4_0

[root@worker1 ~]#  nsenter -n -t 308222

nsenter: cannot open /proc/308222/ns/net: No such file or directory

[root@worker1 ~]# docker ps|grep http-request-printer

267f462be8b6   25585bdfb0f7                                                  "/usr/local/bin/pilo…"   About an hour ago   Up About an hour             k8s_istio-proxy_http-request-printer-v1-856959f7d9-kxx6g_tracing_fa8a0a82-e233-4757-ba28-f16eb2d311f4_0

e60564d42fc6   6246a84777e8                                                  "./http_request_prin…"   About an hour ago   Up About an hour             k8s_container-rr19ea_http-request-printer-v1-856959f7d9-kxx6g_tracing_fa8a0a82-e233-4757-ba28-f16eb2d311f4_0

432a811e77e1   10.20.32.201:80/cloudbases/pause:3.4.1                        "/pause"                 About an hour ago   Up About an hour             k8s_POD_http-request-printer-v1-856959f7d9-kxx6g_tracing_fa8a0a82-e233-4757-ba28-f16eb2d311f4_0

[root@worker1 ~]# docker inspect --format "{{.State.Pid}}" 267f462be8b6

145003

[root@worker1 ~]#  nsenter -n -t 145003

[root@worker1 ~]# ifconfig

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450

        inet 10.233.1.133  netmask 255.255.255.0  broadcast 10.233.1.255

        ether 2e:2c:82:08:eb:8e  txqueuelen 0  (Ethernet)

        RX packets 15372  bytes 9093248 (8.6 MiB)

        RX errors 0  dropped 0  overruns 0  frame 0

        TX packets 14493  bytes 23701690 (22.6 MiB)

        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536

        inet 127.0.0.1  netmask 255.0.0.0

        loop  txqueuelen 1000  (Local Loopback)

        RX packets 8483  bytes 37018407 (35.3 MiB)

        RX errors 0  dropped 0  overruns 0  frame 0

        TX packets 8483  bytes 37018407 (35.3 MiB)

        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@worker1 ~]#

抓包来确定进入容器中的包没有进行源地址转换（抓包时客户端 10.20.32.201 通过 curl http://10.20.32.204:80 命令访问此服务）。

[root@worker1 ~]# tcpdump -i eth0 host 10.233.1.133 and dst port 80 -w svc_host_port.pcap

dropped privs to tcpdump

tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes

^C6 packets captured

6 packets received by filter

0 packets dropped by kernel

将抓的包下载到本地通过并使用 wireshark 软件进行分析，可以看到当节点外客户端通过 hostPort 访问容器时，进入容器中的包没有进行源地址转换。

3.2）节点上客户端访问当前节点容器

现在连接到 worker1 机器，由于当前集群 kube-proxy 模式选用的是 ipvs，所以当当前节点客户端的访问当前节点的容器时，流量包通常会先后经过以下链：

OUTPUT -> IPVS  -> POSTROUTING

3.2.1）分析 OUTPUT 链规则

当前节点流量先经过OUTPUT 链，通过规则匹配只要是访问当前节点的80端口，都会进行dnat转换，转换成 PodIP:Pod端口，除了源地址是PodIp或127.0.0.1时会对数据包打标签，其他规则和3.1.1中类似，这里不再赘余。

3.2.2）分析 IPVS 规则

执行 ipvsadm -L -n 命令查看当前节点 IPVS 规则，在规则中没有查找到 10.20.32.204:80 匹配项。

3.2.3）分析 POSTROUTING 链规则

CNI-HOSTPORT_MASQ规则在最前面，如果源地址是PodIp或者127.0.0.1需要源地址转换。

注意 1：没太想明白Pod是互通的，为什么源PodIP还需要进行源地址转换。

3.2.4) 路由匹配将流量发送到 Pod 里面。

4、总结

在 Kubernetes 中，hostPort 是一种用于将主机上的特定端口映射到运行在 Pod 内部容器的端口的配置选项。通过使用 hostPort，你可以在主机上暴露容器的服务，从而允许外部网络通过主机的 IP 地址和指定的端口访问容器内的应用程序。

一个 Node 只能启动一个 hostPort，所以最初是用于把守护进程集（DaemonSets）部署到每个 Node (确保一个 Node 只有一个 hostPort )，或者部署固定在特定节点的应用程序（比如 Nginx Ingress Controller 通常以高可用形式部署在固定三个节点上面）。

按照官方文档说的，除非绝对必要，否则不要为 Pod 指定 hostPort。将 Pod 绑定到 hostPort 时，它会限制 Pod 可以调度的位置数，因为每个 <hostIP, hostPort, protocol> 组合必须是唯一的。如果您没有明确指定 hostIP 和 protocol，Kubernetes 将使用 0.0.0.0 作为默认 hostIP 和 TCP 作为默认 protocol，请在使用 hostPort 之前考虑使用 NodePort 服务。

参考：https://knowledge.zhaoweiguo.com/build/html/cloudnative/k8s/yamls/option_hostport

参考：hostPort 与 hostNetwork 异同