k8s的内部服务通信

首先看看 k8s 集群中内部各个服务互相访问的方法

Cluster IP

Kubernetes以Pod作为应用部署的最小单位。Kubernetes会根据Pod的声明对其进行调度，包括创建、销毁、迁移、水平伸缩等，因此Pod的IP地址不是固定的，不方便直接采用Pod IP对服务进行访问。

为解决该问题，Kubernetes提供了Service资源，Service对提供同一个服务的多个Pod进行聚合。一个Service提供一个虚拟的Cluster IP，后端对应一个或者多个提供服务的Pod。在集群中访问该Service时，采用Cluster IP即可，Kube-proxy负责将发送到Cluster IP的请求转发到后端的Pod上。

Kube-proxy是一个运行在每个节点上的go应用程序，支持三种工作模式：

userspace 模式

该模式下Kube-proxy会为每一个Service创建一个监听端口。发向Cluster IP的请求被Iptables规则重定向到Kube-proxy监听的端口上，Kube-proxy根据LB算法选择一个提供服务的Pod并和其建立链接，以将请求转发到Pod上。该模式下，Kube-proxy充当了一个四层Load balancer的角色。由于Kube-proxy运行在userspace中，在进行转发处理时会增加两次内核和用户空间之间的数据拷贝，效率较另外两种模式低一些；好处是当后端的Pod不可用时，Kube-proxy可以重试其他Pod。

iptables 模式

为了避免增加内核和用户空间的数据拷贝操作，提高转发效率，Kube-proxy提供了iptables模式。在该模式下，Kube-proxy为service后端的每个Pod创建对应的iptables规则，直接将发向Cluster IP的请求重定向到一个Pod IP。该模式下Kube-proxy不承担四层代理的角色，只负责创建iptables规则。该模式的优点是较userspace模式效率更高，但不能提供灵活的LB策略，当后端Pod不可用时也无法进行重试。

ipvs 模式

该模式和iptables类似，Kube-proxy监控Pod的变化并创建相应的ipvs rules。ipvs也是在kernel模式下通过netfilter实现的，但采用了hash table来存储规则，因此在规则较多的情况下，Ipvs相对iptables转发效率更高。除此以外，ipvs支持更多的LB算法。如果要设置Kube-proxy为ipvs模式，必须在操作系统中安装IPVS内核模块。

现在有两台服务器：

　　master: 10.0.20.4

　　node1: 10.0.20.11

在 iptables 模式下看看 kube-dns 究竟是怎么利用 iptables 来进行解析ip的

[root@master ~]# kubectl get svc -n kube-system -o wide

NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE   SELECTOR

kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP,9153/TCP   2d    k8s-app=kube-dns

查看 kube-system 命名空间中所有的 pod 名字

[root@master ~]# kubectl get pods -n kube-system -o wide

NAME                             READY   STATUS    RESTARTS   AGE   IP           NODE     NOMINATED NODE   READINESS GATES

coredns-66bff467f8-4lw92         1/1     Running   0          2d    10.32.0.3    master   <none>           <none>

coredns-66bff467f8-dt56k         1/1     Running   0          2d    10.32.0.4    master   <none>           <none>

etcd-master                      1/1     Running   0          2d    10.0.20.4    master   <none>           <none>

kube-apiserver-master            1/1     Running   0          2d    10.0.20.4    master   <none>           <none>

kube-controller-manager-master   1/1     Running   0          2d    10.0.20.4    master   <none>           <none>

kube-proxy-kqc5s                 1/1     Running   0          2d    10.0.20.4    master   <none>           <none>

kube-proxy-x8r85                 1/1     Running   0          47h   10.0.20.11   node1    <none>           <none>

kube-scheduler-master            1/1     Running   0          2d    10.0.20.4    master   <none>           <none>

weave-net-ftqmw                  2/2     Running   0          2d    10.0.20.4    master   <none>           <none>

weave-net-wlkkf                  2/2     Running   0          47h   10.0.20.11   node1    <none>           <none>

上面可以看到 kube-dns 是一个 service，背后的 pod 分别是 coredns-66bff467f8-4lw92 和 coredns-66bff467f8-dt56k

所以

service cluster-ip：10.96.0.10

pod ip：10.32.0.3 和 10.32.0.4

其中 10.96.0.10 作为集群ip，所有node上都可以进行访问，那么我们去 node1 上进行查看相关的 iptables 是怎样的

[root@master ~]# iptables-save

......

# 对于 kube-dns 的 service 的iptables

# tcp端口 53 转发到 KUBE-SVC-ERIFXISQEP7F7OF4 规则链

# tcp端口 9153 转发到 KUBE-SVC-JD5MR3NA4I4DYORP 规则链

# udp端口 53 转发到 KUBE-SVC-TCOU7JCQXEZGVUNU 规则链

-A KUBE-SERVICES -d 10.96.0.10/32 -p tcp -m comment --comment "kube-system/kube-dns:dns-tcp cluster IP" -m tcp --dport 53 -j KUBE-SVC-ERIFXISQEP7F7OF4

-A KUBE-SERVICES -d 10.96.0.10/32 -p tcp -m comment --comment "kube-system/kube-dns:metrics cluster IP" -m tcp --dport 9153 -j KUBE-SVC-JD5MR3NA4I4DYORP

-A KUBE-SERVICES -d 10.96.0.10/32 -p udp -m comment --comment "kube-system/kube-dns:dns cluster IP" -m udp --dport 53 -j KUBE-SVC-TCOU7JCQXEZGVUNU

# 以tcp端口53查看 KUBE-SVC-ERIFXISQEP7F7OF4 规则链

# 将从规则链 KUBE-SVC-ERIFXISQEP7F7OF4 上过来的流量进行50%的分发到 KUBE-SEP-S4MK5EVI7CLHCCS6

-A KUBE-SVC-ERIFXISQEP7F7OF4 -m comment --comment "kube-system/kube-dns:dns-tcp" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-S4MK5EVI7CLHCCS6

# 其他的流量分发到 KUBE-SEP-ZT5TVM6PMFDFQAMO

-A KUBE-SVC-ERIFXISQEP7F7OF4 -m comment --comment "kube-system/kube-dns:dns-tcp" -j KUBE-SEP-ZT5TVM6PMFDFQAMO

# 查看 KUBE-SEP-S4MK5EVI7CLHCCS6 规则链

# 将流量重定向到 Pod 10.32.0.3:53

-A KUBE-SEP-S4MK5EVI7CLHCCS6 -p tcp -m comment --comment "kube-system/kube-dns:dns-tcp" -m tcp -j DNAT --to-destination 10.32.0.3:53

Kube-proxy并不会直接接收该主机端口进入的流量，而是会创建相应的Iptables规则，并通过Iptables将从该端口收到的流量直接转发到后端的Pod中。