Kubernetes中使用ClusterDNS进行服务发现

在k8s集群中，服务是运行在Pod中的，Pod的发现和副本间负载均衡是我们面临的问题。我们使用Service解决了负载均衡的问题，但是集群环境中，service经常伴随着ip的变动而变动，得益于kubedns插件，使其可以直接通过域名（service name）进行访问。

1.常见使用场景

在常见集群中经常会出现服务之间彼此通过http或者tcp、RPC的形式进行访问，在kubernetes集群中，pod和pod、service之间的网络是互通的，但是service的ip地址是存储在etcd中，如果创建完成之后，一直使用apply，那么ip不会变化，如果不小心执行了kubectl delete -f yaml，那么service的ip将发生变化，如果此ip被很多服务使用，将会带来灾难性的修改，这时我们可以借助kube-dns解决问题。

2.kubernetes网络模型

一个完整的Kubernetes集群应该包含三层网络，首先第一层是mater和node节点之间的网络，这个网络需要在部署kubernetes集群之前配置完成，第二层网络是pod的网络通过kubenet或者cni插件实现，用于pod之间或者内部的通信，集群中的所有pod均处在同一个网络平面空间内，可以直接通信，第三层网络是Service资源的网络，是一个虚拟网络，用于为Kubernetes集群配置IP地址，但此地址并不配置于任何主机或者容器的网络接口之上，而是通过kubeproxy配置为iptables规则，将发往该地址的所有流量调度至后端的pod之上。

Kubernetes网络中常见四种通信方式

1 同一个pod的内部通信；

2 各个pod彼此通信；

3 pod和service的通信；

4 集群外部流向service的通信。

看到上面这些你就不难理解为什么在yaml中存在port，targetPort，nodePort？

containerPort：一个信息性数据，他只是为集群提供一个可以快速了解相关pod可以访问端口的途径，而且显式指定容器端口，无论你是否指定都不影响其他节点上的客户端pod对其进行访问。

port：服务提供端口，用于kubernetes集群内部服务访问。

targetPort：pod目标端口，如果不设置使用默认port端口，port和nodePort的数据通过这个端口进入到Pod内部，Pod里面的containers的端口映射到这个端口，提供服务。

nodePort：外部用户访问端口

3.kubernetes中如何发现服务

通过如下yaml创建两个nginx服务

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
     labels:
      app: nginx
    spec:
      containers:
      - name: nginx
        image: docker.hub.com/ops/openresty:1.15
        ports:
        - containerPort: 80

通过进入服务内部进行访问nginx服务

kubectl exec nginx-deployment-74fd67c98d-26j9r -it /bin/bash

[root@nginx-deployment-74fd67c98d-26j9r /]# curl 10.244.1.49:80
<!DOCTYPE html>
<html>
<head>
<title>Welcome to OpenResty!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to OpenResty!</h1>
<p>If you see this page, the OpenResty web platform is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="https://openresty.org/">openresty.org</a>.<br/>
Commercial support is available at
<a href="https://openresty.com/">openresty.com</a>.</p>

<p><em>Thank you for flying OpenResty.</em></p>
</body>
</html>

看到这里可能有人要说，这简直没法用，每次创建pod ip都要改变，总不能每次手动修改ip地址访问吧？如此访问，我怎么才能做负载均衡？

如何通过service解决问题负载问题

创建如下service，通过selector选择nginx服务

apiVersion: v1
kind: Service
metadata:
  name: nginx-service
  labels:
    app: nginx
spec:
  type: NodePort
  ports:
  - name: http
    port: 80
    targetPort: 80
    nodePort: 30007
  - name: https
    port: 443
    targetPort: 443
    nodePort: 30003
  selector:
    app: nginx

查看服务对应服务ip，并访问服务。

root@k8s-m opt]# kubectl get svc nginx-service
NAME            TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
nginx-service   NodePort   10.99.251.122   <none>        80:30007/TCP,443:30003/TCP   29h
[root@k8s-master opt]#
[root@nginx-deployment-745fd7c98d-2xj9r /]# curl 10.99.251.122:80
<!DOCTYPE html>
<html>
<head>
<title>Welcome to OpenResty!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to OpenResty!</h1>
<p>If you see this page, the OpenResty web platform is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="https://openresty.org/">openresty.org</a>.<br/>
Commercial support is available at
<a href="https://openresty.com/">openresty.com</a>.</p>

<p><em>Thank you for flying OpenResty.</em></p>
</body>
</html>

通过如上service的方式已经实现了负载均衡，但是我们在服务没有创建之前仍然是不知道服务对外提供服务IP是什么？当然我们可以在service的yaml中内置ClusterIP，但是即使如此，还可能会出现ip占用的问题。

kube-dns是如何解决如上问题的？

在创建pod资源时，kubelet会将其所属名称空间中的所有service对象以环境变量的形式注入其中。如下所示：

[root@nginx-deployment-745fd7c98d-2xj9r /]# printenv|grep NGINX
NGINX_SERVICE_PORT_443_TCP=tcp://10.99.251.123:443
NGINX_SERVICE_PORT_80_TCP_PORT=80
NGINX_SERVICE_PORT_443_TCP_PORT=443
NGINX_SERVICE_PORT_80_TCP_PROTO=tcp
NGINX_SERVICE_PORT_443_TCP_PROTO=tcp
NGINX_SERVICE_SERVICE_HOST=10.99.251.123
NGINX_SERVICE_SERVICE_PORT_HTTP=80
NGINX_SERVICE_PORT=tcp://10.99.251.123:80
NGINX_SERVICE_PORT_80_TCP=tcp://10.99.251.123:80
NGINX_SERVICE_SERVICE_PORT_HTTPS=443
NGINX_SERVICE_SERVICE_PORT=80
NGINX_SERVICE_PORT_80_TCP_ADDR=10.99.251.123
NGINX_SERVICE_PORT_443_TCP_ADDR=10.99.251.123

所以我们可以直接通过如下形式进行访问（当然如果存在集群内服务调用的话，我们就可以直接配置成域名的形式）：

[root@nginx-deployment-745fd7c98d-2xj9r /]# curl nginx-service:80
<!DOCTYPE html>
<html>
<head>
<title>Welcome to OpenResty!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to OpenResty!</h1>

域名格式

具体为：<service_name>.<namespace>.svc.<cluster_domain>和<service_name>.<namespace>.<cluster_domain>，当然后面cluster_domain取决于本地/etc/resolv.conf是否配置，如上我的示例就没有使用命名空间也没有配置集群域名，那么我直接service名称就可以直接访问。