k8s Ingress 理解和部署

目录

• 前言
• Ingress 与 ingress-controller
• Ingress 部署
  • 1、部署 ingress-controller
  • 2、部署测试 web 服务
  • 3、部署 Ingress
  • 4、检查可用性

前言

在跟随书籍学习 kubernetes 的过程中，吾一直在思考如何从外部访问集群的服务，诚然到了 Ingress 的内容，才理解 kubernetes 对外提供内部服务的方式。

Ingress 与 ingress-controller

Ingress 是 kubernetes 的一种资源对象，该对象允许外部访问 kubernetes 服务， 通过创建规则集合来配置访问权限，这些规则定义了哪些入站连接可以访问哪些服务。

ingress-controller 是实现反向代理和负载均衡的程序，其功能是为了使 ingress 工作，通过解析 ingress 的规则来实现请求转发。集群内可以有多个 ingress-controller。

Ingress 部署

Ingress 部署的方式有多种，一般情况下需要考虑场景才选择部署方式。以下是笔者摘抄的常见部署方式：

Deployment + LoadBalancer

如果要把 ingress 部署在公有云，那用这种方式比较合适。用 Deployment 部署 ingress-controller，创建一个 type 为 LoadBalancer 的 service 关联这组 pod。大部分公有云，都会为 LoadBalancer 的 service 自动创建一个负载均衡器，通常还绑定了公网地址。只要把域名解析指向该地址，就实现了集群服务的对外暴露。

Deployment + NodePort

同样用 deployment 模式部署 ingress-controller，并创建对应的服务，但是 type 为 NodePort。这样，ingress 就会暴露在集群节点 ip 的特定端口上。由于 nodeport 暴露的端口是随机端口，一般会在前面再搭建一套负载均衡器来转发请求。该方式一般用于宿主机是相对固定的环境 ip 地址不变的场景。NodePort 方式暴露 ingress 虽然简单方便，但是 NodePort 多了一层 NAT，在请求量级很大时可能对性能会有一定影响。

DaemonSet + HostNetwork + nodeSelector

用 DaemonSet 结合 nodeselector 来部署 ingress-controller 到特定的 node 上，然后使用 HostNetwork 直接把该 pod 与宿主机 node 的网络打通，直接使用宿主机的 80/433 端口就能访问服务。这时，ingress-controller 所在的 node 机器就很类似传统架构的边缘节点，比如机房入口的 nginx 服务器。该方式整个请求链路最简单，性能相对 NodePort 模式更好。缺点是由于直接利用宿主机节点的网络和端口，一个 node 只能部署一个 ingress-controller pod。比较适合大并发的生产环境使用。

在本次实验中也根据相关教程使用 DaemonSet+HostNetwork+nodeSelector 的方式部署。

1、部署 ingress-controller

为需要部署为边缘节点的 node 打上 labe：

$ kubectl  label   node k8sn91 isIngress="true"

在官方 yaml 配置文件中，相关资源的创建已经包含在内，但是我们需要使用 DaemonSet 的方式部署，就需要修改一小部分内容。下载官方 yaml：

$ wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml

修改 Deployment 部分的配置：

……
apiVersion: apps/v1
# kind: Deployment
# 修改成 DaemonSet
kind: DaemonSet
metadata:
  name: nginx-ingress-controller
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
spec:
#  注释掉 replicas
#  replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/part-of: ingress-nginx
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/part-of: ingress-nginx
      annotations:
        prometheus.io/port: "10254"
        prometheus.io/scrape: "true"
    spec:
      # wait up to five minutes for the drain of connections
      terminationGracePeriodSeconds: 300
      serviceAccountName: nginx-ingress-serviceaccount
      # 选择打上 isIngress 标签的 node
      nodeSelector:
        isIngress: "true"
      # 暴露服务
      hostNetwork: true
      containers:
        - name: nginx-ingress-controller
          image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.26.1
……

部署 nginx-ingress-controller：

$ kubectl apply -f mandatory.yaml

查看：

$ kubectl get ds -n ingress-nginx
NAME                       DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR    AGE
nginx-ingress-controller   1         1         1       1            1           isIngress=true   10m
$ kubectl get pods -n ingress-nginx
NAME                             READY   STATUS    RESTARTS   AGE
nginx-ingress-controller-prqv5   1/1     Running   0          10m

2、部署测试 web 服务

为了展示 ingress 路由转发功能，创建两个 web 服务，然后通过 ingress 编写规则来转发相关请求。

apple.yaml

kind: Pod
apiVersion: v1
metadata:
  name: apple-app
  labels:
    app: apple
spec:
  containers:
    - name: apple-app
      image: hashicorp/http-echo
      args:
        - "-text=apple"

---

kind: Service
apiVersion: v1
metadata:
  name: apple-service
spec:
  selector:
    app: apple
  ports:
    - port: 5678 # Default port for image

banana.yaml

kind: Pod
apiVersion: v1
metadata:
  name: banana-app
  labels:
    app: banana
spec:
  containers:
    - name: banana-app
      image: hashicorp/http-echo
      args:
        - "-text=banana"

---

kind: Service
apiVersion: v1
metadata:
  name: banana-service
spec:
  selector:
    app: banana
  ports:
    - port: 5678 # Default port for image

部署 pod

$ kubectl apply -f apple.yaml
$ kubectl apply -f banana.yaml

查看 service、pod：

$ kubectl get svc,po | grep -E "apple|banana"
service/apple-service          ClusterIP   10.106.133.148   <none>        5678/TCP   10m
service/banana-service         ClusterIP   10.108.239.61    <none>        5678/TCP   10m
pod/apple-app                           1/1     Running             0          10m
pod/banana-app                          1/1     Running             0          10m
$ curl 10.106.133.148:5678
apple
$ curl 10.108.239.61:5678
banana

3、部署 Ingress

编写 yaml 文件，指定路由规则

$ vim ingress-nginx.yaml
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: nginx-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host: nginx.tempdomain.com
    http:
      paths:
      - path: /apple
        backend:
          serviceName: apple-service
          servicePort: 5678
      - path: /banana
        backend:
          serviceName: banana-service
          servicePort: 5678

部署 ingress：

$ kubectl apply -f ingress-nginx.yaml

查看 ingress：

$ kubectl get ingress
NAME            HOSTS               ADDRESS   PORTS   AGE
nginx-ingress   nginx.tempdomain.com             80      10m
$ kubectl describe ingress nginx-ingress
Name:             nginx-ingress
Namespace:        default
Address:
Default backend:  default-http-backend:80 (<none>)
Rules:
  Host               Path  Backends
  ----               ----  --------
  nginx.tempdomain.com
                     /apple    apple-service:5678 (100.93.23.211:5678)
                     /banana   banana-service:5678 (100.107.55.15:5678)

4、检查可用性

$ curl nginx.tempdomain.com/apple
apple
$ curl nginx.tempdomain.com/banana
banana

参考：

https://kubernetes.io/docs/concepts/services-networking/ingress-controllers/

https://matthewpalmer.net/kubernetes-app-developer/articles/kubernetes-ingress-guide-nginx-example.html

https://segmentfault.com/a/1190000019908991#articleHeader5