k8s Ingress和ingress控制器

ingress架构图简介

我们知道service的表现形式为IP:PORT，即工作在第四层传输层（TCP/IP层），那么对于不同的URL地址经常对应用不同的后端服务或者虚拟服务器，这些应用层的转发机制仅通过kubernetes的service机制是无法实现的，这种情况我么可以使用ingress策略定义和一个具体的ingress Controller，两者结合实现一个完整的Ingress 负载均衡，这个负载均衡是基于nginx七层反向代理来实现的，ingress工作原理如下图：

外部客户端通过访问负载均衡器，然后调度到service上，然后在调度到IngressController，IngressController通过Ingress规则（域名或虚拟主机）访问到后端pod，而在Ingress规则当中对应的主机是又service分组来设定的，可以看到，这幅图有2种service，最上面的service是用来对外提供服务的，而下面2个service仅仅是用来分pod组的

ingress安装和配置

在github上下载相关yaml文件

下载mandatory.yaml文件

wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.20.0/deploy/mandatory.yaml
wget  https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/provider/baremetal/service-nodeport.yaml      #对外提供服务，如果不需要可以不下载

因为mandatory文件中默认用的是谷歌地址，你懂得，所以替换defaultbackend-amd64和nginx-ingress-controller镜像地址，速度也会更快！

[root@master ingress-nginx]# sed -i 's#k8s.gcr.io/defaultbackend-amd64#registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/defaultbackend-amd64#g' mandatory.yaml
[root@master ingress-nginx]# sed -i 's#quay.io/kubernetes-ingress-controller/nginx-ingress-controller#registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/nginx-ingress-controller#g' mandatory.yaml

如果想手动修改访问的端口可以添加service-nodeport文件中nodePort，如果采取随机分配这一步可以忽略

[root@master ingress-nginx]# cat service-nodeport.yaml
apiVersion: v1
kind: Service
metadata:
  name: ingress-nginx
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
spec:
  type: NodePort
  ports:
    - name: http
      port:
      targetPort:
      protocol: TCP
      nodePort:
    - name: https
      port:
      targetPort:
      protocol: TCP
      nodePort:
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx

执行service-nodeport.yaml和mandatory.yaml两个文件

[root@master ingress-nginx]# kubectl apply -f mandatory.yaml
[root@master ingress-nginx]# kubectl apply -f service-nodeport.yaml

查看pod状态

[root@master ingress-nginx]# kubectl get pods -A
NAMESPACE       NAME                                       READY   STATUS    RESTARTS   AGE
default         nginx-7bb7cd8db5-98wvj                     1/1     Running   0          62m
ingress-nginx   default-http-backend-7fccc47f44-qcfhh      1/1     Running   0          58m
ingress-nginx   nginx-ingress-controller-d786fc9d4-w5nrc   1/1     Running   0          58m
kube-system     coredns-bccdc95cf-8sqzn                    /     Running             4d2h
kube-system     coredns-bccdc95cf-vt8nz                    /     Running             4d2h
kube-system     etcd-master                                /     Running             4d2h
kube-system     kube-apiserver-master                      /     Running             4d2h
kube-system     kube-controller-manager-master             /     Running             4d2h
kube-system     kube-flannel-ds-amd64-c97wh                /     Running             4d1h
kube-system     kube-flannel-ds-amd64-gl6wg                /     Running             4d1h
kube-system     kube-flannel-ds-amd64-npsqf                /     Running             4d1h
kube-system     kube-proxy-gwmx8                           /     Running             4d2h
kube-system     kube-proxy-phqk2                           /     Running             4d1h
kube-system     kube-proxy-qtt4b                           /     Running             4d1h
kube-system     kube-scheduler-master                      /     Running             4d2h

查看svc状态

[root@master ingress-nginx]# kubectl get svc -n ingress-nginx
NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
default-http-backend   ClusterIP   10.105.81.131   <none>        /TCP                       59m
ingress-nginx          NodePort    10.105.53.207   <none>        :/TCP,:/TCP   58m

mandatory部署介绍

.namespace.yaml
创建一个独立的命名空间 ingress-nginx

.configmap.yaml
ConfigMap是存储通用的配置变量的，类似于配置文件，使用户可以将分布式系统中用于不同模块的环境变量统一到一个对象中管理；而它与配置文件的区别在于它是存在集群的“环境”中的，并且支持K8S集群中所有通用的操作调用方式。
从数据角度来看，ConfigMap的类型只是键值组，用于存储被Pod或者其他资源对象（如RC）访问的信息。这与secret的设计理念有异曲同工之妙，主要区别在于ConfigMap通常不用于存储敏感信息，而只存储简单的文本信息。
ConfigMap可以保存环境变量的属性，也可以保存配置文件。
创建pod时，对configmap进行绑定，pod内的应用可以直接引用ConfigMap的配置。相当于configmap为应用/运行环境封装配置。
pod使用ConfigMap，通常用于：设置环境变量的值、设置命令行参数、创建配置文件。

.default-backend.yaml
如果外界访问的域名不存在的话，则默认转发到default-http-backend这个Service，其会直接返回404：

.rbac.yaml
负责Ingress的RBAC授权的控制，其创建了Ingress用到的ServiceAccount、ClusterRole、Role、RoleBinding、ClusterRoleBinding

.with-rbac.yaml
是Ingress的核心，用于创建ingress-controller。ingress-controller的作用是将新加入的Ingress进行转化为Nginx的配置

打开浏览器验证

上面提示的404是因为后端服务还没有配置，这是OK的

创建后端服务

这里我们已nginx为服务为例，创建一个nginx和跟nginx对应的service，这里要注意metadata.name要和后面创建的ingress中的serviceName一致，切记！

[root@master myself]# cat mypod.yaml
apiVersion: v1
kind: Service
metadata:
  name: service-nginx
  namespace: default
spec:
  selector:
    app: mynginx
  ports:
  - name: http
    port:
    targetPort: 

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mydepoy
  namespace: default
spec:
  replicas:
  selector:
    matchLabels:
      app: mynginx
  template:
    metadata:
      labels:
        app: mynginx
    spec:
      containers:
      - name: mycontainer
        image: lizhaoqwe/nginx:v1
        imagePullPolicy: IfNotPresent
        ports:
        - name: nginx
          containerPort: 

有了前端了，也有后端了，那么接下来就该创建ingress规则了

ingress配置

[root@master myself]# cat ingress-nginx.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-mynginx
  namespace: default
  annotations:
    kubernetes.io/ingress.class: "nginx"
spec:
  rules:
  - host: mynginx.fengzi.com
    http:
      paths:
      - path:
        backend:
          serviceName: service-nginx
          servicePort: 

在打开浏览器的主机添加一条hosts记录（mynginx.fengzi.com   192.168.254.13）然后打开浏览器验证

我们可以去查看nginx的配置文件，去查看我们所创建的规则有没有注入到ingress中

#查看ingress-controller中的规则
[root@master myself]# kubectl get pods -n ingress-nginx
NAME                                       READY   STATUS    RESTARTS   AGE
default-http-backend-7fccc47f44-sgj6g      /     Running             140m
nginx-ingress-controller-d786fc9d4-4vb5z   /     Running             140m
[root@master myself]# kubectl exec -it nginx-ingress-controller-d786fc9d4-4vb5z -n ingress-nginx -- /bin/bash

www-data@nginx-ingress-controller-d786fc9d4-4vb5z:/etc/nginx$ cat nginx.conf

结果如下:

我们可以看到nginx配置文件中已经有了我们所定义的反代规则

ok，成功！！！

我们还可以用ingress实现更多的服务，比如tomcat，下面代码是给tomcat服务添加5个pod和1个service分组

[root@master ingress]# cat tomcat.yaml
apiVersion: v1
kind: Service
metadata:
  name: tomcat
  namespace: default
spec:
  selector:
    app: tomcat
  ports:
  - name: http
    port:
    targetPort:
  - name: ajp
    port:
    targetPort:
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: tomcat
  namespace: default
spec:
  replicas:
  selector:
    matchLabels:
      app: tomcat
  template:
    metadata:
      labels:
        app: tomcat
    spec:
      containers:
      - name: tomcat
        image: tomcat:-alpine
        imagePullPolicy: IfNotPresent
        ports:
        - name: http
          containerPort:
        - name: ajp
          containerPort: 

将tomcat服务添加至ingress-nginx中

[root@master ingress]# cat ingress-tomcat.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-mytomcat
  namespace: default
  annotations:
    kubernetes.io/ingress.class: "nginx"
spec:
  rules:
  - host: mytomcat.fengzi.com
    http:
      paths:
      - path:
        backend:
          serviceName: tomcat
          servicePort: 

在浏览器宿主机上添加hosts记录（mytomcat.fengzi.com    192.168.254.13）,然后打开浏览器验证

这样我们就可以实现利用nginx的反向代理，对于web服务针对主机名的不同显示不通的网站

基于ssl协议的访问

创建私有证书及secret

[root@master myself]# openssl genrsa -out tls.key 

#这里CN=后面要写域名
[root@master myself]# openssl req -new -x509 -key tls.key -out tls.crt -subj /C=CN/ST=Beijing/L=Beijing/O=DevOps/CN=mytomcat.fengzi.com

#创建secret
[root@master myself]# kubectl create secret tls mytomcat-ingress-secret --cert=tls.crt --key=tls.key

查看证书

[root@master myself]# kubectl describe secret mytomcat-ingress-secret
Name:         mytomcat-ingress-secret
Namespace:    default
Labels:       <none>
Annotations:  <none>

Type:  kubernetes.io/tls

Data
====
tls.crt:   bytes
tls.key:   bytes

将证书添加到tomcat中，执行ingress-tomcat-tls.yaml文件，ingress-tomcat-tls.yaml文件内容如下

[root@master myself]# cat ingress-tomcat-tls.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-mytomcat-tls
  namespace: default
  annotations:
    kubernetes.io/ingress.class: "nginx"
spec:
  tls:
  - hosts:
    - mytomcat.fengzi.com　　　　#这里写域名
    secretName: mytomcat-ingress-secret   #这里写secret证书名称
  rules:
  - host: mytomcat.fengzi.com
    http:
      paths:
      - path:
        backend:
          serviceName: tomcat
          servicePort: 

验证

至此，全部结束！！！