附017.Kubernetes_v1.17.4 Dashboard部署

一 Kubernetes dashboard简介

1.1 Web UI简介

dashboard是基于Web的Kubernetes用户界面。可以使用dashboard将容器化应用程序部署到Kubernetes集群，对容器化应用程序进行故障排除，以及管理集群资源。可以使用dashboard来概述群集上运行的应用程序，以及创建或修改单个Kubernetes资源（例如部署、任务、守护进程等）。可以使用部署向导扩展部署，启动滚动更新，重新启动Pod或部署新应用程序。

dashboard还提供有关群集中Kubernetes资源状态以及可能发生的任何错误的信息。

1.2 前置准备

本实验依赖于《附016.Kubernetes_v1.17高可用部署》，即已提前部署好Kubernetes。

二 dashboard部署

2.1 设置标签

[root@master01 ~]# kubectl label nodes master01 k8srole=master

[root@master01 ~]# kubectl label nodes master02 k8srole=master

[root@master01 ~]# kubectl label nodes master03 k8srole=master

[root@master01 ~]# kubectl taint nodes --all node-role.kubernetes.io/master- #允许master部署应用

提示：部署完内部应用后可使用kubectl taint node master01 node-role.kubernetes.io/master="":NoSchedule重新设置Master为Master Only 状态。

2.2 创建证书

由于自动生成的证书可能过期，建议手动生成证书，而取消yaml中自动创建secret的部分。

[root@master01 ~]# cd /etc/kubernetes/pki/

[root@master01 pki]# openssl genrsa -out dashboard.key 2048

[root@master01 pki]# openssl req -new -out dashboard.csr -key dashboard.key -subj "/CN=dashboard"

[root@master01 pki]# openssl x509 -req -sha256 -in dashboard.csr -out dashboard.crt -signkey dashboard.key -days 3650

[root@master01 pki]# openssl x509 -noout -text -in ./dashboard.crt #查看证书

2.3 分发证书

[root@master01 pki]# for all_ip in ${ALL_IPS[@]}

do

echo ">>> ${all_ip}"

scp /etc/kubernetes/pki/dashboard.* root@${all_ip}:/etc/kubernetes/pki/

done

2.4 手动创建secret

[root@master01 ~]# ll /etc/kubernetes/pki/dashboard.*

-rw-r--r-- 1 root root 1.2K Dec 3 03:10 /etc/kubernetes/pki/dashboard.crt

-rw-r--r-- 1 root root 976 Dec 3 03:10 /etc/kubernetes/pki/dashboard.csr

-rw-r--r-- 1 root root 1.7K Dec 3 03:09 /etc/kubernetes/pki/dashboard.key

[root@master01 ~]# kubectl create ns kubernetes-dashboard #v2版本dashboard独立ns

[root@master01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file="/etc/kubernetes/pki/dashboard.crt,/etc/kubernetes/pki/dashboard.key" -n kubernetes-dashboard #以新证书创建dashboard的secret

[root@master dashboard]# kubectl get secret kubernetes-dashboard-certs -n kubernetes-dashboard -o yaml #查看新证书

2.5 下载yaml

[root@master01 ~]# mkdir /root/dashboard #建议将yaml存储到本地

[root@master01 ~]# cd /root/dashboard

[root@master01 dashboard]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml

2.6 修改为yaml

[root@master01 dashboard]# vi recommended.yaml

  1 ……					#如下新增管理员及角色授权为cluster-admin
  2 ---
  3
  4
  5 apiVersion: v1
  6 kind: ServiceAccount
  7 metadata:
  8   name: admin-user
  9   namespace: kubernetes-dashboard
 10
 11
 12 ---
 13 ……
 14 kind: Service
 15 apiVersion: v1
 16 metadata:
 17   labels:
 18     k8s-app: kubernetes-dashboard
 19   name: kubernetes-dashboard
 20   namespace: kubernetes-dashboard
 21 spec:
 22   type: NodePort				#新增
 23   ports:
 24     - port: 443
 25       nodePort: 30000				#新增
 26       targetPort: 8443
 27   selector:
 28     k8s-app: kubernetes-dashboard
 29 ---
 30 ……						#如下全部注释
 31 #apiVersion: v1
 32 #kind: Secret
 33 #metadata:
 34 #  labels:
 35 #    k8s-app: kubernetes-dashboard
 36 #  name: kubernetes-dashboard-certs
 37 #  namespace: kubernetes-dashboard
 38 #type: Opaque
 39 ……
 40 ---
 41
 42
 43 apiVersion: rbac.authorization.k8s.io/v1
 44 kind: ClusterRoleBinding
 45 metadata:
 46   name: admin-user
 47 roleRef:
 48   apiGroup: rbac.authorization.k8s.io
 49   kind: ClusterRole
 50   name: cluster-admin
 51 subjects:
 52 - kind: ServiceAccount
 53   name: admin-user
 54   namespace: kubernetes-dashboard
 55
 56
 57 ---
 58 ……
 59   replicas: 3					#适当调整为3副本
 60 ……
 61           imagePullPolicy: IfNotPresent		#修改
 62 ……
 63       nodeSelector:
 64         "beta.kubernetes.io/os": linux
 65         "k8srole": master			#部署在master节点
 66 ……
 67       nodeSelector:
 68         "beta.kubernetes.io/os": linux
 69         "k8srole": master			#部署在master节点
 70 ……						#注释从而实现在master的部署
 71       #tolerations:
 72       #  - key: node-role.kubernetes.io/master
 73       #    effect: NoSchedule
 74 ……
 75 ……
 76 kind: Service
 77 apiVersion: v1
 78 metadata:
 79   labels:
 80     k8s-app: dashboard-metrics-scraper
 81   name: dashboard-metrics-scraper
 82   namespace: kubernetes-dashboard
 83 spec:
 84
 85
 86   type: NodePort				#新增
 87   ports:
 88     - port: 8000
 89       nodePort: 30001				#新增
 90       targetPort: 8000
 91   selector:
 92     k8s-app: dashboard-metrics-scraper
 93 ……
 94    replicas: 3					#适当调整为3副本
 95 ……
 96       nodeSelector:
 97         "beta.kubernetes.io/os": linux
 98         "k8srole": master			#部署在master节点
 99 ……						#注释从而实现在master的部署
100       #tolerations:
101       #  - key: node-role.kubernetes.io/master
102       #    effect: NoSchedule
103 ……

提示：具体完整yaml参考附件。

2.6 正式部署

[root@master01 dashboard]# kubectl apply -f recommended.yaml

[root@master01 ~]# kubectl get deployment kubernetes-dashboard -n kubernetes-dashboard

[root@master01 ~]# kubectl get services -n kubernetes-dashboard

[root@master01 ~]# kubectl get pods -o wide -n kubernetes-dashboard

提示：master01 NodePort 30000/TCP映射到 dashboard pod 443 端口。

三 访问dashboard

3.1 导入证书

将dashboard.crt导入浏览器，并设置为信任，导入操作略。

3.2 创建kubeconfig文件

使用token相对复杂，可将token添加至kubeconfig文件中，使用KubeConfig 文件访问dashboard。

[root@k8smaster01 ~]# ADMIN_SECRET=$(kubectl get secrets -n kubernetes-dashboard | grep admin-user-token- | awk '{print $1}')

[root@k8smaster01 ~]# DASHBOARD_LOGIN_TOKEN=$(kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E '^token' | awk '{print $2}')

[root@k8smaster01 ~]# kubectl config set-cluster kubernetes \

--certificate-authority=/etc/kubernetes/pki/ca.crt \

--embed-certs=true \

--server=172.24.8.254:16443 \

--kubeconfig=dashboard_admin.kubeconfig # 设置集群参数

[root@k8smaster01 ~]# kubectl config set-credentials dashboard_user \

--token=${DASHBOARD_LOGIN_TOKEN} \

--kubeconfig=dashboard_admin.kubeconfig # 设置客户端认证参数，使用上面创建的 Token

[root@k8smaster01 ~]# kubectl config set-context default \

--cluster=kubernetes \

--user=dashboard_user \

--kubeconfig=dashboard_admin.kubeconfig # 设置上下文参数

[root@k8smaster01 ~]# kubectl config use-context default --kubeconfig=dashboard_admin.kubeconfig # 设置默认上下文

#将dashboard.kubeconfig文件导入，以便于浏览器使用该文件登录。

3.3 测试访问dashboard

本实验采用nodeip:nodepord方式访问。

浏览器访问：https://172.24.8.254:30000

使用dashboard_admin.kubeconfig文件访问：

提示：

更多dashboard访问方式及认证可参考《附004.Kubernetes Dashboard简介及使用》。

dashboard登录整个流程可参考：https://www.cnadn.net/post/2613.htm

本试验基于apiserver访问方式+Kubeconfig身份验证进行登录。

通过apiserver形式访问：https://172.24.8.254:16443/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/

附001：导出当前Kubernetes证书

[root@master ~]# grep 'client-certificate-data' ~/.kube/config | head -n 1 | awk '{print $2}' | base64 -d >> kubecfg.crt

[root@master ~]# grep 'client-key-data' ~/.kube/config | head -n 1 | awk '{print $2}' | base64 -d >> kubecfg.key

[root@master ~]# openssl pkcs12 -export -clcerts -inkey kubecfg.key -in kubecfg.crt -out k8s.crt -name "kubernetes-client"

Enter Export Password:[x120952576]

Verifying - Enter Export Password:[x120952576]

使用相应的密码，将k8s.crt导入IE浏览器，导入操作略。

四 Metrics部署

4.1 Metrics

Kubernetes的早期版本依靠Heapster来实现完整的性能数据采集和监控功能，Kubernetes从1.8版本开始，性能数据开始以Metrics API的方式提供标准化接口，并且从1.10版本开始将Heapster替换为Metrics Server。在Kubernetes新的监控体系中，Metrics Server用于提供核心指标（Core Metrics），包括Node、Pod的CPU和内存使用指标。

对其他自定义指标（Custom Metrics）的监控则由Prometheus等组件来完成。

4.2 开启聚合层

有关聚合层知识参考：https://blog.csdn.net/liukuan73/article/details/81352637

kubeadm方式部署默认已开启。

4.3 获取部署文件

[root@master01 ~]# git clone https://github.com/kubernetes-incubator/metrics-server.git

[root@master01 ~]# cd metrics-server/deploy/kubernetes/

[root@master01 kubernetes]# vi metrics-server-deployment.yaml

  1 ……
  2     spec:
  3       hostNetwork: true
  4 ……
  5       containers:
  6       - name: metrics-server
  7         image: gcr.azk8s.cn/google_containers/metrics-server-amd64:v0.3.6	#修改为国内源
  8         imagePullPolicy: IfNotPresent
  9         args:
 10           - --cert-dir=/tmp
 11           - --secure-port=4443
 12           - --kubelet-insecure-tls
 13           - --kubelet-preferred-address-types=InternalIP,Hostname,InternalDNS,ExternalDNS,ExternalIP		#添加如上command
 14 ……

4.4 正式部署

[root@master01 kubernetes]# kubectl apply -f .

[root@master01 kubernetes]# kubectl -n kube-system get pods -l k8s-app=metrics-server

NAME READY STATUS RESTARTS AGE

metrics-server-7f74dc667d-hcttx 1/1 Running 0 2m52s

[root@master01 kubernetes]# kubectl -n kube-system logs -l k8s-app=metrics-server -f #查看日志

4.5 查看资源监控

[root@k8smaster01 ~]# kubectl top nodes

[root@k8smaster01 ~]# kubectl top pods --all-namespaces

提示：Metrics Server提供的数据也可以供HPA控制器使用，以实现基于CPU使用率或内存使用值的Pod自动扩缩容功能。

部署参考：https://linux48.com/container/2019-11-13-metrics-server.html

有关metrics更多部署参考：

https://kubernetes.io/docs/tasks/debug-application-cluster/resource-metrics-pipeline/

开启开启API Aggregation参考：

https://kubernetes.io/docs/concepts/extend-kubernetes/api-extension/apiserver-aggregation/

API Aggregation介绍参考：

https://kubernetes.io/docs/tasks/access-kubernetes-api/configure-aggregation-layer/

五 Prometheus+Grafana

5.1 Prometheus+Grafana监控方案

参考《050.集群管理-Prometheus+Grafana监控方案》