kubernetes架构及deployment应用（4）

　　Kubernetes Cluster 由 Master 和 Node 组成，节点上运行着若干 Kubernetes 服务。

一、master节点

　　Master 是 Kubernetes Cluster 的大脑，运行着如下 Daemon 服务：kube-apiserver、kube-scheduler、kube-controller-manager、etcd 和 Pod 网络（例如 flannel、calico）。

1、API Server（kube-apiserver）

　　API Server 提供 HTTP/HTTPS RESTful API，即 Kubernetes API。API Server 是 Kubernetes Cluster 的前端接口，各种客户端工具（CLI 或 UI）以及 Kubernetes 其他组件可以通过它管理 Cluster 的各种资源。

2、Scheduler（kube-scheduler）

　　Scheduler 负责决定将 Pod 放在哪个 Node 上运行。Scheduler 在调度时会充分考虑 Cluster 的拓扑结构，当前各个节点的负载，以及应用对高可用、性能、数据亲和性的需求。

3、Controller Manager（kube-controller-manager）

　　Controller Manager 负责管理 Cluster 各种资源，保证资源处于预期的状态。Controller Manager 由多种 controller 组成，包括 replication controller、endpoints controller、namespace controller、serviceaccounts controller 等。

　　不同的 controller 管理不同的资源。例如 replication controller 管理 Deployment、StatefulSet、DaemonSet 的生命周期，namespace controller 管理 Namespace 资源。

4、etcd

　　etcd 负责保存 Kubernetes Cluster 的配置信息和各种资源的状态信息。当数据发生变化时，etcd 会快速地通知 Kubernetes 相关组件。

5、Pod 网络

　　Pod 要能够相互通信，Kubernetes Cluster 必须部署 Pod 网络，flannel 是其中一个可选方案。

二、node节点

　　Node 是 Pod 运行的地方，Kubernetes 支持 Docker、rkt 等容器 Runtime。 Node上运行的 Kubernetes 组件有 kubelet、kube-proxy 和 Pod 网络（例如 flannel、calico）。

1、kubelet

　　kubelet 是 Node 的 agent，当 Scheduler 确定在某个 Node 上运行 Pod 后，会将 Pod 的具体配置信息（image、volume 等）发送给该节点的 kubelet，kubelet 根据这些信息创建和运行容器，并向 Master 报告运行状态。

2、kube-proxy

　　service 在逻辑上代表了后端的多个 Pod，外界通过 service 访问 Pod。service 接收到的请求是如何转发到 Pod 的呢？这就是 kube-proxy 要完成的工作。

　　每个 Node 都会运行 kube-proxy 服务，它负责将访问 service 的 TCP/UPD 数据流转发到后端的容器。如果有多个副本，kube-proxy 会实现负载均衡。

3、Pod 网络

　　Pod 要能够相互通信，Kubernetes Cluster 必须部署 Pod 网络，flannel 是其中一个可选方案。

完整的架构图

　　问题：为什么 k8s-master 上也有 kubelet 和 kube-proxy 呢？

　　这是因为 Master 上也可以运行应用，即 Master 同时也是一个 Node。

　　几乎所有的 Kubernetes 组件本身也运行在 Pod 里，执行如下命令：

[root@ren7 ~]# kubectl get pod --all-namespaces -o wide
NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE   IP              NODE           NOMINATED NODE   READINESS GATES
kube-system   calico-kube-controllers-7dd985b95c-s8q64   1/1     Running   1          43h   192.168.11.6    192.168.11.6   <none>           <none>
kube-system   calico-node-fwrnb                          2/2     Running   6          43h   192.168.11.7    192.168.11.7   <none>           <none>
kube-system   calico-node-tpbgh                          2/2     Running   2          43h   192.168.11.6    192.168.11.6   <none>           <none>
kube-system   calico-node-z7wxb                          2/2     Running   2          43h   192.168.11.5    192.168.11.5   <none>           <none>
kube-system   coredns-64d5b756bc-bcmqd                   1/1     Running   1          43h   172.20.33.69    192.168.11.6   <none>           <none>
kube-system   coredns-64d5b756bc-bmj2v                   1/1     Running   2          43h   172.20.72.136   192.168.11.5   <none>           <none>
kube-system   heapster-7f48ff4cd9-6zmqr                  1/1     Running   1          22h   172.20.33.71    192.168.11.6   <none>           <none>
kube-system   kubernetes-dashboard-6f75588d94-g6vcr      1/1     Running   1          43h   172.20.72.137   192.168.11.5   <none>           <none>
kube-system   monitoring-grafana-6c76875cb-8zjrv         1/1     Running   1          22h   172.20.33.70    192.168.11.6   <none>           <none>
kube-system   monitoring-influxdb-66dbc76bf9-9lsqk       1/1     Running   1          22h   172.20.72.135   192.168.11.5   <none>           <none>

　　Kubernetes 的系统组件都被放到kube-system namespace 中。这里有一个kube-dns 组件，它为 Cluster 提供 DNS 服务。kube-dns是在执行kubeadm init 时作为附加组件安装的。

　　kubelet 是唯一没有以容器形式运行的 Kubernetes 组件，它在系统中通过 Systemd 运行。

[root@ren7 ~]# systemctl status kubelet
● kubelet.service - Kubernetes Kubelet
   Loaded: loaded (/etc/systemd/system/kubelet.service; enabled; vendor preset: disabled)
   Active: active (running) since 五 2019-10-25 12:01:42 CST; 3h 4min ago

三、通过例子理解kubernetes架构

　　部署httpd应用

[root@ren7 ~]# docker pull reg.yunwei.com/learn/httpd:latest
latest: Pulling from learn/httpd
8d691f585fa8: Pull complete
8eb779d8bd44: Pull complete
574add29ec5c: Pull complete
9ccffbf4a714: Pull complete
166e14b82905: Pull complete
Digest: sha256:64d607e1a0d145d90e4bf811491c3b51c04a55d393e307c0ab0fb8e26c8b098c
Status: Downloaded newer image for reg.yunwei.com/learn/httpd:latest
[root@ren7 ~]# kubectl run httpd-app --image=reg.yunwei.com/learn/httpd:latest --replicas=2
kubectl run --generator=deployment/apps.v1 is DEPRECATED and will be removed in a future version. Use kubectl run --generator=run-pod/v1 or kubectl create instead.
deployment.apps/httpd-app created
[root@ren7 ~]# kubectl get deployment
NAME        READY   UP-TO-DATE   AVAILABLE   AGE
httpd-app   2/2     2            2           31s
[root@ren7 ~]# kubectl get pod -n default -o wide
NAME                         READY   STATUS    RESTARTS   AGE   IP              NODE           NOMINATED NODE   READINESS GATES
httpd-app-5658cff777-2shc7   1/1     Running   0          57s   172.20.72.138   192.168.11.5   <none>           <none>
httpd-app-5658cff777-mfgtn   1/1     Running   0          57s   172.20.33.72    192.168.11.6   <none>           <none>

　　Kubernetes 部署了 deployment httpd-app，有两个副本 Pod，分别运行在k8s-node2 和 k8s-node3上。

　　整个部署过程如下：

　　① kubectl 发送部署请求到 API Server。

　　② API Server 通知 Controller Manager 创建一个 deployment 资源。

　　③ Scheduler 执行调度任务，将两个副本 Pod 分发到 k8s-node1 和 k8s-node2。

　　④ k8s-node1 和 k8s-node2 上的 kubectl 在各自的节点上创建并运行 Pod。

补充两点：

　　（1）应用的配置和当前状态信息保存在 etcd 中，执行 kubectl get pod 时 API Server 会从 etcd 中读取这些数据。

　　（2）flannel（calico）会为每个 Pod 都分配 IP。因为没有创建 service，目前 kube-proxy 还没参与进来。

四、用deployment运行应用

　　Kubernetes 作为容器编排引擎，最重要也是最基本的功能当然是运行容器化应用。

　　我们知道 Kubernetes 通过各种 Controller 来管理 Pod 的生命周期。为了满足不同业务场景，Kubernetes 开发了 Deployment、ReplicaSet、DaemonSet、StatefuleSet、Job 等多种 Controller。首先学习最常用的 Deployment。

（1）上面我们运行了一个http-app，下面详细分析 Kubernetes 都做了些什么工作。

[root@ren7 ~]# kubectl get deployment -n default -o wide
NAME        READY   UP-TO-DATE   AVAILABLE   AGE   CONTAINERS   IMAGES                              SELECTOR
httpd-app   2/2     2            2           13m   httpd-app    reg.yunwei.com/learn/httpd:latest   run=httpd-app

　　我们还可以用 kubectl describe deployment httpd-app了解更详细的信息。

[root@ren7 ~]# kubectl describe deployment httpd-app
Name:                   httpd-app
Namespace:              default
CreationTimestamp:      Fri, 25 Oct 2019 15:15:30 +0800
Labels:                 run=httpd-app
Annotations:            deployment.kubernetes.io/revision: 1
Selector:               run=httpd-app
Replicas:               2 desired | 2 updated | 2 total | 2 available | 0 unavailable
StrategyType:           RollingUpdate
MinReadySeconds:        0
RollingUpdateStrategy:  25% max unavailable, 25% max surge
Pod Template:
  Labels:  run=httpd-app
  Containers:
   httpd-app:
    Image:        reg.yunwei.com/learn/httpd:latest
    Port:         <none>
    Host Port:    <none>
    Environment:  <none>
    Mounts:       <none>
  Volumes:        <none>
Conditions:
  Type           Status  Reason
  ----           ------  ------
  Available      True    MinimumReplicasAvailable
  Progressing    True    NewReplicaSetAvailable
OldReplicaSets:  <none>
NewReplicaSet:   httpd-app-5658cff777 (2/2 replicas created)
Events:
  Type    Reason             Age   From                   Message
  ----    ------             ----  ----                   -------
  Normal  ScalingReplicaSet  14m   deployment-controller  Scaled up replica set httpd-app-5658cff777 to 2

　　大部分内容都是自解释的，我们重点看最下面部分。这里告诉我们创建了一个 ReplicaSet httpd-app-5658cff777，Events 是 Deployment 的日志，记录了 ReplicaSet 的启动过程。

（2）通过上面的分析，也验证了 Deployment 通过 ReplicaSet 来管理 Pod 的事实。接着我们将注意力切换到 httpd-app-5658cff777，执行 kubectl describe replicaset：

[root@ren7 ~]# kubectl get replicaset
NAME                   DESIRED   CURRENT   READY   AGE
httpd-app-5658cff777   2         2         2       19m

　　两个副本已经就绪，用 kubectl describe replicaset 查看详细信息：

[root@ren7 ~]# kubectl describe replicaset
Name:           httpd-app-5658cff777
Namespace:      default
Selector:       pod-template-hash=5658cff777,run=httpd-app
Labels:         pod-template-hash=5658cff777
                run=httpd-app
Annotations:    deployment.kubernetes.io/desired-replicas: 2
                deployment.kubernetes.io/max-replicas: 3
                deployment.kubernetes.io/revision: 1
Controlled By:  Deployment/httpd-app
Replicas:       2 current / 2 desired
Pods Status:    2 Running / 0 Waiting / 0 Succeeded / 0 Failed
Pod Template:
  Labels:  pod-template-hash=5658cff777
           run=httpd-app
  Containers:
   httpd-app:
    Image:        reg.yunwei.com/learn/httpd:latest
    Port:         <none>
    Host Port:    <none>
    Environment:  <none>
    Mounts:       <none>
  Volumes:        <none>
Events:
  Type    Reason            Age   From                   Message
  ----    ------            ----  ----                   -------
  Normal  SuccessfulCreate  17m   replicaset-controller  Created pod: httpd-app-5658cff777-2shc7
  Normal  SuccessfulCreate  17m   replicaset-controller  Created pod: httpd-app-5658cff777-mfgtn

　　Controlled By 指明此 ReplicaSet 是由 Deployment/httpd-app 创建。Events 记录了两个副本 Pod 的创建。

（3）接着我们来看 Pod，执行 kubectl get pod -n default

[root@ren7 ~]# kubectl get pod -n default
NAME                         READY   STATUS    RESTARTS   AGE
httpd-app-5658cff777-2shc7   1/1     Running   0          21m
httpd-app-5658cff777-mfgtn   1/1     Running   0          21m

　　两个副本 Pod 都处于 Running 状态，用 kubectl describe pod -n default 查看更详细的信息：

[root@ren7 ~]# kubectl describe pod -n default
Name:           httpd-app-5658cff777-2shc7
Namespace:      default
Node:           192.168.11.5/192.168.11.5
Start Time:     Fri, 25 Oct 2019 15:15:30 +0800
Labels:         pod-template-hash=5658cff777
                run=httpd-app
Annotations:    <none>
Status:         Running
IP:             172.20.72.138
Controlled By:  ReplicaSet/httpd-app-5658cff777
Containers:
  httpd-app:
    Container ID:   docker://731b02abab31ba2755622d8a8239be8acc008935d7b7c532bfcdb3550dff0c3e
    Image:          reg.yunwei.com/learn/httpd:latest
    Image ID:       docker-pullable://reg.yunwei.com/learn/httpd@sha256:64d607e1a0d145d90e4bf811491c3b51c04a55d393e307c0ab0fb8e26c8b098c
    Port:           <none>
    Host Port:      <none>
    State:          Running
      Started:      Fri, 25 Oct 2019 15:15:58 +0800
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-qvqql (ro)
Conditions:
  Type              Status
  Initialized       True
  Ready             True
  ContainersReady   True
  PodScheduled      True
Volumes:
  default-token-qvqql:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-qvqql
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     <none>
Events:
  Type    Reason     Age   From                   Message
  ----    ------     ----  ----                   -------
  Normal  Scheduled  22m   default-scheduler      Successfully assigned default/httpd-app-5658cff777-2shc7 to 192.168.11.5
  Normal  Pulling    22m   kubelet, 192.168.11.5  Pulling image "reg.yunwei.com/learn/httpd:latest"
  Normal  Pulled     21m   kubelet, 192.168.11.5  Successfully pulled image "reg.yunwei.com/learn/httpd:latest"
  Normal  Created    21m   kubelet, 192.168.11.5  Created container httpd-app
  Normal  Started    21m   kubelet, 192.168.11.5  Started container httpd-app

Name:           httpd-app-5658cff777-mfgtn
Namespace:      default
Node:           192.168.11.6/192.168.11.6
Start Time:     Fri, 25 Oct 2019 15:15:30 +0800
Labels:         pod-template-hash=5658cff777
                run=httpd-app
Annotations:    <none>
Status:         Running
IP:             172.20.33.72
Controlled By:  ReplicaSet/httpd-app-5658cff777
Containers:
  httpd-app:
    Container ID:   docker://361ff4437d9fa57860fbf4729bc13a415388086d8b3537edab747ddb9c839529
    Image:          reg.yunwei.com/learn/httpd:latest
    Image ID:       docker-pullable://reg.yunwei.com/learn/httpd@sha256:64d607e1a0d145d90e4bf811491c3b51c04a55d393e307c0ab0fb8e26c8b098c
    Port:           <none>
    Host Port:      <none>
    State:          Running
      Started:      Fri, 25 Oct 2019 15:15:57 +0800
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-qvqql (ro)
Conditions:
  Type              Status
  Initialized       True
  Ready             True
  ContainersReady   True
  PodScheduled      True
Volumes:
  default-token-qvqql:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-qvqql
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     <none>
Events:
  Type    Reason     Age   From                   Message
  ----    ------     ----  ----                   -------
  Normal  Scheduled  22m   default-scheduler      Successfully assigned default/httpd-app-5658cff777-mfgtn to 192.168.11.6
  Normal  Pulling    22m   kubelet, 192.168.11.6  Pulling image "reg.yunwei.com/learn/httpd:latest"
  Normal  Pulled     21m   kubelet, 192.168.11.6  Successfully pulled image "reg.yunwei.com/learn/httpd:latest"
  Normal  Created    21m   kubelet, 192.168.11.6  Created container httpd-app
  Normal  Started    21m   kubelet, 192.168.11.6  Started container httpd-app

　　Controlled By 指明此 Pod 是由 ReplicaSet/httpd-app-5658cff777 创建。Events 记录了 Pod 的启动过程（ httpd-app-5658cff777-2shc7 和 httpd-app-5658cff777-mfgtn ）。如果操作失败（比如 image 不存在），也能在这里查看到原因。

总结一下这个过程：

　　（1）用户通过 kubectl 创建 Deployment。
　　（2）Deployment 创建 ReplicaSet。
　　（3）ReplicaSet 创建 Pod。

　　从上图也可以看出，对象的命名方式是：子对象的名字 = 父对象名字 + 随机字符串或数字。

pod生命周期阶段

　　pod的生命周期可以简单描述为：首先pod被创建，紧接着pod被调度到node进行部署运行。pod是非常忠诚的，一旦别分配到node后，就不会离开这个node，直到它被删除，生命周期完结。

　　pod的生命周期被定义为以下几个阶段：

　　（1）Pending：pod已经别创建，但是一个或者多个容器还未创建，这包括pod调度阶段，以及容器镜像的下载过程。

　　（2）Running：pod已经被调度到node，所有容器已经创建，并且至少一个容器在运行或者正在重启。

　　（3）Succeeded：pod中所有容器正常退出。

　　（4）Failed：pod中所有容器退出，至少有一个容器是一次退出的。