k8s 基于NFS部署storageclass pv自动供给

在k8s中部署有状态应用时，通常需要做数据持久化存储。

后端存储的方式有以下几种：

1.基于宿主机本地的存储方式；

　　（重启pod时，若pod被调度到其他节点上，尽管原来节点上的数据不会丢失，但是其他节点上没有该应用存储过的数据，所以并不持久化）

2.基于本地过云存储服务的方式，如：（NFS、glusterfs、cephfs、awsElasticBlockStore、azureDisk、gcePersistentDisk等）

　　（在资源清单中指明URL地址和共享挂载卷目录即可实现数据持久化存储）

3.基于存储类，实现PV自动供给；

　　（创建存储类，在资源清单中指明地址和共享挂载卷目录即可实现持久化存储）

我们这里就介绍一下基于存储类的PV自动供给实现的数据持久化存储

官网概念说明：

https://kubernetes.io/docs/concepts/storage/storage-classes/

项目地址：

https://github.com/kubernetes-incubator/external-storage/tree/master/nfs-client/deploy

项目架构：

原理：

　　1.存储工程师创建存储类。

　　2.集群管理员维护集群中的存储资源。

　　3.用户或开发人员提交需求，（如在sts中只要在资源清单中编辑好volumeClaimTemplates中的需求，确保资源清单无误即可运行）这个过程不需要人工手动创建PVC。

当然图是这样画的，分工明细，但现实中相信一个人把这些活都揽的也不计其数。kube、kube拼音就一苦比，但是多学点没坏处。

从官网中可以看出目前NFS并不支持做存储类，但是我们可以使用NFS的插件来支持。

NFS插件在Github中的项目地址：https://github.com/kubernetes-incubator/external-storage/tree/master/nfs-client/deploy

搭建

1.搭建NFS服务（与k8s集群同一网段下的主机）

 　安装nfs服务：yum -y install nfs-utils （集群中的每个节点也要安装否则不支持)

 　启动nfs并设为开机自启：systemctl start nfs && systemctl enable nfs

 　创建共享挂载目录： mkdir -pv /data/volumes/{v1,v2,v3}

 　编辑/etc/exports文件,将目录共享到192.168.1./24这个网段中：

 vi /etc/exports

 /data/volume/v1  192.168.1.0/(rw,no_root_squash)
 /data/volume/v2  192.168.1.0/(rw,no_root_squash)
 /data/volume/v3  192.168.1.0/(rw,no_root_squash)

 　发布：exportfs -avr

 exporting 192.168.1.0/:/data/volume/v3
 exporting 192.168.1.0/:/data/volume/v2
 exporting 192.168.1.0/:/data/volume/v1

 　查看：showmount -e

 /data/volume/v3 192.168.1.0/
 /data/volume/v2 192.168.1.0/
 /data/volume/v1 192.168.1.0/

2.在kubernetes中部署NFS插件（项目地址在上面）

 下载项目：for file in class.yaml deployment.yaml rbac.yaml test-claim.yaml ; do wget https://raw.githubusercontent.com/kubernetes-incubator/external-storage/master/nfs-client/deploy/$file ; done

 修改资源清单（红色地方需要修改）：

 vim deployment.yaml

 apiVersion: v1
 kind: ServiceAccount
 metadata:
   name: nfs-client-provisioner
 ---
 kind: Deployment
 apiVersion: extensions/v1beta1
 metadata:
   name: nfs-client-provisioner
 spec:
   replicas:
   strategy:
     type: Recreate
   template:
     metadata:
       labels:
         app: nfs-client-provisioner
     spec:
       serviceAccountName: nfs-client-provisioner
       containers:
         - name: nfs-client-provisioner
           image: quay.io/external_storage/nfs-client-provisioner:v2.0.0  ##默认是latest版本
           volumeMounts:
             - name: nfs-client-root
               mountPath: /persistentvolumes
           env:
             - name: PROVISIONER_NAME
               value: fuseim.pri/ifs  ##这里的供应者名称必须和class.yaml中的provisioner的名称一致，否则部署不成功
             - name: NFS_SERVER
               value: k8s-nfs  　　  ##这里写NFS服务器的IP地址或者能解析到的主机名
             - name: NFS_PATH
               value: /data/volume/v1   ##这里写NFS服务器中的共享挂载目录（强调：这里的路径必须是目录中最后一层的文件夹，否则部署的应用将无权限创建目录导致Pending）
       volumes:
         - name: nfs-client-root

           nfs:
             server: k8s-nfs               　##NFS服务器的IP或可解析到的主机名
             path: /data/volume/v1　　##NFS服务器中的共享挂载目录（强调：这里的路径必须是目录中最后一层的文件夹，否则部署的应用将无权限创建目录导致Pending）

3.部署

　切换到此项目的目录中

 kubectl apply -f ./

4.查看

　查看此NFS插件的pod是否部署成功：

 kubectl get pods

 NAME                                      READY       STATUS         RESTARTS       AGE

 nfs-client-provisioner-8664fb9f68-57wkf   /        Running                      5m43s

5.测试

　部署一个pvc或者声明存储的应用，测试是否自动创建出PV而且自动绑定PVC，

 例：PVC 

 vim test.yaml

 kind: PersistentVolumeClaim
 apiVersion: v1
 metadata:
   name: test-claim
   annotations:
     volume.beta.kubernetes.io/storage-class: "managed-nfs-storage"
 spec:
   accessModes:
     - ReadWriteMany
   resources:
     requests:
       storage: 1Mi

 例：StatefulSet方式部署的nginx应用

 vim nginx-demo.yaml

 apiVersion: v1
 kind: Service
 metadata:
   name: nginx
   labels:
     app: nginx
 spec:
   ports:
   - port:
     name: web
   clusterIP: None
   selector:
     app: nginx
 ---

 apiVersion: apps/v1
 kind: StatefulSet
 metadata:
   name: web
 spec:
   selector:
     matchLabels:
       app: nginx
   serviceName: "nginx"
   replicas:
   template:
     metadata:
       labels:
         app: nginx
     spec:
       terminationGracePeriodSeconds:
       containers:
       - name: nginx
         image: nginx
         ports:
         - containerPort:
           name: web
         volumeMounts:
         - name: www
           mountPath: /usr/share/nginx/html
   volumeClaimTemplates:
   - metadata:
       name: www
     spec:
       accessModes: [ "ReadWriteOnce" ]
       storageClassName: "managed-nfs-storage"
       resources:
         requests:
           storage: 1Gi

 部署： kubectl apply -f test.yaml nginx-demo.yaml
  查看pod、svc、pv、pvc状态：
  kubectl get pv
 NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                STORAGECLASS          REASON   AGE
 pvc-5d66051e--11e9--000c29cc70d4   1Mi        RWX            Delete           Bound    default/test-claim   managed-nfs-storage            7m6s
 pvc-73235c07--11e9--000c29cc70d4   1Gi        RWO            Delete           Bound    default/www-web-    managed-nfs-storage            6m15s
 pvc-8a58037f--11e9--000c29cc70d4   1Gi        RWO            Delete           Bound    default/www-web-    managed-nfs-storage            5m36s
 pvc-ab7fca5a--11e9--000c29cc70d4   1Gi        RWO            Delete           Bound    default/www-web-    managed-nfs-storage            7m6s

  kubectl get pvc
 NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS          AGE
 test-claim   Bound    pvc-5d66051e--11e9--000c29cc70d4   1Mi        RWX            managed-nfs-storage   28m
 www-web-    Bound    pvc-ab7fca5a--11e9--000c29cc70d4   1Gi        RWO            managed-nfs-storage   12m
 www-web-    Bound    pvc-73235c07--11e9--000c29cc70d4   1Gi        RWO            managed-nfs-storage   6m32s
 www-web-    Bound    pvc-8a58037f--11e9--000c29cc70d4   1Gi        RWO            managed-nfs-storage   5m53s

 kubectl get pods -owide NAME                                     READY   STATUS    RESTARTS   AGE    IP             NODE        NOMINATED NODE   READINESS GATES
　　 nfs-client-provisioner-f9776d996-dpk6z   1/1     Running   0          12m    10.244.1.65    k8s-node1   <none>           <none>
　　 web-0                                    1/1     Running   0          16m    10.244.1.66    k8s-node1   <none>           <none>
　　 web-1                                    1/1     Running   0          10m    10.244.2.181   k8s-node2   <none>           <none>
　　 web-2                                    1/1     Running   0          10m    10.244.2.182   k8s-node2   <none>           <none>

　　 kubectl get svc

现在查看nfs服务器中的v1目录下：

 default-www-web--pvc-c32f532b-968f-11e9--000c29cc70d4   default-www-web--pvc-d3944c4a-968f-11e9--000c29cc70d4
 default-www-web--pvc-ccd2a50b-968f-11e9--000c29cc70d4

上面这些是k8s集群映射的目录，用来和其他存储挂载使用，从创建pod时的日志可以看出：

 Mounting arguments: --description=Kubernetes transient mount for /var/lib/kubelet/pods/7d7c45bc-968c-11e9--000c29cc70d4/volumes/kubernetes.io~nfs/default-www-web--pvc-e6b67079-968b-11e9--000c29cc70d4 --scope -- mount -t nfs k8s-nfs:/data/volume/v2/default-www-web--pvc-e6b67079-968b-11e9--000c29cc70d4 /var/lib/kubelet/pods/7d7c45bc-968c-11e9--000c29cc70d4/volumes/kubernetes.io~nfs/default-www-web--pvc-e6b67079-968b-11e9--000c29cc70d4

在这些目录中创建默认访问页：

 cd default-www-web--pvc-c32f532b-968f-11e9--000c29cc70d4

 echo "<h1>NFS Server</h1>" > index.html

 此时使用curl命令访问此nginx pod

 curl 10.244.1.66

 NFS Server

好了，以上就是全部内容了