glusterfs+heketi为k8s提供共享存储

背景

近来在研究k8s,学习到pv、pvc 、storageclass的时候，自己捣腾的时候使用nfs手工提供pv的方式，看到官方文档大量文档都是使用storageclass来定义一个后端存储服务，使用pvc来自动申请pv,

所以花了点时间研究了下glusterfs配合heketi如果为k8s动态提供存储。

环境

主机名	ip地址	角色	备注
master	192.168.16.10	k8s-master,glusterfs,heketi	heketi只需要一个节点部署就可以了。
node01	192.168.16.11	k8s-node,glusterfs
node02	192.168.16.12	k8s-node,glusterfs

gluster安装配置

gluster安装

下面操作需要在三个节点都需要执行。

# centos 需要安装下 centos-release-gluster5， 此包提供gluster相关的包

[root@master ~]# yum install centos-release-gluster5

[root@master ~]# yum install yum install glusterfs-server fuse glusterfs-client
# 开机自启

[root@master ~]# systemctl enable glusterd && systemctl restart glusterd && systemctl status glusterd

gluster配置

# 各个节点启动后， 需要使用peer探测各个节点
[root@master ~]# gluster peer probe  node01

[root@master ~]# gluster peer probe  node02
# 查看探测后的状态

[root@master ~]# gluster peer status

Number of Peers: 

Hostname: node01

Uuid: c7c12e58-a7de--b11f-52205e3b527c

State: Peer in Cluster (Connected)

Hostname: node02

Uuid: 7af10306--424c-b1e7-85c4b22ec5c2

State: Peer in Cluster (Connected)

这一步骤确保集群的各个节点都是connected的。

heketi的安装和配置

heketi简介

我们这里使用heketi注意是给glusterfs提供rest的api服务，这样就相当于给glusterfs和k8s之间架通了桥梁。我们的k8s就可以使用heketi提供的rest api完成对glusterfs的pv申请和管理。

heketi的安装

主节点安装heketi

[root@master ~]# yum install heketi

所有节点安装heketi-client

yum install heketi-client

heketi的配置

[root@master ~]# cd /etc/heketi/

[root@master heketi]# ll

total

-rw-r--r--  root root  Sep  : heketi.json
# 备份一下。

[root@master heketi]# cp heketi.json  heketi.json.default

[root@master heketi]# vim heketi.json

# 修改如下配置

"port": "",

"use_auth": true,

 "admin": {

      "key": "admin"

    },

   "user": {

      "key": "admin"

    }

 "executor": "ssh",

    "sshexec": {

      "keyfile": "/home/heketi/.ssh/id_rsa",

      "user": "heketi",

      "port": "",
      "sudo": true,

      "fstab": "/etc/fstab"

    },

heketi有三种ececutor，我们这里选择了生产环境中推荐的ssh方式，由于大部分场景下root是禁止远程登录的所以这里使用heketi用户来执行。

注意：上面配置中的sudo是必须的，否则会提示权限不足的。

准备用户和配置ssh免密码

#master节点

[root@master heketi]# id heketi

uid=(heketi) gid=(heketi) groups=(heketi)
# 原有的账户无home，无shell. 删除添加新的。

[root@master heketi]# userdel heketi

[root@master heketi]# useradd heketi

[root@master ~]#  echo "heketi" |passwd --stdin heketi 
# 切换到heketi生成key

[root@master heketi]# su - heketi

[heketi@master ~]$ ssh-keygen 

# node01节点

[root@node01 ~]# useradd heketi

[root@node01 ~]# echo "heketi" |passwd --stdin heketi

[root@node01 ~]# su - heketi

[heketi@node01 ~]$ ssh-keygen 

# node02节点

[root@node02 ~]# useradd heketi

[root@node02 ~]# echo "heketi" |passwd --stdin heketi

[root@node02 ~]# su - heketi

[heketi@node01 ~]$ ssh-keygen 

# ssh免密码信任

[heketi@master ~]$ ssh-copy-id  master

[heketi@master ~]$ ssh-copy-id  node01

[heketi@master ~]$ ssh-copy-id  node02

# 给heketisudo权限
[root@master heketi]# echo "heketi    ALL=(ALL)       NOPASSWD: ALL" >> /etc/sudoers

[root@node01 heketi]# echo "heketi    ALL=(ALL)       NOPASSWD: ALL" >> /etc/sudoers

[root@node02 heketi]# echo "heketi    ALL=(ALL)       NOPASSWD: ALL" >> /etc/sudoers

启动heketi和测试heketi

# 这一个步骤是必须的， 默认的yum安装后，这个目录的所有者都是root的。 但是安装提供的service文件的user又是heketi. 导致不修改权限就是启动不起来的，坑啊。
[root@master ~]# chown heketi:heketi /etc/heketi/ -R || chown heketi:heketi /var/lib/heketi -R

[root@master ~]# systemctl enable heketi  && systemctl start heketi && systemctl status heketi

# 测试下heketi接口问题

[root@master ~]#  heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json  cluster create

{"id":"90f60d4e461bfb1dbd3fe3941740615c","nodes":[],"volumes":[],"block":true,"file":true,"blockvolumes":[]}
[root@master ~]#  heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json  cluster delete 90f60d4e461bfb1dbd3fe3941740615c

创建集群

#创建集群

[root@master ~]#  heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json  cluster create

{"id":"0c15099b0905cf490004ff3a4f0991e4","nodes":[],"volumes":[],"block":true,"file":true,"blockvolumes":[]}

# 节点管理（其中集群id为上面命令的返回值）

[root@master ~]#   heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json  node add --cluster "0c15099b0905cf490004ff3a4f0991e4" --management-host-name 192.168.16.10  --storage-host-name 192.168.16.10  --zone 1

[root@master ~]#   heketi-cli --user admin --secret admin --server htt05cf490004ff3a4f0991e4" --management-host-name 192.168.16.11  --storage-host-name 192.168.16.11  --zone 1

heketi-cli --user admin --secret admin --server htt05cf490004ff3a4f0991e4" --management-host-name 192.168.16.12  --storage-host-name 192.168.16.12  --zone 1  

# 添加设备

[root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080   node list

Id:179b08165b56df018a0ba295e2c78f22     Cluster:0c15099b0905cf490004ff3a4f0991e4

Id:a547a8327d3ba9fc51fe5e25d95236cb     Cluster:0c15099b0905cf490004ff3a4f0991e4

Id:c65521c53de76c3f70d2ec828498a261     Cluster:0c15099b0905cf490004ff3a4f0991e4

[root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080   device add --name "/dev/sdb" --node 179b08165b56df018a0ba295e2c78f22

Device added successfully

[root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080   device add --name "/dev/sdb" --node a547a8327d3ba9fc51fe5e25d95236cb

Device added successfully

[root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080   device add --name "/dev/sdb" --node c65521c53de76c3f70d2ec828498a261

Device added successfully

也有直接使用拓扑文件load方式的。具体可以参考： https://github.com/heketi/heketi/blob/master/docs/admin/topology.md

k8s使用glusterfs

k8s中使用glusterfs的时候，会根据pvc的申请自动创建对应的pv，然后绑定。这样我们在pod里面就可以指定具体的pvc了。

创建storageclass

[root@master ~]# cat k8s.storageclass.yml
apiVersion: storage.k8s.io/v1beta1
kind: StorageClass
metadata:
name: glusterfs
provisioner: kubernetes.io/glusterfs
parameters:
resturl: "http://192.16.10:18080"
clusterid: "0c15099b0905cf490004ff3a4f0991e4"
restauthenabled: "true"
restuser: "admin"
restuserkey: "admin"
gidMin: "40000"
gidMax: "50000"
volumetype: "replicate:2"

创建pvc

[root@master ~]# cat pvc.yml

kind: PersistentVolumeClaim

apiVersion: v1

metadata:

  name: pvc1

  namespace: default

  annotations:

    volume.beta.kubernetes.io/storage-class: "glusterfs"

spec:

  accessModes:

  - ReadWriteMany

  resources:

    requests:

      storage: 2Gi

[root@master ~]# kubectl apply -f pvc.yml

[root@master ~]# kubectl get pvc

NAME   STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE

pvc1   Bound    pvc-affe7efc-21fe-11e9-9d1f-000c2987cf81   2Gi        RWX            glusterfs      19s