CentOS 7.6 部署 GlusterFS 分布式存储系统

文章目录

• • GlusterFS简介
  • 环境介绍
  • 开始GlusterFS部署
  • • 配置hosts解析
    • 配置GlusterFS
    • 创建文件系统
    • 安装GlusterFS
    • 启动GlusterFS
    • 将节点加入到主机池
    • 创建GlusterFS复制卷
    • GlusterFS测试

GlusterFS简介

GlusterFS是一个开源的分布式文件系统，是Scale存储的核心，能够处理千数量级的客户端。

整合了许多存储块（server）通过Infiniband RDMA或者 TCP/IP方式互联的一个并行的网络文件系统。

GlusterFS的特征：

• 容量可以按比例的扩展，且性能却不会因此而降低。
• 廉价且使用简单，完全抽象在已有的文件系统之上。
• 扩展和容错设计的比较合理，复杂度较低
• 适应性强，部署方便，对环境依赖低，使用，调试和维护便利

环境介绍

部署GlusterFS分布式存储系统，需要给机器增加一块新磁盘，磁盘是需要被格式化的

GlusterFS最少需要两个节点，内存最低需要1G

IP	HOSTNAME	SYSTEM-VERSION
192.168.72.73	glusterfs-01	centos7.6
192.168.72.74	glusterfs-02	centos7.6

开始GlusterFS部署

参考centos官网提供的glusterfs部署：gluster-Quickstart

如果不是外网服务器，firewalld服务可以直接关掉，需要关闭selinux服务，重启后才会生效

selinux的关闭方式：sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

# cat /etc/redhat-release
CentOS Linux release 7.6.1810 (Core)
# systemctl status firewalld.service | grep active
   Active: inactive (dead)
# sestatus
SELinux status:                 disabled

没有特殊提醒的前提下，以下所有操作，所有的机器都需要操作

配置hosts解析

# cat >> /etc/hosts <<EOF
192.168.72.73 glusterfs-01
192.168.72.74 glusterfs-02
EOF

配置GlusterFS

# yum install -y centos-release-gluster

创建文件系统

可以使用lsblk命令查看新磁盘的盘符，不要完全复制我的文档

这里要用xfs格式化磁盘，并且xfs的文件格式支持PB级的数据量

如果是centos6系列的，需要安装xfs支持包：yum install -y xfsprogs

# mkfs.xfs -i size=512 /dev/sdb
# mkdir -p /bricks/brick1
# echo '/dev/sdb /bricks/brick1 xfs defaults 0 0' >> /etc/fstab
# mount -a

安装GlusterFS

# yum install -y glusterfs-server

启动GlusterFS

# systemctl enable glusterd --now
# systemctl status glusterd | grep active
   Active: active (running) since Sun 2021-05-09 00:33:20 CST; 21s ago

将节点加入到主机池

这个操作，只需要在glusterfs-01机器上操作即可

# gluster peer probe glusterfs-02
peer probe: success

查看主机池的状态

# gluster pool list
UUID                                    Hostname        State
4364f3d9-5be4-4f8f-9e8c-a47edb099bf0    glusterfs-02    Connected
3cb3da7f-f923-42b7-908e-901533468055    localhost       Connected
# gluster peer status
Number of Peers: 1

Hostname: glusterfs-02
Uuid: 4364f3d9-5be4-4f8f-9e8c-a47edb099bf0
State: Peer in Cluster (Connected)

创建GlusterFS复制卷

所有节点都需要创建下面的目录

这里的目录，要和上面fstab挂载的目录是一致的

# mkdir /bricks/brick1/gv0

以下的操作，在 glusterfs-01机器上操作即可

# gluster volume create gv0 replica 2 glusterfs-01:/bricks/brick1/gv0 glusterfs-02:/bricks/brick1/gv0
# gluster volume start gv0
# gluster volume info

Volume Name: gv0
Type: Replicate
Volume ID: 84ce70ca-cd50-4680-ad6c-5a82ea9bb148
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: glusterfs-01:/bricks/brick1/gv0
Brick2: glusterfs-02:/bricks/brick1/gv0
Options Reconfigured:
cluster.granular-entry-heal: on
storage.fips-mode-rchecksum: on
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off

GlusterFS测试

# mount -t glusterfs glusterfs-01:/gv0 /mnt
# df -Th | grep glusterfs
glusterfs-01:/gv0       fuse.glusterfs   10G  135M  9.9G   2% /mnt

因为是复制卷，所以可用容量为一半（我是两台机器各增加了一块10G的新磁盘）

# for i in `seq -w 1 100`; do cp -rp /var/log/messages /mnt/copy-test-$i; done

# ls -lA /bricks/brick1/gv0
# ls -lA /mnt

可以看到，两边的文件都是一致的

到这里，GlusterFS已经部署完成了

关于GlusterFS其他卷的配置，可以看这位大佬的博客：GlusterFS分布式存储