GlusterFS分布式存储系统复制集更换故障Brick操作记录

场景： GlusterFS 3节点的复制集，由于磁盘故障，其中一个复制集需要重装系统，所以需要重装glusterfs并将该节点加入glusterfs集群

一. 安装GlusterFS

首先在重装系统节点安装 glusterfs

• Centos

yum -y install centos-release-gluster
yum -y install glusterfs-server
systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service

• Ubuntu

apt-get -y install glusterfs-server
systemctl start glusterfs-server
systemctl enable glusterfs-server
systemctl status glusterfs-server

确保与之前节点的GlusterFS版本一致，如果不一致，可将之前节点GlusterFS进行版本升级

• Ubuntu系统GlusterFS升级

apt install -y software-properties-common
add-apt-repository ppa:gluster/glusterfs-7
apt-get update
killall glusterfs
systemctl stop glustereventsd
apt-get -y install glusterfs-server

升级过程中可能会出现重启失败，ps -ef查看有关glusterfs的进程，kill掉重启即可

二. 加入GlusterFS集群

• 修改UUID

在正常节点获取该节点UUID信息，损坏节点为 gfs02

在/var/lib/glusterd/peers目录下，新建glusterd.info，将原UUID和operating-version信息写入该文件。

$ vi /var/lib/glusterd/glusterd.info
UUID=a7d9c9a8-e0bc-44da-8a86-6077f37038b0
operating-version=30706

重启glusterd服务

 systemctl restart glusterd

若无法启动，将 /var/lib/glusterd/ 下文件除 glusterd.info 外全部删除，kill相关进程进行重启

• 在正常节点为此节点添加授信

$ gluster peer probe gfs02

• 在正常节点查看集群节点状态

$ gluster peer status
Number of Peers: 2

Hostname: gfs01
Uuid: f1061036-70cf-49b0-a482-4139b7e0eb7f
State: Peer in Cluster (Connected)

Hostname: gfs02
Uuid: a7d9c9a8-e0bc-44da-8a86-6077f37038b0
State: Accepted peer request (Connected)

正常情况就能同步到集群的peer信息，若出现这种状态，请参考如下：

出现这种状态后排查原因得知是由于 /var/lib/glusterd/peers/a7d9c9a8-e0bc-44da-8a86-6077f37038b0 文件中state值不一致导致，将除gfs02节点外其他节点此文件值修改为与之前文件中的一致，重启服务

uuid=a7d9c9a8-e0bc-44da-8a86-6077f37038b0
state=3
hostname1=gfs02

再次查看，恢复正常

$ gluster peer status
Number of Peers: 2

Hostname: gfs01
Uuid: f1061036-70cf-49b0-a482-4139b7e0eb7f
State: Peer in Cluster (Connected)

Hostname: gfs02
Uuid: a7d9c9a8-e0bc-44da-8a86-6077f37038b0
State: Peer in Cluster (Connected)

到此完成重新加入集群

三. 重新分配volum

通常加入集群后，自动就可以获得卷信息，如果未获得，参考如下

• 查询故障节点的备份节点(gfs02)目录的扩展属性

$ getfattr -d -m. -e hex /data/gluster
getfattr: Removing leading '/' from absolute path names
# file: data/gluster
trusted.gfid=0x00000000000000000000000000000001
trusted.glusterfs.dht=0x00000001000000007fffffffffffffff
trusted.glusterfs.volume-id=0x8eafb261e0d24f3b8e0905475c63dcc6

• 挂载卷并触发自愈

在客户端新建一个卷中不存在的目录并删除

$ cd /opt/gfsmount/
$ mkdir test1
$ rm -rf test2

客户端设置扩展属性触发自愈

$ setfattr -n trusted.non-existent-key -v abc <客户端挂载点>
$ setfattr -x trusted.non-existent-key <客户端挂载点>

• 检查当前节点是否挂起xattrs

再次查询故障节点的备份节点(gfs02)目录的扩展属性

$  getfattr -d -m. -e hex /data/gluster
getfattr: Removing leading '/' from absolute path names
# file: data/gluster
trusted.afr.dirty=0x000000000000000000000000
trusted.afr.models-client-2=0x000000000000000000000000
trusted.afr.models-client-3=0x000000000000000200000002
trusted.gfid=0x00000000000000000000000000000001
trusted.glusterfs.dht=0x00000001000000007fffffffffffffff
trusted.glusterfs.volume-id=0x8eafb261e0d24f3b8e0905475c63dcc6

注意：留意第5行,表示xattrs已经将源标记为GlusterFS-slave3:/data/gluster

• 在正常节点检查卷的状态是否显示需要替换

$ gluster volume heal models info
Brick GlusterFS-master:/data/gluster/
Number of entries: 0

Brick gfs03:/data/gluster/
Number of entries: 0

Brick gfs01:/data/gluster/
/
Number of entries: 1

Brick gfs02:/data/gluster
Status: Transport endpoint is not connected

注：状态提示传输端点未连接（最后一行）

• 使用强制提交完成操作

$ gluster volume replace-brick redata gfs02:/data/gluster gfs02:/data/gluster1 commit force
提示如下表示正常完成：
volume replace-brick: success: replace-brick commit force operation successful

---

注意：也可以将数据恢复到另外一台服务器，详细命令如下（192.168.10.230为新增的另一个glusterfs节点）（可选）：

# gluster peer probe 192.168.10.230
# gluster volume replace-brick redata gfs01:/data/gluster gfs05:/data/gluster commit force

---

• 检查存储的在线状态

$ gluster volume status
Status of volume: redata
Gluster process                             TCP Port  RDMA Port  Online  Pid
------------------------------------------------------------------------------
Brick gfs01:/data/gluster                   49153     0          Y       316465
Brick gfs02:/data/gluster1                  49153     0          Y       4813
Brick gfs03:/data/gluster                   49153     0          Y       430245
Self-heal Daemon on localhost               N/A       N/A        Y       415863
NFS Server on localhost                     N/A       N/A        N       N/A
Self-heal Daemon on gfs01                   N/A       N/A        Y       375512
NFS Server on gfs01                         N/A       N/A        N       N/A
Self-heal Daemon on gfs02                   N/A       N/A        Y       4824
NFS Server on gfs02                         N/A       N/A        N       N/A  

Task Status of Volume redata
------------------------------------------------------------------------------
There are no active volume tasks

从上面信息可以看出，gfs02节点的Online项的状态为"Y"了，不过存储目录是/data/gluster1,查看gfs02节点的存储目录，发现数据已经在自动恢复了。

参考资料：

https://blog.csdn.net/weixin_30852419/article/details/98925513?utm_medium=distribute.pc_relevant_download.none-task-blog-baidujs-1.nonecase&depth_1-utm_source=distribute.pc_relevant_download.none-task-blog-baidujs-1.nonecase

https://www.cnblogs.com/kevingrace/p/8761747.html