gfs故障恢复
GlusterFS更换故障Brick
1 前言
笔者公司内有一套GlusterFS分布式存储，最近数据分区的文件系统提示错误，群集有一个Brick需要替换掉。
基于稳妥操作的原则，笔者要先搭建测试环境并通过测试后才能在真实环境中执行，以下是笔者的测试文档，给有需要的博友参阅，另外笔者在发表本文时已经在生产环境通过验证。
服务器的故障日志（有修复文件系统方法的博友欢迎指教）：
cat /var/log/messages可以看到如下信息：
Mar 21 14:58:04 GH01 kernel: XFS (dm-5): xfs_log_force: error 5 returned.2 实践部分
2.1 环境信息
2.1.1 主机信息
GlusterH0[1-5]:
hostname=GlusterH0[1-5].cmdschool.org
ipaddress=10.168.0.19[1-5]
2.1.2 名称解析配置
In GlusterH0[1-6]
echo "10.168.0.191 GlusterH01.cmdschool.org GH01" >> /etc/hosts
echo "10.168.0.192 GlusterH02.cmdschool.org GH02" >> /etc/hosts
echo "10.168.0.193 GlusterH03.cmdschool.org GH03" >> /etc/hosts
echo "10.168.0.194 GlusterH04.cmdschool.org GH04" >> /etc/hosts
echo "10.168.0.195 GlusterH05.cmdschool.org GH05" >> /etc/hosts2.1.3 配置YUM源
In GlusterH0[1-6]
yum install -y centos-release-gluster382.1.4 关闭防火墙
In GlusterH0[1-6]
/etc/init.d/iptables stop
chkconfig iptables off2.2 配置数据存储根目录
In GlusterH0[1-5]
2.2.1 新建分区
fdisk /dev/sdb详细向导如下：
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x089fd1ab.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
switch off the mode (command 'c') and change display units to
sectors (command 'u').
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-26108, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-26108, default 26108):
Using default value 26108
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
Syncing disks.2.2.2 发现并校验
partx /dev/sdb
ls /dev/sdb*2.2.3 创建文件系统
mkfs.xfs -i size=512 /dev/sdb12.2.4 配置挂载
mkdir -p /data
echo '/dev/sdb1 /data xfs defaults 1 2' >> /etc/fstab
mount -a && mount2.3 配置glusterfs服务端
In GlusterH0[1-5] :
2.3.1 安装yum源
yum install -y glusterfs-server2.3.2 启动服务
/etc/init.d/glusterd start
chkconfig glusterd on2.4 配置信任池
In GlusterH01:
gluster peer probe GH02
gluster peer probe GH03
gluster peer probe GH04显示如成功信息：
peer probe: success.检查信任池状态
gluster peer status显示如下：
Number of Peers: 3
Hostname: GH02
Uuid: e935be20-6157-4bc6-804b-a6901850211f
State: Accepted peer request (Connected)
Hostname: GH03
Uuid: d91cf978-71d7-4734-b395-fae7ccf4c040
State: Accepted peer request (Connected)
Hostname: GH04
Uuid: e05ea224-72f7-48c5-a73a-eeeb253d171d
State: Accepted peer request (Connected)检查本与其他服务器的连接状态
netstat -antp | grep glusterd显示如下：
tcp 0 0 0.0.0.0:24007 0.0.0.0:* LISTEN 1213/glusterd
tcp 0 0 10.168.0.191:24007 10.168.0.192:49150 ESTABLISHED 1213/glusterd
tcp 0 0 10.168.0.191:49149 10.168.0.193:24007 ESTABLISHED 1213/glusterd
tcp 0 0 10.168.0.191:24007 10.168.0.193:49149 ESTABLISHED 1213/glusterd
tcp 0 0 10.168.0.191:49151 10.168.0.192:24007 ESTABLISHED 1213/glusterd
tcp 0 0 10.168.0.191:49150 10.168.0.194:24007 ESTABLISHED 1213/glusterd
tcp 0 0 10.168.0.191:24007 10.168.0.194:49151 ESTABLISHED 1213/glusterd注：以上可以看出本机与其他的每个brick都有两个TCP连接，一共6个。
2.5 配置GlusterFS卷
2.5.1 配置存储位置
In GlusterH0[1-4] :
mkdir -p /data/brick1/gv02.5.2 创建Gluster卷
In GlusterH01 :
gluster volume create gv0 replica 2 transport tcp GH01:/data/brick1/gv0 GH02:/data/brick1/gv0 GH03:/data/brick1/gv0 GH04:/data/brick1/gv0显示如成功信息：
volume create: gv0: success: please start the volume to access data2.5.3 启动GlusterFS卷
In GlusterH01 :
gluster volume start gv0显示如成功信息：
volume start: gv0: success2.5.4 验证卷的信息
In GlusterH01 :
gluster volume info显示如下：
Volume Name: gv0
Type: Distributed-Replicate
Volume ID: cfea514c-cdce-4ae4-bcd9-bf56f4173271
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: GH01:/data/brick1/gv0
Brick2: GH02:/data/brick1/gv0
Brick3: GH03:/data/brick1/gv0
Brick4: GH04:/data/brick1/gv0
Options Reconfigured:
transport.address-family: inet
performance.readdir-ahead: on
nfs.disable: on2.6 配置Gluster客户端
In GlusterH01 :
2.6.1 安装客户端相关包
yum install -y glusterfs-fuse2.6.2 手动挂载卷gv0到本地
mount -t glusterfs GH01:/gv0 /mnt2.7 测试Gluster卷
2.7.1 写入测试
In GlusterH01 :
for i in `seq -w 1 100`; do cp -rp /var/log/messages /mnt/copy-test-$i; done2.7.2 写入确认
In GlusterH01 :
ls -lA /mnt/ | wc -lIn GlusterH0[1-4] :
ls -lA /data/brick1/gv0/2.8 模拟brick故障
2.8.1 查看当前存储状态
In GlusterH01 :
gluster volume status显示如下：
Status of volume: gv0
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick GH01:/data/brick1/gv0 49153 0 Y 1447
Brick GH02:/data/brick1/gv0 49153 0 Y 1379
Brick GH03:/data/brick1/gv0 49153 0 Y 1281
Brick GH04:/data/brick1/gv0 49153 0 Y 1375
Self-heal Daemon on localhost N/A N/A Y 1506
Self-heal Daemon on GH02 N/A N/A Y 1440
Self-heal Daemon on GH04 N/A N/A Y 1430
Self-heal Daemon on GH03 N/A N/A Y 1430
Task Status of Volume gv0
------------------------------------------------------------------------------
There are no active volume tasks注：注意到Online项全部为“Y”
2.8.2 制造故障
In GlusterH01 :
vim /etc/fstab注释掉如下行：
#/dev/sdb1 /data xfs defaults 1 2重启服务器
reboot2.8.3 查看当前存储状态
In GlusterH01 :
gluster volume status显示如下：
Status of volume: gv0
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick GH01:/data/brick1/gv0 N/A N/A N N/A
Brick GH02:/data/brick1/gv0 49153 0 Y 1379
Brick GH03:/data/brick1/gv0 49153 0 Y 1281
Brick GH04:/data/brick1/gv0 49153 0 Y 1375
Self-heal Daemon on localhost N/A N/A Y 1484
Self-heal Daemon on GH02 N/A N/A Y 1453
Self-heal Daemon on GH03 N/A N/A Y 1443
Self-heal Daemon on GH04 N/A N/A Y 1444
Task Status of Volume gv0
------------------------------------------------------------------------------
There are no active volume tasks注：注意到GH01的Online项为“N”
注：文件系统故障，假设物理硬盘没有问题或已经更换阵列中的硬盘
2.9 恢复故障brick方法
2.9.1 结束故障brick的进程
In GlusterH01 :
gluster volume status显示如下：
Status of volume: gv0
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick GH01:/data/brick1/gv0 N/A N/A N N/A
Brick GH02:/data/brick1/gv0 49153 0 Y 1379
Brick GH03:/data/brick1/gv0 49153 0 Y 1281
Brick GH04:/data/brick1/gv0 49153 0 Y 1375
Self-heal Daemon on localhost N/A N/A Y 1484
Self-heal Daemon on GH02 N/A N/A Y 1453
Self-heal Daemon on GH03 N/A N/A Y 1443
Self-heal Daemon on GH04 N/A N/A Y 1444
Task Status of Volume gv0
------------------------------------------------------------------------------
There are no active volume tasks注：如果状态Online项为“N”的GH01存在PID号（不显示N/A）应当使用如下命令结束掉进程方可继续下面步骤。
kill -15 pid2.9.2 创建新的数据目录
In GlusterH01:
mkfs.xfs -i size=512 /dev/sdb1编辑fstab
vim /etc/fstab去掉注释：
/dev/sdb1 /data xfs defaults 1 2重新挂载文件系统：
mount -a增加新的数据存放文件夹（不可以与之前目录一样）
mkdir -p /data/brick1/gv12.9.3 查询故障节点的备份节点(gh02)目录的扩展属性
In GlusterH01:
ssh gh02 getfattr -d -m. -e hex /data/brick1/gv0显示如下：
getfattr: Removing leading '/' from absolute path names
# file: data/brick1/gv0
security.selinux=0x756e636f6e66696e65645f753a6f626a6563745f723a686f6d655f726f6f745f743a733000
trusted.gfid=0x00000000000000000000000000000001
trusted.glusterfs.dht=0x0000000100000000000000007ffffffe
trusted.glusterfs.volume-id=0xcfea514ccdce4ae4bcd9bf56f41732712.9.4 挂载卷并触发自愈
In GlusterH01:
1）将卷挂到mnt目录下
mount -t glusterfs GH01:/gv0 /mnt2）新建一个卷中不存在的目录并删除
mkdir /mnt/testDir001
rmdir /mnt/testDir0013）设置扩展属性触发自愈
setfattr -n trusted.non-existent-key -v abc /mnt
setfattr -x trusted.non-existent-key /mnt2.9.5 检查当前节点是否挂起xattrs
In GlusterH01:
1）再次查询故障节点的备份节点(gh02)目录的扩展属性
ssh gh02 getfattr -d -m. -e hex /data/brick1/gv0发现如下：
# file: data/brick1/gv0
security.selinux=0x756e636f6e66696e65645f753a6f626a6563745f723a686f6d655f726f6f745f743a733000
trusted.afr.dirty=0x000000000000000000000000
trusted.afr.gv0-client-0=0x000000000000000200000002
trusted.gfid=0x00000000000000000000000000000001
trusted.glusterfs.dht=0x0000000100000000000000007ffffffe
trusted.glusterfs.volume-id=0xcfea514ccdce4ae4bcd9bf56f4173271
getfattr: Removing leading '/' from absolute path names注：留意第4行,表示xattrs已经将源标记为gh02:/data/brick1/gv0
2）检查卷的状态是否显示需要替换
In GlusterH01:
gluster volume heal gv0 info显示如下：
Brick GH01:/data/brick1/gv0
Status: Transport endpoint is not connected
Number of entries: -
Brick GH02:/data/brick1/gv0
/
Status: Connected
Number of entries: 1
Brick GH03:/data/brick1/gv0
Status: Connected
Number of entries: 0
Brick GH04:/data/brick1/gv0
Status: Connected
Number of entries: 0注：状态提示传输端点未连接（第2行）
2.9.6 使用强制提交完成操作
In GlusterH01:
gluster volume replace-brick gv0 GH01:/data/brick1/gv0 GH01:/data/brick1/gv1 commit force提示如下表示正常完成：
volume replace-brick: success: replace-brick commit force operation successful注：也可以将数据恢复到另外一台服务器，详细命令如下（可选）：
gluster peer probe GH05
gluster volume replace-brick gv0 GH01:/data/brick1/gv0 GH05:/data/brick1/gv0 commit force2.9.7 检查存储的在线状态
In GlusterH01:
gluster volume status显示如下：
Status of volume: gv0
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick GH01:/data/brick1/gv1 49153 0 Y 1658
Brick GH02:/data/brick1/gv0 49153 0 Y 1406
Brick GH03:/data/brick1/gv0 49153 0 Y 1371
Brick GH04:/data/brick1/gv0 49153 0 Y 1406
Self-heal Daemon on localhost N/A N/A Y 1663
Self-heal Daemon on GH04 N/A N/A Y 1703
Self-heal Daemon on GH03 N/A N/A Y 1695
Self-heal Daemon on GH02 N/A N/A Y 1726
Task Status of Volume gv0
------------------------------------------------------------------------------
There are no active volume tasks另外，如果更换到其他服务器状态显示如下：
Status of volume: gv0
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick GH05:/data/brick1/gv0 49152 0 Y 1448
Brick GH02:/data/brick1/gv0 49153 0 Y 1270
Brick GH03:/data/brick1/gv0 49153 0 Y 1328
Brick GH04:/data/brick1/gv0 49153 0 Y 1405
Self-heal Daemon on localhost N/A N/A Y 1559
Self-heal Daemon on GH02 N/A N/A Y 1489
Self-heal Daemon on GH03 N/A N/A Y 1479
Self-heal Daemon on GH04 N/A N/A Y 1473
Self-heal Daemon on GH05 N/A N/A Y 1453
Task Status of Volume gv0
------------------------------------------------------------------------------
There are no active volume tasks参阅文档
===================================
官方更换操作：
http://gluster.readthedocs.io/en/latest/Administrator%20Guide/Managing%20Volumes/#shrinking-volumes
gfs故障恢复的更多相关文章
- 典型分布式系统分析: GFS
本文是典型分布式系统分析系列的第二篇,关注的是GFS,一个分布式文件存储系统.在前面介绍MapReduce的时候也提到,MapReduce的原始输入文件和最终输出都是存放在GFS上的,GFS保证了数据 ...
- GFS（Google File System，谷歌文件系统）----（1）读写一致性
GFS副本控制协议--中心化副本控制协议 对于副本集的更新操作有一个中心节点来协调管理,将分布式的并发操作转化为单点的并发操作,从而保证副本集内各节点的一致性.在GFS中,中心节点称之为Primary ...
- Java RMI 实现一个简单的GFS（谷歌文件系统）——背景与设计篇
目录 背景 系统设计 1. 系统功能 2. Master组件 2.1 命名空间 2.2 心跳机制 2.3 故障恢复和容错机制 3. ChunkServer组件 3.1 本地存储 3.2 内存命中机制 ...
- HDFS 与 GFS 的设计差异
后端分布式系列」前面关于 HDFS 的一些文章介绍了它的整体架构和一些关键部件的设计实现要点. 我们知道 HDFS 最早是根据 GFS(Google File System)的论文概念模型来设计实现的 ...
- 故障恢复和恢复模式（Crash Recovery & Recovery Models）
数据库的恢复模型是否影响故障恢复,在简单恢复模式里,你是否会丢失事务?在今天的文章里我想谈下这点,详细讨论下. 恢复模式(Recovery Models) 对于这个问题的最简单的答案是不会:恢复模型不 ...
- VMware下CentOS6.8配置GFS文件系统
1.GFS介绍 GFS简要说明,它有两种: 1. Google文件系统:GFS是GOOGLE实现的是一个可扩展的分布式文件系统,用于大型的.分布式的.对大量数据进行访问的应用.它运行于廉价的普通硬件上 ...
- [MapReduce] Google三驾马车：GFS、MapReduce和Bigtable
声明:此文转载自博客开发团队的博客,尊重原创工作.该文适合学分布式系统之前,作为背景介绍来读. 谈到分布式系统,就不得不提Google的三驾马车:Google FS[1],MapReduce[2],B ...
- Google 云计算中的 GFS 体系结构
google 公司的很多业务具有数据量巨大的特点,为此,google 公司研发了云计算技术.google 云计 算结构中的 google 文件系统是其云计算技术中的三大法宝之一.本文主要介 ...
- 再读GFS论文
http://loopjump.com/gfs_paper_note/ 再读GFS的一些笔记.主要涉及GFS架构.Chunk大小选择的一些折中考量.元数据管理及锁.写数据流程.GFS一致性模型的理解. ...
随机推荐
- connect by prior start with 语句实现树递归查询[百度经验]
TART WITH CONNECT BY PRIOR子句实现递归查询 TART WITH CONNECT BY PRIOR这个语法主要用于查询数据包中的树型结构关系.先看下原始数据时怎么样的吧! 表中 ...
- [k8s]docker calico网络&docker cluster-store
docker cluster-store选项 etcd-calico(bgp)实现docker夸主机通信 配置calico网络 - 启动etcd etcd --listen-client-urls h ...
- (4) MySQL中EXPLAIN执行计划分析
一. 执行计划能告诉我们什么? SQL如何使用索引 联接查询的执行顺序 查询扫描的数据函数 二. 执行计划中的内容 SQL执行计划的输出可能为多行,每一行代表对一个数据库对象的操作 1. ID列 ID ...
- pandas删除缺失数据(pd.dropna()方法)
1.创建带有缺失值的数据库: import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(5, 3), ind ...
- android手机抓wireshark包的步骤-tcpdump(需root权限)
1. 先给手机刷root权限,执行命令: adb root adb remount ok后:把tcpdump放到c盘根目录下:C:\ 2. 执行命令: adb push c:/tcpdump ...
- 教你一招：win10下JDK的安装与环境变量配置
1.到官网下载最新版本的JDK http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.安装JDK,同安装其他软件一样 ...
- 《FPGA全程进阶---实战演练》第七章 让按键恢复平静
1基础理论部分 A:“怎么按键按下去之后,结果不正常?”,B:“按键你消抖了吗?”A:“消什么抖,还要消抖?”, B:“先检测按键变化,然后消抖过滤波动信号,最后输出稳定信号”,A:“我好像漏掉了什 ...
- Oracle Enterprise Linux 6.4 下挂载ISCSI 设备
Oracle Enterprise Linux 6.4 下挂载ISCSI 设备一.发现① 要求安装iscsi客户端软件 yum install iscsi-initiator-utils ② 发现 ...
- Tomcat 7.0安装与配置
下载后解压缩到C盘,重命名为Tomcat-7.0.67,目录最好不要有空格: 以下为Tomcat 7的配置: 首先,右键计算机–>属性–>高级系统设置–>环境变量: 下载好压缩包后 ...
- MySQL主从介绍 准备工作 配置主 配置从 测试主从同步
配置主: • 安装mysql • 修改my.cnf,增加server-id=130和log_bin=xiaobo1 • 添加环境变量 Vim /root/.bash_profile PATH=$PAT ...