学习GlusterFS（六）

一、GlusterFS概述

分布式文件系统由来

　　在介绍之前我们先来看下文件系统及典型的NFS文件系统。

　　计算机通过文件系统管理，存储数据的。而现在数据信息时代中人们可获取数据成指数倍的增长，单纯通过增加硬盘个数来拓展计算机系统的存储的方式，已经明显不能满足目前的需求。
　　分布式文件系统可以有效解决数据的存储和管理难题，将固定于某个地点的某个文件系统，拓展到多个地点、多个文件系统。众多的节点组成一个文件系统网络，每个节点可以分布在不同的区域的地点，通过网络进行节点间的通信和数据传输。人们无需关系数据存储哪个节点上或从哪个节点获取的，只需要像使用本地文件一样管理和存储文件系统中的数据。

典型代表NFS

　　NFS即网络文件系统，它允许网络计算机之间通过TCP/IP网络共享资源，在NFS应用中，本地的NFS客户端应用可以透明的读取远端NFS服务器上的文件。

优点如下：

　　1.节约使用的磁盘空间

　　客户端经常使用的数据可以集中放在一台机器上，并使用NFS发布，那么网络内部所有计算机可以通过网络访问，不必单独共享。

　　2.节约硬件资源

　　NFS还可以共享软驱，CDROM和ZIP等存储设备，减少整个网络上的可移动设备的数量。

　　3.用户主目录设定

　　对于特殊用户，如管理员等，为了管理的需要，可能会经常登录到网络中所有的计算机，若每个客户端，均保存这个用户的主目录很繁琐，而且不能保证数据的一致性，实际上，经过NFS服务的设定，然后在客户端指定这个用户主目录位置，并自动挂载，就可以在任何计算机上使用用户主目录的文件。

GlusterFS概述

　　GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。
　　GlusterFS支持运行在任何标准的IP网络上标准应用程序客户端，用户可以在全局统一的命名空间使用NFS、CIFS等标准协议来访问应用数据。GlusterFS使用的用户可摆脱原有的独立，高成本的封闭存储系统，能够利用普通廉价的存储设备来部署可集中管理、横向拓展、虚拟化的存储池，存储容量可拓展至TP/PB级.

前glusterfs已rehat收购，官方网站是：https://www.gluster.org/

GlusterFS安装部署

1.安装glusterfs依赖的包

yum install -y centos-release-gluster37.noarch
yum --enablerepo=centos-gulster*-test install gluster-server gluster-cli gluster-geo-replication

二、GlusterFS安装部署实践

2.1GlusterFS安装环境准备

#准备好4台Centos6-x86_64虚拟机 内存1G 数据盘10G 网络选择nat；

每台机器，关闭 selinux iptables并做每台好主机名解析：

　　192.168.10.101 mystorage1
　　192.168.10.102 mystorage2
　　192.168.10.103 mystorage3
　　192.168.10.104 mystorage4

补充说明：

#修改主机名2个位置

1. 修改 /etc/sysconfig/network 另外一个是  /etc/hosts
vi /etc/sysconfig/network
里面有一行 HOSTNAME=localhost.localmain修改成localhost.localdomain作为主机名
/etc/hosts里面有一行 127.0.0.1 localhost.localdomain(主机名hostname)

2.2关闭selinux及iptables

#关闭selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux或
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
#关闭iptables
/etc/init.d/iptables stop
#永久关闭
chkconfig iptables off

2.3安装epel源（4台主机分别执行）

GlusterFS yum 源有部分包依赖epel源
yum -y install epel-release

2.4安装glusterfs源（4台主机分别执行）

wget -P /etc/yum.repos.d/
https://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/RHEL/glusterfs-epel.repo

或者gluster的相关包下载到本地目录

主要包括

glusterfs-3.7.4-2.e16.x86_64.rpm
glusterfs-cli-3.7.4-2.e16.x86_64.rpm
glusterfs-debuginfo-3.7.4-2.e16.x86_64.rpm
glusterfs-geo-replication-3.7.4-2.e16.x86_64.rpm
glusterfs-rdma-3.7.4-2.e16.x86_64.rpm
glusterfs-api-3.7.4-2.e16.x86_64.rpm
glusterfs-client-xlators-3.7.4-2.e16.x86_64.rpm
glusterfs-fuse-3.7.4-2.e16.x86_64.rpm
glusterfs-libs-3.7.4-2.e16.x86_64.rpm
glusterfs-server-3.7.4-2.e16.x86_64.rpm

下载地址：

https://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/CentOS/epel-6.8/x86_64/

例如：（4台主机分别执行）

mkdir -p /opt/glusterfs
执行yum -y install glusterfs-*

一直执行完毕，没有报错的话，glusterfs安装完毕；

2.5或者yum安装（4台主机分别执行）

yum install -y centos-release-gluster37.noarch
yum --enablerepo=centos-gluster*-test install glusterfs-server glusterfs-cli glusterfs-geo-replication

2.6配置Glusterfs

#查看gluster版本信息

glusterfs -V

#启动停止服务（4台主机分别执行）

/etc/init.d/glusterd start
/etc/init.d/glusterd stop

#添加开机启动（4台主机分别执行）

chkconfig glusterd on

#查看glusterfs的运行状态（4台主机分别执行）

/etc/init.d/glusterd status

2.7存储主机加入信任存储池配置（4台主机分别执行）

说明：每台主机上加入除本机以外对应的其他3台主机的存储池配置

gluster peer probe mystorage2
gluster peer probe mystorage3
gluster peer probe mystorage4

#查看配置连接存储池的状态（4台主机分别执行）

gluster peer status

三、GlusterFS配置实践

3.1 配置之前的准备工作

安装xfs支持包（4台主机分别执行）

yum -y install xfsprogs

fdisk -l #查看磁盘块设备，查看类似的信息

#磁盘分区(这步可以不做)

fdisk /dev/vdb
n
p
1(数字)
回车
w

再次执行fdisk -l查看

说明：如果格式话分区的磁盘大于4T使用 parted命令

生产环境中：磁盘的分区的分区暂时不做。直接对应格式化即可。

#分区格式化，每台机器上执行

mkfs.xfs -f /dev/sdb

#分别在4台机器上 执行

mkdir -p /storage/brick1  #建立挂在块设备的目录
mount /dev/sdb /storage/brick1

执行df -h查看

#开机自动挂载(4台机器中每台执行)

编辑/etc/fstab添加如下

/dev/sdb /storage/brick1 xfs defaults 0 0

或者执行命令：(4台机器中每台执行)

echo "/dev/sdb /storage/brick1 xfs defaults 0 0" >> /etc/fstab

#4台机器中机器分别执行挂载命令

mount -a

#每台机器执行查看挂载情况命令；（4台机器也都自动挂载了）

df -h

3.2创建volume及其操作

　　Distributed，分布卷，算法随机分布到bricks组的卷上。
　　Replicated 复制试卷，类似raid1 replica数必须等于volume中brick所包含存储服务器数，可用性高。
　　Striped，带条带的卷，类似raid0 stripe数必须等于volume中brick所包含的存储服务器数，文件被分割数据模块，以RoundRobin的方式存储在bricks，并发颗粒度是数据块，大文件性能好.
　　Distributed Striped分布式的条带卷，volume中的brick所包含的存储服务器数必须是stripe的倍数（>=2倍）兼顾分布式和条带的功能、（生产环境一般不使用，官方也不推荐）
　　Distributed Relicated分布式的复制卷，volume中brick1所包含的存储服务器数必须是replica的倍数（>=2倍）兼顾分布式和复制的功能。（生产环境使用较多）

情景1:

3.3创建分布卷(任意一台主机执行即可)[意义是跨主机整合磁盘]

gluster volume create gv1 mystorage1:/storage/brick1 mystorage2:/storage/brick1 force

3.4创建启动卷(任意一台主机执行即可)

[root@ mystorage1brick1]# gluster volume start gv1

#查看配置卷的信息

[root@ mystorage1brick1]# gluster volume info

3.5挂载到目录(任意一台主机执行即可)

mount -t glusterfs 127.0.0.1:/gv1 /mnt

3.6#查看挂载后的磁盘(任意一台主机执行即可)

df -h

3.7创建文件查看测试结果

#mystorage1s上创建文件

[root@mystorage1 mnt]# touch a b c dd ddf

#mystorage3查看创建文件

[root@mystorage3 mnt]# ls
a b c dd ddf

情景2:

3.8测试NFS方式挂载及查看数据

[root@mystorage4 /]# umount /mnt/
[root@mystorage4 /]# mount -o mountproto=tcp -t nfs 192.168.56.11:/gv1 /mnt/
[root@mystorage4 /]# df -h
[root@mystorage4 /]# umount /mnt/

#测试挂载另外一台机器

[root@mystorage4 /]# mount -o mountproto=tcp -t nfs 192.168.56.12:/gv1 /mnt/
[root@mystorage4 /]# df -h
[root@mystorage4 /]# umount /mnt/

情景3:

3.9创建分布式复制卷（storage3和storage4）[生产场景推荐使用此种方式]

[root@mystorage1 mnt]# gluster volume create gv2 replica 2 mystorage3:/storage/brick1 mystorage4:/storage/brick1 force
[root@mystorage2 ~]# gluster volume start gv2
[root@mystorage1 mnt]# df -h
[root@mystorage1 mnt]# mount -t glusterfs 127.0.0.1:/gv2 /opt
[root@mystorage1 mnt]# df -h
[root@mystorage1 mnt]# cd /opt/
[root@mystorage1 opt]# touch sdfsd sdf

3.10测试查看分布式复制的数据（storage3和storage4）

[root@mystorage3 mnt]# cd /storage/brick1
[root@mystorage3 brick1]# ls
sdfsd sdf
[root@mystorage4 mnt]# cd /storage/brick1
[root@mystorage4 brick1]# ls
sdfsd sdf

说明：以上两种情况，一是创建分布卷，另外创建分布式复制卷，生产场景中一般使用1个卷（整合多个磁盘到一个卷）使用分布式复制卷场景(情景3)居多。

情景4:

3.11创建分布式条带卷

#创建卷目录（4台主机分别执行）

mkdir -p /storage/brick2

#添加开机启动自动挂载（4台主机分别执行）

echo "/dev/sdc /storage/brick2 xfs defaults 0 0" >>/etc/fstab

#执行挂载（4台主机分别执行）

mount -a

#查看挂载情况（4台主机分别执行）

df -h

#创建分布式条带卷（storage1上执行）

gluster volume create gv3 stripe 2 mystorage3:/storage/brick2 mystorage4:/storage/brick2 force

#启动卷（storage1上执行）

gluster volume start gv3

#查看配置卷信息

gluster volume info

#创建要挂载的目录（分别在4台机器的根上新建gv1 gv2 gv3）

mkdir /gv1 /gv2 /gv3

#执行挂载命令(storage4上执行)(4台机器也可都执行)

mount -t glusterfs 127.0.0.1:gv1 /gv1
mount -t glusterfs 127.0.0.1:gv2 /gv2
mount -t glusterfs 127.0.0.1:gv3 /gv3
df -h

#我们创建一个10M的目录测试（storage4上）

[root@mystorage4 gv3]# ls -a
. .. .trashcan
[root@mystorage4 gv3]# dd if=/dev/zero bs=1024 count=10000 of=/gv3/10M.file
[root@mystorage4 gv3]# dd if=/dev/zero bs=2048 count=10000 of=/gv3/20M.file
[root@mystorage4 gv3]# cd /storage/brick2
[root@mystorage4 brick2]# ls -lh

#进入到storage3上看下

[root@mystorage3 gv3]# cd /storage/brick2
[root@mystorage3 brick2]# ls -lh

对比两边的文件你会发现两个文件被打散分别存储在storage3和storage4上了、

[root@mystorage3 gv3]# ls -lh  #也会看到刚我们创建的两个文件。

#我们在storage3上 gv2目录测试

[root@mystorage3 gv2]# dd if=/dev/zero bs=1024 count=10000 of=/gv2/10M.file
[root@mystorage3 gv2]# dd if=/dev/zero bs=2048 count=10000 of=/gv2/20M.file

#进入到storage3 brick1和storage4 brick1对比查看

[root@mystorage3 brick1]# ls -lh
[root@mystorage4 brick1]# ls -lh

3.12 添加磁盘操作

#停止gv2 数据服务

gluster volume stop gv2

#添加新加的磁盘的到存储池

gluster volume add-brick gv2 replica 2 mystorage1:/storage/brick2 mystorage2:/storage/brick2 force

#启动启动卷

gluster volume start gv2

#取消挂载gv2,重新挂载

umount /gv2
mount -t glusterfs 127.0.0.1:/gv2 /gv2

#查看挂载结果(gv2已经变成20G了)

df -h

#查看gv2卷信息

gluster volume info gv2

注意说明：

当你给分布式复制卷和分布式条带卷中增加bricks时，你增加的bricks的数目必须是复制卷和条带卷数目的倍数。例如：

你给一个分布式复制卷的replica为2 你在增加bricks的时候数量必须为2.4.6.8等。

3.13磁盘存储的平衡：

　　注意；平衡布局是很有必要的，因为布局结构是静态的，当新的bricks加入现有卷，新建的文件会分布在旧的brick中，所以需要平衡布局结构，使新加入的bricks生效，布局只是使新布局生效。并不会在新的布局上移动老的数据，如果想在新布局生效后，重新平衡卷中的数据，还需要对卷中的数据进行平衡。

执行命令：(可在storage1上执行)

gluster volume rebalance gv2 start

#查看执行平衡后同步的状态

gluster volume rebalance gv2 status

3.14移除brick

　　注意：你可能想在线缩小卷的大小。例如：当硬件损坏或者网络故障的时候，你可能想在卷中移除相关的bricks注意，当你移除bricks的时候，你在gluster的挂载点不能继续访问数据，只有配置文件中的信息移除后你才能继续访问bricks的数据。当移除分布式复制卷或者分布式条带卷的时候，移除的bricks数目必须是replica或者stripe的倍数。例如：一个分布式条带卷的stripe是2 当你移除bricks的时候必须是2、4、6、8等。

执行操作：

gluster volume stop gv2

#移除操作

gluster volume remove-brick gv2 replica 2 mystorage3:/storage/brick1 mystorage4:/storage/brick1 force

3.15删除卷

#storege4上看下挂载情况

df -h

#卸载gv1

umount /gv1

#停止卷

gluster volume stop gv1

#删除卷

gluster volume

#查看卷信息

gluster volume info gv1

GlusterFS在企业中应用场景

　　理论和实践分析，GlusterFS目前主要使用大文件存储场景，对于小文件尤其是海量小文件，存储效率和访问性能都表现不佳，海量小文件LOSF问题是工业界和学术界的人工难题，GlusterFS作为通用的分布式文件系统，并没有对小文件额外的优化措施，性能不好也是可以理解的。

Media
　　-文档、图片、音频、视频
　*Shared storage　　
　　-云存储、虚拟化存储、HPC（高性能计算）
　*Big data
　　-日志文件、RFID（射频识别）数据

 

###########################################################################################

一、构建高性能分布式存储基本条件和要求

1.1硬件要求：

　　一般选择2U的机型，磁盘STAT盘4T，如果I/O要求比较高，可以采购SSD固态硬盘。为了充分保证系统的稳定性和性能，要求所有的Glusterfs服务器硬件配置尽量一致，尤其是硬盘数量和大小。机器的RAID卡需要带电池，缓存越大，性能越好，一般情况下建议做RAID10,如果出于空间要求的考虑，需要做RAID5，建议最好能有1-2块硬盘的热备盘。

1.2系统要求和分区划分

　系统要求：
　　　建议使用Centos6.x安装完成后升级到最新版本。
　分区划分：
　　　安装的时候，不要选择LV，建议/boot分区200M分区100G，swap分区和内存一样的大小，剩余空间给gluster使用，划分单独的硬盘空间，系统安装软件没有特殊要求，建议出了开发工具和基本的管理软件，其他软件一律安装。

1.3网络环境

　　网络要求全部千兆环境，gluster服务器至少有2块网卡，1块网卡绑定供gluster使用，另外1块管理网络ip用于系统管理。如果有条件购买万兆交换机，服务器可配置万兆网卡，存储性能会更好，网络方面如果安全性要求较高，可以多网卡绑定。

1.4服务器摆放分布

　　服务器主备要求放在不同的机柜，连接不同的交换机，即使一个机柜出现问题，还有一份数据能够正常访问。



1.5构建高性能高可用存储

　　一般在企业中，采用的是分布式复制卷，因为有数据备份，数据相对安全，分布式条带卷目前对gulsterfs来说没有完全成熟，存储一定的数据安全风险。

补充说明：

　　开启防火墙端口

　　一般在企业中linux的防火墙是打开的，部署gluster服务服务器需要开通如下端口:

命令如下：

iptables -I INPUT -p tcp --dport 24007:24011 -j ACCEPT
iptables -I INPUT -p tcp --dport 38465:38485 -j ACCEPT

部署安装GlusterFS见前面文章https://www.liuliya.com/archive/733.html

二、构建高性能分布式存储实践优化

2.1GlusterFS文件系统优化

Auth_allow　　#IP访问授权；缺省值（*.allow all）；合法值：Ip地址
Cluster.min-free-disk　　#剩余磁盘空间阀值；缺省值（10%）；合法值：百分比
Cluster.stripe-block-size　　#条带大小；缺省值（128KB）；合法值：字节
Network.frame-timeout　　#请求等待时间；缺省值（1800s）；合法值：1-1800
Network.ping-timeout　　#客户端等待时间；缺省值（42s）；合法值：0-42
Nfs.disabled　　#关闭NFS服务；缺省值（Off）；合法值：Off|on
Performance.io-thread-count　　#IO线程数；缺省值（16）；合法值：0-65
Performance.cache-refresh-timeout　　#缓存校验时间；缺省值（1s）；合法值：0-61
Performance.cache-size　　#读缓存大小；缺省值（32MB）；合法值：字节
Performance.quick-read: #优化读取小文件的性能
Performance.read-ahead: #用预读的方式提高读取的性能，有利于应用频繁持续性的访问文件，当应用完成当前数据块读取的时候，下一个数据块就已经准备好了。
Performance.write-behind:先写入缓存内，在写入硬盘，以提高写入的性能。
Performance.io-cache:缓存已经被读过的、

2.2优化参数调整方式

命令格式：
gluster.volume set <卷><参数>

例如：

#打开预读方式访问存储

[root@mystorage gv2]# gluster volume set gv2 performance.read-ahead on

#调整读取缓存的大小

[root@mystorage gv2]# gluster volume set gv2 performance.cache-size 256M

2.3监控及日常维护

　　使用zabbix自带的模板即可，CPU、内存、磁盘空间、主机运行时间、系统load。日常情况要查看服务器监控值，遇到报警要及时处理。

#看下节点有没有在线

gluster volume status nfsp

#启动完全修复

gluster volume heal gv2 full

#查看需要修复的文件

gluster volume heal gv2 info

#查看修复成功的文件

gluster volume heal gv2 info healed

#查看修复失败的文件

gluster volume heal gv2 heal-failed

#查看主机的状态

gluster peer status

#查看脑裂的文件

gluster volume heal gv2 info split-brain

#激活quota功能

gluster volume quota gv2 enable

#关闭quota功能

gulster volume quota gv2 disable

#目录限制（卷中文件夹的大小）

gluster volume quota limit-usage /data/30MB --/gv2/data

#quota信息列表

gluster volume quota gv2 list

#限制目录的quota信息

gluster volume quota gv2 list /data

#设置信息的超时时间

gluster volume set gv2 features.quota-timeout 5

#删除某个目录的quota设置

gluster volume quota gv2 remove /data

备注：

　　quota功能，主要是对挂载点下的某个目录进行空间限额。如：/mnt/gulster/data目录，而不是对组成卷组的空间进行限制。

三、Gluster日常维护及故障处理

3.1硬盘故障

　　因为底层做了raid配置，有硬件故障，直接更换硬盘，会自动同步数据。

如果没有做raid处理方法：

　　1）正常node 执行gluster volume status 记录故障节点uuid
　　2）执行getfattr -d -m '.*' /brick
　　3）记录trusted.glusterfs.volume-id 及trusted.gfid

例如：

[root@mystorage1 gv2]# getfattr -d -m '.*' /storage/brick2

在机器上更换新磁盘，挂载目录

执行如下命令：

setfattr -n trusted.glusterfs.volume-id -v 记录值 brickpath
setfattr -n trusted.gfid -v 记录值 brickpath
/etc/init.d/glusterd restart

3.2主机故障

一台节点故障的情况包括以下情况：

　　a)物理故障；
　　b)同时有多快硬盘故障，造成数据丢失；
　　c)系统损坏不可修复

解决方法：

　　1）找一台完全一样的机器，至少要保证数量和大小一致，安装系统，配置和故障机器同样的ip安装gluster软件，保证配置都一样，在其他健康的节点上执行命令gluster peer status,查看故障服务器的uuid。
　　2）修改新加机器的/var/lib/glusterd/glusterd.info和故障机器的一样。

cat /var/lib/glusterd/glusterd.info
UUID=2e3B51aa-45b2-4cc0-bc44-457d42210ff1

在新机器挂在目录上执行磁盘故障的操作，在任意节点上执行
[root@mystorage1 gv2]# gluster volume heal gv1 full
就会自动开始同步，但是同步的时候会影响整个系统的性能。
　　3）查看状态
[root@drbd01~]# gluster volume heal gv2 info

　　工作Glusterfs还有很多优化的位置点。具体细节官方文档最详细哈。

http://gluster.readthedocs.io/en/latest/Contributors-Guide/Guidelines-For-Maintainers/