Centos6.5搭建RHCS集群-实现GFS+iSCSI网络共享存储

RHCS集群配置

需要用到的各组件功能：
RHCS（Red Hat Cluster Suite）：能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合。
LUCI：是一个基于web的集群配置方式，通过luci可以轻松的搭建一个功能强大的集群系统。
CLVM：Cluster逻辑卷管理，是LVM的扩展，这种扩展允许cluster中的机器使用LVM来管理共享存储。
CMAN：分布式集群管理器。
GFS（Google File System）：以本地文件系统的形式出现。多个Linux机器通过网络共享存储设备，每一台机器都可以将网络共享磁盘看作是本地磁盘，如果某台机器对某个文件执行了写操作，则后来访问此文件的机器就会读到写以后的结果。
 
实验需求：
集群管理/ISCSI共享存储主机IP：192.168.0.40　　主机名：luci.heminjie.com
集群节点一IP：192.168.0.41　　主机名：gfs1.heminjie.com
集群节点二IP：192.168.0.42　　主机名：gfs2.heminjie.com
 
一、【准备工作】
1、修改管理主机和每个节点的hosts文件，保证三台服务器的hosts文件一样。

[root@luci /]# cat /etc/hosts
127.0.0.1 localhost.localdomain
::1 localhost.localdomain
192.168.0.40 luci.heminjie.com
192.168.0.41 gfs1.heminjie.com
192.168.0.42 gfs2.heminjie.com

注：主机名最好使用域名形式，因为之前只用了gfs1这样的主机名，到后来，配置都顺利结束，但重启节点后，发现共享存储挂不上，看到是clvmd启动超时，估计是主机名的原因，解析不到？有待斟酌。
 
2、两台节点上分别关闭selinux、iptables和NetworkManager

[root@gfs2 /]# iptables -F
[root@gfs2 /]# service iptables save
[root@gfs2 /]# chkconfig iptables off
[root@gfs2 /]# sed -i 's/^SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config
[root@gfs2 /]# chkconfig NetworkManager off

注：两台节点上都得操作，操作完后reboot重启两台节点，使配置生效
 
二、【群集管理主机设置】
1、安装并启用luci集群管理

[root@luci /]# yum install luci -y
[root@luci /]# chkconfig luci on
[root@luci /]# service luci start
Point your web browser to https://luci.heminjie.com:8084 (or equivalent) to access luci

这时，你就可以用https://luci.heminjie.com:8084(或https://192.168.0.40:8084)登陆集群web管理界面了，以root登陆即可
 
三、【各节点配置】
1、在两台节点分别yum安装 ricci、rgmanager、cman

[root@gfs1 /]# yum install ricci rgmanager cman -y
[root@gfs1 /]# chkconfig ricci on
[root@gfs1 /]# chkconfig rgmanager on
[root@gfs1 /]# chkconfig cman on
[root@gfs1 /]# service ricci start
[root@gfs1 /]# service rgmanager start
[root@gfs1 /]# service cman start

启动cman如出现错误：
Starting cman... xmlconfig cannot find /etc/cluster/cluster.conf [FAILED]
是因为节点还没有加入集群，没有产生配置文件/etc/cluster/cluster.conf
 
2、在两台节点上给ricci用户设置与root相同的密码

[root@gfs1 /]# passwd ricci

四、【集群web管理界面配置】
1、浏览器打开https://192.168.0.40:8084 输入root和root密码进行登陆
 
2、添加集群
点击Manager Clusters---> Create 创建一个集群，如下图，输入集群名称，添加每个节点的主机名、密码，勾选Download Packages、Reboot Nodes Before Joining Cluster、Enable Shared Storage Support，最后点击Create Cluster创建集群，耐心等待，创建过程中两台节点会重启...

创建成功后显示如下：

在到任意一个节点上去查看集群状态，都是Online，说明集群配置成功。

[root@gfs2 /]# clustat
Cluster Status for gfs @ Thu Jul 17 16:56:30 2014
Member Status: Quorate
 
Member Name 　　　　　　　　　　　　　　　　ID Status
------ ---- 　　　　　　　　　　　　　　　　---- ------
gfs1.heminjie.com 　　　　　　　　　　　　　　1 Online
gfs2.heminjie.com 　　　　　　　　　　　　　　2 Online, Local

PS：这里在集群管理界面不需要添加Fence Devices和Failover Domains了，因为我做集群是为了实现GFS+ISCSI共享存储，并不是做某个服务的集群。