centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课

centos   HA高可用集群  heartbeat搭建 heartbeat测试  主上停止heartbeat服务  测试脑裂  两边都禁用ping仲裁  第三十二节课

heartbeat是Linux-ha项目中的一个组件

http://linux-ha.org/wiki/Main_Page

一般服务器都有两个网卡或者都有串口，一个网卡专门心跳，或者用串口线 做心跳线 ，COM口串口不能设置ip

上半节课

heartbeat搭建

下半节课

heartbeat测试
主上停止heartbeat服务
测试脑裂 
两边都禁用ping仲裁

HA 即 （high available）高可用，又被叫做双机热备，用于关键性业务。 简单理解就是，有两台机器A和B，正常是A提供服务，B待命闲置
当A宕机或服务宕掉，会切换至B机器继续提供服务。常用实现高可用的开源软件有heartbeat和keepalived，其中keepalived有负载均衡的功能。

下面我们使用heartbeat来做HA集群，并且把nginx服务作为HA对应的服务。

试验准备：

eth0：业务网卡
eth1：心跳网卡

主服务器有两个资源 1、nginx服务  2、VIP

三个机器, 都是centos6.5，两个业务网卡eth0 ip如下：

aming ：192.168.31.166
aming1 ：192.168.31.100
仲裁 192.168.21.1

VIP:192.168.31.110

两个心跳eth1 ip如下，要能够互相ping通：
aming ：192.168.21.166
aming1： 192.168.21.100

如何添加心跳网卡：复制eth0 -》eth1
然后uuid删除掉，mac地址删除掉，只配ip就行和掩码就行

心跳网卡不需要设置网关，因为它不需要上网

eth1配置

启动网卡
ifup eth1

下面操作1-5都是在两个机器上操作

1. hostname 设置好，分别为aming 和 aming1

2. 关闭防火墙 iptables -F;
关闭selinux： setenforce 0

3. vi /etc/hosts // 增加内容如下：
192.168.31.166 aming
192.168.31.100 aming1

4. 两个机器都安装epel扩展源：

yum install -y epel-release
#rpm -ivh 'http://www.lishiming.net/data/attachment/forum/epel-release-6-8_32.noarch.rpm'

5. 两个机器都安装heartbeat / libnet

同时还需要安装libnet工具包，libnet是一个高层次的API工具(https://sourceforge.net/projects/libnet-dev/)
yum install -y heartbeat* libnet nginx

6. 主上（aming）配置
cd /usr/share/doc/heartbeat-3.0.4/
cp authkeys ha.cf haresources  /etc/ha.d/
cd /etc/ha.d
vi authkeys //加入

//验证加密方式，两台HA机器之间的暗号
auth
# crc
# sha1 HI!    //sha1更安全
 md5 Hello!

chmod 600 authkeys

vi haresources //加入

aming 192.168.31.110//eth0:   nginx  //指定虚拟vip 网段 虚拟网卡 aming这台机上的eth0已经有ip了，需要新建一个eth0:0  和承载HA的应用服务 ，注意要确保nginx已经在/etc/init.d/下，否则heartbeat会找不到nginx

vi ha.cf //改为如下内容：

debugfile /var/log/ha-debug    //高可用服务例如nginx 切换不了 启动不起来的调试信息
logfile /var/log/ha-log      //日志
logfacility local0     //日志级别
keepalive       //心跳检测间隔  单位：秒
deadtime      //认为死掉的时间 单位：秒
warntime      //不确定是否死掉 先发警告
initdead      //再次检测是否死掉 可以判断机器是否是重启的状况
udpport       //使用udp方式检测  udp端口号
ucast eth1 192.168.21.100    //ucast ip单播的形式只发送到指定ip，bcast 广播形式发送到所有机器 注意要写对方的ip和网卡
auto_failback on        //主节点起来之后是否自动failback回去
node aming   //主节点  写hosts是因为在ha.cf里只能写主机名不能写ip，主备都需要绑定hosts文件
node aming1  //从节点
ping 192.168.21.1    // 192.168.21.1为仲裁节点
respawn hacluster /usr/lib/heartbeat/ipfail  //当启动heartbeat时同时启动ipfail来检测心跳 注意：要ls /usr/lib/heartbeat/ipfail 看一下是否有这个文件，还要注意如果是64位系统，可能在/usr/lib64/heartbeat/ipfail ，hacluster为启动heartbeat时的用户 ，也就是说ipfail和heartbeat都是用hacluster这个用户来运行

7. 把主上的三个配置拷贝到从上：
cd /etc/ha.d/
scp authkeys ha.cf haresources   aming1:/etc/ha.d/

8. 到从上(aming1) 编辑ha.cf
vi /etc/ha.d/ha.cf //只需要更改一个地方
ucast eth1 192.168.21.100 改为 ucast eth1 192.168.21.166

9. 启动heartbeat :
先stop nginx ，因为heartbeat 带动nginx启动 ，先主，后从（这里主上启动heartbeat会有点长，因为它要等从启动好heartbeat之后它才真正启动）
service heartbeat start

查看日志

less /var/log/ha-log

启动ipfail服务

ipfail是一个进程，它不会监听端口

less  /var/log/ha-log

tcpdump -nn -i eth1 not port 22

694 udp端口

icmp

10. 检查测试
ifconfig 看是否有 eth0:0
ps aux |grep nginx 看是否有nginx进程

11. 测试1
主上故意禁ping
iptables -I INPUT -p icmp -j DROP

主上运行下面语句

tail -f /var/log/ha-log

从上运行下面语句

tail -f /var/log/ha-log

12. 测试2
主上停止heartbeat服务
service heartbeat stop

13. 测试脑裂 为了保证不出现脑裂，一定要保证心跳线的可靠，单独网卡做心跳网卡，最好直连串口不经过交换机
主和从上都down掉eth1网卡

主
ifdown eth1

从
ifdown eth1

恢复 这时候nginx和vip都在从上

主

ifup eth1

/etc/init.d/heartbeat restart  //重启主上的heartbeat服务，时间可能要1分钟

因为设置了auto_failback on，所以主重启完heartbeat服务之后会把nginx和vip  failback回来

从

ifup eth1

14、两边都禁用ping仲裁

主

iptables -I INPUT -s 192.168.21.1 -j DROP

tail -f /var/log/ha-log

从

iptables -I INPUT -s 192.168.21.1 -j DROP

注意：如果把从的heartbeat服务停止，那么主的heartbeat服务也会停止，nginx和vip都会停止

因为主从要保证HA必须两边的heartbeat服务是没有问题的

这也是主启动heartbeat服务慢的原因：先主，后从（这里主上启动heartbeat会有点长，因为它要等从启动好heartbeat之后它才真正启动）

扩展学习

关于heartbeat配置文件参考文档： http://blog.chinaunix.net/uid-20749043-id-1878328.html
heartbeat和keepalived比较 http://blog.csdn.net/yunhua_lee/article/details/9788433 http://zhengdl126.iteye.com/blog/1738012
DRBD工作原理和配置 http://502245466.blog.51cto.com/7559397/1298945

---

扩展阅读

高可用开源方案 Keepalived VS Heartbeat对比
http://www.kuqin.com/shuoit/20140623/340745.html

最近因为项目需要，简单的试用了两款高可用开源方案：Keepalived和Heartbeat。两者都很流行，但差异还是很大的，现将试用过程中的感受以及相关知识点简单总结一下，供大家选择方案的时候参考。

1）Keepalived使用更简单：从安装、配置、使用、维护等角度上对比，Keepalived都比Heartbeat要简单得多，尤其是Heartbeat2.1.4后拆分成3个子项目，安装、配置、使用都比较复杂，尤其是出问题的时候，都不知道具体是哪个子系统出问题了；而Keepalived只有1个安装文件、1个配置文件，配置文件也简单很多；

2）Heartbeat功能更强大：Heartbeat虽然复杂，但功能更强大，配套工具更全，适合做大型集群管理，而Keepalived主要用于集群倒换，基本没有管理功能；

3）协议不同：Keepalived使用VRRP协议进行通信和选举，Heartbeat使用心跳进行通信和选举；Heartbeat除了走网络外，还可以通过串口通信，貌似更可靠；

4）使用方式基本类似：如果要基于两者设计高可用方案，最终都要根据业务需要写自定义的脚本，Keepalived的脚本没有任何约束，随便怎么写都可以；Heartbeat的脚本有约束，即要支持service start/stop/restart这种方式，而且Heartbeart提供了很多默认脚本，简单的绑定ip，启动apache等操作都已经有了；

使用建议：优先使用Keepalived，当Keepalived不够用的时候才选择Heartbeat

f