keepalived的功能及DR模式搭建笔记

一、HA集群中的相关术语

1.节点（node）

运行HA进程的一个独立主机，称为节点，节点是HA的核心组成部分，每个节点上运行着操作系统和高可用软件服务，在高可用集群中，节点有主次之分，分别称之为主节点/备份节点，每个节点拥有唯一的主机名，并且拥有属于自己的一组资源，例如，磁盘，文件系统，网络地址和应用服务等，主节点上一般运行着一个或多个应用服务，而备节点一般处于监控状态

2.资源（resource）

资源是一个节点可以控制的实体，并且当节点发生故障时，这些资源能够被其他节点接管，HA集群软件中，可以当做资源的实体有：

（1）磁盘分区、文件系统

（2）IP地址VIP

（3）应用程序服务

（4）NFS文件系统

3.事件（event）

也就是集群中可能发生的事情，例如节点系统故障，网络连通故障，网卡故障，应用程序故障等，这些事情都会发生节点资源发生转移，HA的测试也是基于这些事情来进行的

4.动作（action）

事件发生时HA的响应方式，动作是由shell脚本控制的，例如当某个节点发生故障后，备份节点将通过事先设定好的执行脚本进行服务的关闭或启动，进而接管故障节点的资源

二、keepalived简介

keepalived 是linux下一个轻量级的高可用解决方案，它与HACMP实现功能类似，都可以实现服务或者网络的高可用，但是又有差别：hacmp是一个专业的、功能完善的高可用软件，它提供了HA软件所需的基本功能，比如心跳检测和资源接管，检测集群中的系统服务，在集群节点间转移共享ip地址所有者等，hacmp功能强大，但是部署和使用相对麻烦，同时也是商业化软件，与hacmp相比，keepalived主要是通过虚拟路由冗余来实现高可用功能，虽然他没有hacmp功能强大，但是keepalived部署使用相对简单，所有配置只需要一个配置文件即可完成.-+

三、keepalived的用途

keepalived起初是为lvs设计的，专门用来监控集群系统中各个服务节点的状态，它根据layer3,4 & 5交换机制检测每个服务节点的状态，如果某个服务节点出现异常，或工作出现故障，keepaived将检测到，并将出现故障的服务节点从集群系统中剔除，而在故障节点恢复正常后，keepalived又可以自动将此服务节点重新加入到集群中，这些工作全部自动完成，不需要人工干预，需要人工完成的只是修复故障节点。

keepalived后来又加入了VRRP 的功能，VRRP是Virtual Router Redundancy Protocol（虚拟路由器冗余协议）的缩写，它出现的目的是为了解决静态路由出现的单点故障问题，通过VRRP可以实现网络不间断的、稳定的运行，因此，keepalived一方面具有服务器状态监测和故障隔离功能，另一方面也具有HA Cluster功能，下面详细介绍下VRRP协议的实现过程

四、VRRP协议与工作原理

在现实的网络环境中，主机之间的通信都是通过配置静态路由完成的，而主机之间的路由器一旦出现故障，通信就会失败，因此在这种通信模式中，路由器就成了一个单点瓶颈，为了解决这个问题就引入了VRRP协议

VRRP协议是一种主备模式的协议，通过VRRP可以在网络发生故障时透明地进行设备切换不影响主机间的数据通信，这其中涉及两个概念：物理路由器和虚拟路由器

VRRP可以将两台或者多台物理路由器设备虚拟成一个虚拟路由器，这个虚拟路由器通过虚拟IP（一个或多个）对外提供服务，二在虚拟路由器内部，是多个物理路由器协同工作，同一时间只有一台物理路由器对外提供服务，这台物理路由器被称之为主路由器（处于master状态角色）。它拥有对外提供的虚拟ip，提供各种网络功能，比如arp请求、icmp、数据转发等，二其他物理路由器不拥有对外提供的虚拟ip，也不提供对外网络功能，仅仅接收master的vrrp状态通告信息，这些路由器被统称为备份路由器（处于backup角色）。当主路由器失效时，处于backup角色的备份路由器将重新进行选举，产生一个新的主路由器进入master角色继续对外服务，整个切换过程对于用户来说完全透明

在一个虚拟路由器中，只有处于master角色的路由器会一直发送vrrp数据包，处于backup角色的路由器只接受master发过来的报文信息，用来监控master运行状态，因此，不会发生master抢占的现象，除非它的优先级更高，而当master不可用时，backup也就无法收到master发过来的报文信息，于是就认定master出现故障，接着多台backup就会进行选举，优先级最高的backup将成为新的master，这种选举并进行角色的过程非常快，因此也就保证了服务的持续可用性

五、keepalived的体系结构

keepaived是一个高度模块化的软件，结构简单，但扩展性很强，下图是官方给出的keepalived的体系结构

可以看出来，keepalived的体系结构从整体上分为两层，分别是用户空间层和内核空间层。下面介绍一个keepalived两层结构的详细组成及实现的功能。

内核空间层处于最底层，它包括ipvs和netlink两个模块。ipvs模块是keepalived引入的一个第三方模块，通过ipvs可以实现基于ip的负载均衡集群。ipvs默认包含在lvs集群软件中。

这里有一个误区，由于keepalived可以和ipvs一起很好的工作，所以很多初学者都认为keepalived是一个负载均衡的软件，这种理解是错误的

内核模块:

IPVS:主要用于通过IPVS跟lvs进行整合，是lvs的核心模块，跟lvs一块使用的

NETLINK:主要实现一些网络的功能

用户模块:主要用于高可用

checker:检查服务状态

vrrp stack:用于DS高可用

六、keepalived安装与配置

首先准备构建集群的4台设备

direct_server1：192.168.11.136

direct_server2：192.168.11.141

real_server1：192.168.11.138

real_server2：192.168.11.140

DS1与DS2端：

# yum install keepalived
# yum -y install ipvsadm
# yum -y install httpd*
# ifconfig ens33: 192.168.11.250 broadcast 192.168.11.250 netmask 255.255.255.255 up
# route add -host 192.168.11.250 dev ens33:
# vim /dev/sysconfig/ipvsadm  随便编辑一下

yum安装keepalived默认配置文件在/etc/keepalived/keepalived.conf

配置文件主要分为三类分别是：

（1）全局配置

（2）VRRP配置     （ds）

（3）LVS配置       （监控real_server）

! Configuration File for keepalived
　　　　　　　　　　　　　　　　#全局配置
global_defs {

notification_email
{

　　　　　　　　　　　　　　　　#可以输入收件人地址

}             　　　　　　　　　　　　#邮件服务器

}

VRRP配置

vrrp_instance
VI_1 {

state
MASTER （BACKUP）          #角色类型MASTER|(BACKUP)

interface
ens33                                #网卡名称

virtual_router_id
51                   　　#虚拟路由id（需要与BACKUP一致）

priority
100                                　　#优先级

advert_int
1                               　　#ds之间每1秒检查一次

#nopreempt                           　　    #非抢占模式（需要将MASTER改成BACKUP      才可用）

authentication
{

auth_type PASS                 　　　　#认证类型 （主备之间必须一样）

auth_pass 1111                 　　　　 #认证密码（主备之间必须一样）

}

virtual_ipaddress
{

192.168.11.250                   　　　　#虚拟ip（vip）

}

}

#LVS配置

virtual_server
192.168.11.250 80 {

delay_loop
3                            　　  #健康检查时间间隔

lb_algo rr                                　　   #负载均衡调度算法

lb_kind DR                               　　  #负载均衡转发规则

protocol
TCP                            　　 #协议

real_server
192.168.11.138 80 {     #要监控的real_server的ip和端口号

weight 1                                   　　 #权重（分配连接的权重）

TCP_CHECK {                       　　  #基于tcp协议的检查

connect_timeout
3              　　      #连接时间超时

retry 3                                              #重连次数

delay_before_retry
3                       #重连间隔时间

}

}

real_server
192.168.11.140 80 {

weight 1

TCP_CHECK {

connect_timeout
3

retry 3

delay_before_retry
3

}

}

}

#systemctl start ipvsadm.service
#systemctl start httpd.service
#systemctl start keepalivrd.service

 RS1与RS2端：

# yum -y install httpd*
# ifconfig lo: 192.168.11.250 broadcast 192.168.11.250 netmask 255.255.255.255 up
# route add -host 192.168.11.250 dev lo:
# echo "">/proc/sys/net/ipv4/conf/lo/arp_ignore
# echo "">/proc/sys/net/ipv4/conf/lo/arp_announce
# echo "">/proc/sys/net/ipv4/conf/all/arp_ignore
# echo "">/proc/sys/net/ipv4/conf/all/arp_announce
# vim /etc/www/html/index.html
              <h1>this is (或者140) host</h1>  (测试用）
测试：# curl 192.168.11.250

上述配置虽然可以预防RS的单点故障，但是DS的单点故障并没有消除，所以需要给DS在加一个备份机器

上述配置中拷贝一份到备机上可以用scp keepalived.conf root@192.168.11.141:/etc/keepalived

需要改写的地方：

state
MASTER #角色类型MASTER|BACKUP

priority 55
#优先级（这里需要设置比master机器小的值）