高可用与负载均衡（7）之聊聊Lvs-DR+Keepalived的解决方案

今天直接开门见山了，直接说配置吧。首先介绍下我这的环境

如有问题，请联系我18500777133@sina.cn

IP	安装软件
192.168.1.7	lvs1+keepalived master角色
192.168.1.8	lvs2+keepalived backup角色
192.168.1.6	web1-Nginx
192.168.1.4	web2-Nginx

keepalived的vip是192.168.1.200，系统环境都是CentOs6.6 64位。

需要注意的是：

第一：确保client能够直接访问web服务器。因为在LVS-DR模式下web服务器回复client的时候，是直接回复给client的，不需要经过LVS，所以web服务器必须能够和client的网络互通。

第二，lvs服务器和web-server他们必须在同一个网段内，因为LVS转发包的时候，是直接修改了包目标的MAC地址，直接扔给了rs，基于MAC地址的修改是活动在OSI二层数据链路层的，工作在数据链路层的网络设备就是交换机了，所以必须在一个交换机下面，也就是一个局域网内。

第三为啥抑制real-server的ARP，是这样的，我们在DR模式要更改web-server的ARP的模式，arp_ignore为1是说只回答目标IP地址是来访网络接口本地地址的ARP查询请求，我们都在回环接口上配置了一个VIP，当arp模式更改以后，那么如果有谁在请求VIP的mac地址时，那么那些web-server就会回答arp广播报文了，只有lvs才会，如果没有更改arp模式，那么大家都喊我是VIP,这就乱套了。

LVS+keepalived的调整

我们首先在LVS1和LVS2上开启路由转发的功能

[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1    #编辑这行
[root@localhost ~]# sysctl -p
net.ipv4.ip_forward = 1

接下来安装keepalived，我这里采用yum安装，命令yum install keepalived的，安装完系统自带的yum源即可，安装完之后配置keepalived。

先看keepalived master的配置文件

[root@localhost ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {            # 全局设置
   notification_email {    # 设置报警邮件地址
    18500777133@sina.cn
   }
   notification_email_from Alexandre.Cassen@firewall.loc   # 设置邮件的发送地址
   router_id test-1         # 表示该台服务的ID
}
vrrp_sync_group vg_1 {               # vrryp 同步组，组成员是vrrp实例的名字。
    group {
        VI_1
    }
}

vrrp_instance VI_1 {               # vrrp 实例
    state MASTER                   #master状态
    interface eth0
    virtual_router_id 51           # master和backup的id一致
    priority 100
    advert_int 1                   # master和backup之间的检测时间
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.200/32 dev eth0          # 设置虚拟IP
    }
}

virtual_server 192.168.1.200 80 {    # 设置虚拟服务器，ip端口以及花边号用逗号隔开
    delay_loop 5         # 设置运行情况检查时间，单位是秒
    lb_algo rr           # 负载算法，这里是rr表示轮询
    lb_kind DR           # LVS工作机制，这里是DR模式
    persistence_timeout 50    # 会话保持时间，单位是秒，这个选项对动态网页非常有帮助，为集群系统中的session共享提供了一个很好的解决方案，有了这个会话保持功能，用户的请求会被一直分发到某个服务节点，知道超过这个会话的保持时间，需要注意的是，这个会话保持时间是最大无响应的超时时间，in other words，用户在动态页面50秒以内没有执行任何操作，那么接下来的操作会重新调度到另一个节点上。如果一直在操作则不会影响
    protocol TCP   # 有TCP,UDP,好像还有哦http。

    real_server 192.168.1.6 80  {     #设定真实服务器地址以及端口，
        weight 1         # 设置权重，数字越低，调度的比例越小。
        HTTP_GET {      #以http模式检查该服务器监控状态
            url {
              path /      # 检测的网页路径
              digest e3eb0a1df437f3f97a64aca5952c8ea0      # 采用genhash命令获取
            }
            connect_timeout 1   # 连接超时时间，
            connect_port 80      连接的端口，
            nb_get_retry 3        # 表示重试次数，
            delay_before_retry 1   # 表示重试间隔。
        }
    }

    real_server 192.168.1.4 80  {
        weight 1
        HTTP_GET {
            url {
              path /test.html
              digest 1181c1834012245d785120e3505ed169
            }
            connect_timeout 2
            connect_port 80
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}

再看看keepalived的backup配置：

[root@localhost ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   notification_email {
    18500777133@sina.cn
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   router_id test-2
}

vrrp_sync_group vg_1 {
    group {
        VI_1
    }
}

vrrp_instance VI_1 {
    state BACKUP            # backup状态
    interface eth0
    virtual_router_id 51      # master和backup的id一致
    priority 90              #优先级比master低些
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.200/32 dev eth0
    }
}

virtual_server 192.168.1.200 80 {
    delay_loop 5
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.1.6 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              digest e3eb0a1df437f3f97a64aca5952c8ea0
            }
            connect_timeout 1
            connect_port 80
            nb_get_retry 3
            delay_before_retry 1
        }
    }

    real_server 192.168.1.4 80  {
        weight 1
        HTTP_GET {
            url {
              path /test.html
              digest 1181c1834012245d785120e3505ed169
            }
            connect_timeout 2
            connect_port 80
            nb_get_retry 3
            delay_before_retry 1
        }
    }

}

我们这会用genhash来获取web服务 url的校验码：

[root@localhost ~]# genhash -s 192.168.45.128 -p 80 -u /
MD5SUM = e3eb0a1df437f3f97a64aca5952c8ea0         # 把这个校验码放在keepalived的配置文件即可。

配置完后，暂且不着急启动keepalived的服务。我们先行配置web服务器。

Web服务器的调整

两台web服务器都做同样的操作

首先更改sysctl.conf的配置文件。命令如下：

root@leo-virtual-machine:~# cat /etc/sysctl.conf
net.ipv4.conf.eth0.arp_ignore = 1
net.ipv4.conf.eth0.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
root@leo-virtual-machine:~# sysctl -p   #使其刚才的配置立即生效

添加虚拟IP以及路由，命令如下：

root@leo-virtual-machine:~# ifconfig lo:0 192.168.1.200 netmask 255.255.255.255 broadcast 192.168.1.200 up
@root@leo-virtual-machine:~# route add -host 192.168.1.200 dev lo:0         #先不添加这路由，如果出现无法访问的时候再添加也不迟

个人建议不要忘记在rc.local里面写入增加VIP的添加命令，省去开机后人工配置的麻烦：

@root@leo-virtual-machine:~# cat /etc/rc.local
ifconfig lo:0 192.168.1.200 netmask 255.255.255.255 broadcast 192.168.1.200
route add -host 192.168.1.200 dev lo:0

完成之后，后端启动httpd服务

启动keepalived的服务

在master服务器上启动

[root@localhost ~]# service  keepalived start
[root@localhost ~]# tail /var/log/messages -f     # 查看keepalived的日志，确保服务启动正常
'''
Nov 19 17:09:28 localhost Keepalived_healthcheckers[14376]: Using LinkWatch kernel netlink reflector...
Nov 19 17:09:28 localhost Keepalived_healthcheckers[14376]: Activating healthchecker for service [192.168.1.6]:80   # 后端real-server校验成功，可以提供服务
Nov 19 17:09:28 localhost Keepalived_healthcheckers[14376]: Activating healthchecker for service [192.168.1.4]:80   # 后端real-server校验成功，可以提供服务
Nov 19 17:09:28 localhost Keepalived_vrrp[14377]: VRRP_Instance(VI_1) Transition to MASTER STATE        # 设置本机为master角色
Nov 19 17:09:28 localhost Keepalived_vrrp[14377]: VRRP_Instance(VI_1) Received lower prio advert, forcing new election
Nov 19 17:09:28 localhost Keepalived_vrrp[14377]: VRRP_Group(vg_1) Syncing instances to MASTER state
Nov 19 17:09:29 localhost Keepalived_vrrp[14377]: VRRP_Instance(VI_1) Entering MASTER STATE
Nov 19 17:09:29 localhost Keepalived_vrrp[14377]: VRRP_Instance(VI_1) setting protocol VIPs.    #设置VIP到本机上
Nov 19 17:09:29 localhost Keepalived_vrrp[14377]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.200     

[root@localhost ~]# ip a|grep 'inet '
    inet 127.0.0.1/8 scope host lo
    inet 192.168.1.7/24 brd 192.168.1.255 scope global eth0
    inet 192.168.1.200/32 scope global eth0    # VIP已经在了。
You have new mail in /var/spool/mail/root

在backup以同样的命令启动keepalived的，测试负载功能和高可用功能。

检测服务是否可以高可用以及负载均衡

1 在keepalived的master上停止keepalived的服务，模拟服务器宕机啦。等2秒后，到keepalived的backup服务器上查看VIP是否漂移过去。此时用浏览器继续访问192.168.1.200，看web服务器能够正常响应。且注意网页，看是不是负载均的效果（根据权重，权重高的服务提供的网页次数多。）

2 在第一步的基础上，我们在keepalived的master上重新启动keepalived的服务，等待3秒后，看VIP是否正常切回，切回后检测web服务器是否可用。