Keepalived+LVS DR模式高可用架构实践

Keepalived最初是为LVS设计，专门监控各服务器节点的状态（LVS不带健康检查功能，所以使用keepalived进行健康检查），后来加入了VRRP（虚拟路由热备协议(Virtual Router Redundancy Protocol）功能，防止单点故障，实现了调度节点的高可用。

Keepalived检测每个服务器节点状态，服务器节点异常或工作出现故障，Keepalived将故障点从集群系统中剔除。当故障点恢复后，Keepalived再将其加入到集群系统中。

Keepalived 亮点：

一、可实现VRRP虚拟路由深度解决代理服务器故障自动切换。

二、可以自动配置LVS完美整合Keepalived+lvs功能。

三、Keepalived解决了lvs不带健康检查功能，可实现自动剔除集群故障机器，恢复自动添加。

实践环境准备：

后端web1：192.168.4.100/24  vip：192.168.4.15

后端web2：192.168.4.200/24  vip：192.168.4.15

keepalived：

　　lvs：192.168.4.5 vip:192.168.4.15

　　lvs：192.168.4.6 vip:192.168.4.15

重要要领：

1.因为是结合LVS的DR调度模式所以必须要设定后端服务器伪装IP，设置内核参数禁止申告和回应本地回环lo的arp请求，请参考上一篇博客操作：LVS DR模式实践 但是需要这里是使用keepalived+lvs

在两台lvs服务器上安装keepalived 和 ipvsadm 并设置自动开机启动，并清空已有的lvs规则。

yum install -y keepalived ipvsadm && systemctl enable keepalived && ipvsadm -C

编辑keepalived配置文件

! Configuration File for keepalived

global_defs {   　　　　　　　　　　　 //全局配置
　　notification_email {
　　　　qinghualai@foxmail.com    　　//故障报警接收人邮箱
　　}
　　notification_email_from qinghualai@keepalived.com     //需要先配置postfix
　　　　smtp_server 192.168.4.20      //smtp服务器
　　　　smtp_connect_timeout 30      //smtp连接超时时间设定
　　　　router_id    keepalived5　　  //路由ID，必须为唯一
　　　　vrrp_skip_check_adv_addr
　　　　vrrp_strict
　　　　vrrp_garp_interval 0
　　　　vrrp_gna_interval 0
　　}

　　vrrp_instance VI_1 {　　//vrrp配置

　　　　state MASTER     //主服务器设置为MASTER(备用服务器为BACKUP)
　　　　interface eth0       //定义网卡接口名
　　　　virtual_router_id 161    //虚拟路由器ID，主备必须要一致，默认51为了安全修改成其他的id号
　　　　priority 100　　　　　//服务器优先级，优先级越高则优先获取VIP
　　　　advert_int 1
　　　　authentication {　　　　//虚拟路由认证
　　　　　　auth_type PASS　　　　//使用密码
　　　　　　auth_pass 999520　　　　　//修改默认密码主备必须一致才能认证成功。
　　　　}
　　　　virtual_ipaddress {　　//VIP配置地址
　　　　　　192.168.4.15/24
　　　　}

}

　　virtual_server 192.168.4.15 80 {     //LVS虚拟服务器规则配置

　　　　delay_loop 6
　　　　lb_algo wlc　　　　　　　　　　//LVS调度算法  这里使用的wlc，加权最小连接算法
　　　　lb_kind DR　　　　　　　　　 //LVS调度模式，有NAT和DR默认是NAT 
#　　　　persistence_timeout 50　　　　//持续时间50s 一般情况这种情况把这句去掉，客户端在一定时间内始终访问相同服务器
　　　　protocol TCP　　　　　　　　　//协议类型TCP协议　　

　　　　real_server 192.168.4.100 80 {
　　　　weight 1     　　　　　　　　　　//服务器权重值，权重值越大访问量越大。
　　　　HTTP_GET {　　　　　　　　　　//健康检查默认支持TCP_CHECK{} HTTP_GET{} SSL_GET{} 和自定义脚本检查
　　　　　　url { 　　　　　　　　　　//检测的页面支持多个url检查

　　　　　　　　path /index.html　　　//检测的url值
　　　　　　　　digest 66ee606d5019d75f83836eeb295c6b6f    //校验的md5值
　　　　　　}

　　　　　　connect_timeout 3　　　　//连接超时时间，健康检查判断时间
　　　　　　nb_get_retry 3　　　　　　//重试次数
　　　　　　delay_before_retry 3　　　　//每隔多少秒做一次健康检查
　　　　}

　　　　real_server 192.168.4.200 80 {
　　　　weight 2
　　　　HTTP_GET {

　　　　　　url {

　　　　　　　　path /index.html
　　　　　　　　digest 699d00db64614eb287931b977d5c047f
　　　　　　}

　　　　　　connect_timeout 3
　　　　　　nb_get_retry 3
　　　　　　delay_before_retry 3
　　　　}
　　}

}

配置好主从节点后重启服务

systemctl restart keepalived

然后记得一定要清空iptables

iptables -F

重要要领：

1.服务器健康检查中TCP_CHECK{}和SSL_GET{}仅检查端口，HTTP_GET{}不仅检查端口还通过校验码去校验多个网页的md5值，查看是否网页遭受到篡改。

测试结果：

故障排错：

1.ping不通虚拟路由ip   在keepalived master节点上看虚拟路由ip是否绑定在了设定的网卡接口上，如果有那么请使用iptables -F清空规则试试。

2.停掉keepalived master如果没有自动切换到backup节点上，先看服务状态和日志进行排查多半是配置文件问题，虚拟路由ID 主从是否一致？  网络中是否还有其他vrrp协议ID和这边使用的一致？ 内核是否打开包转发？ 是否后端设定了vip？ 后端设定了vip是否有将广播设定不宣告不回应？