keepalived+nginx安装

安装keepalived+nginx做为公司服务器前端高可用反向代理

安装nginx

1、yum install -y pcre pcre-devel gcc-c++ zlib zlib-devel openssl openssl-devel

2、cd /usr/local/soft

3、wget http://nginx.org/download/nginx-1.12.2.tar.gz

4、tar -zxvf nginx-1.12.2.tar.gz

5、cd nginx-1.12.2

6、./configure --with-http_stub_status_module #这个模块获取nginx的一些状态，以后zabbix会用到，其他的参数（nginx做反向代理）暂时不需要。具体的参数设置可以看 Nginx编译参数详细介绍

7、make

8、make install

9、firewall-cmd --zone=public --add-port=80/tcp --permanent

10、systemctl restart firewalld.service

安装完成后添加到开机启动

echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local

检查是否启动成功：

netstat -ano|grep 80 有结果输入说明启动成功

nginx的一些命令和详细参数

nginx -s reload|reopen|stop|quit  #重新加载配置|重启|停止|退出 nginx

nginx -t   #测试配置是否有语法错误

nginx [-?hvVtq] [-s signal] [-c filename] [-p prefix] [-g directives]

-?,-h           : 打开帮助信息

-v              : 显示版本信息并退出

-V              : 显示版本和配置选项信息，然后退出

-t              : 检测配置文件是否有语法错误，然后退出

-q              : 在检测配置文件期间屏蔽非错误信息

-s signal       : 给一个 nginx 主进程发送信号：stop（停止）, quit（退出）, reopen（重启）, reload（重新加载配置文件）

-p prefix       : 设置前缀路径（默认是：/usr/local/Cellar/nginx/1.2.6/）

-c filename     : 设置配置文件（默认是：/usr/local/etc/nginx/nginx.conf）

-g directives   : 设置配置文件外的全局指令

安装keepalived

1、yum -y install libnl libnl-devel libnfnetlink-devel

2、tar -zxvf  keepalived-1.3.9.tar.gz

3、cd keepalived-1.3.9

4、./configure --prefix=/usr/local/keepalived

5、make && make install

安装完成后添加到开机启动

echo "/usr/local/keepalived/sbin/keepalived –f /usr/local/keepalived/etc/ keepalived/ keepalived.conf " >> /etc/rc.local

 

keepalived的VIP基本设置

vrrp_instance VI_1 {  

    state MASTER   #指定A节点为主节点 备用节点上设置为BACKUP即可  

    interface eth0   #绑定虚拟IP的网络接口  

    virtual_router_id 51  #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组  

    priority 100   #主节点的优先级（1-254之间），备用节点必须比主节点优先级低  

    advert_int 1   #组播信息发送间隔，两个节点设置必须一样  

    authentication {   #设置验证信息，两个节点必须一致  

        auth_type PASS  

        auth_pass 1111  

    }  

    virtual_ipaddress {   #指定虚拟IP, 两个节点设置必须一样  

        192.168.200.16/24  

        192.168.200.17 /24  

        192.168.200.18 /24  

    }  

}   

按同样的方法配置节点B并修改配置文件，可将A节点的配置文件复制到B节点，并修改以下几项：

router_id  NodeB

state   BACKUP

priority   99

其它项不必修改。

测试及验证：

执行命令 ip a （注意ifconfig命令无法查看到配置的虚拟IP），可以看到节点A已经绑定了16/17/18的ip，此时，拔掉节点A的网线，在节点B上上执行ip a就发现虚拟IP已经绑定到节点B上，再恢复A节点的网线，虚拟IP又绑定回节点A之上。

（主从模式）脑裂问题

上述主从配置方式存在脑裂的可能，即两个节点实际都处于正常工作状态，但是无法接收到彼此的组播通知，这时两个节点均强行绑定虚拟IP，导致不可预料的后果。

这时就需要设置仲裁，即每个节点必须判断自身的状态（应用服务状态及自身网络状态），要实现这两点可使用自定义shell脚本实现，通过周期性地检查自身应用服务状态，并不断ping网关（或其它可靠的参考IP）均可。当自身服务异常、或无法ping通网关，则认为自身出现故障，就应该移除掉虚拟IP(停止keepalived服务即可）。主要借助keepalived提供的vrrp_script及track_script实现：

在keepalived的配置文件最前面加入以下代码，定义一个跟踪脚本：

vrrp_script check_local { #定义一个名称为check_local的检查脚本

script "/usr/local/keepalived/bin/check_local.sh" #shell脚本的路径

interval 5  #运行间隔

}

再在vrrp_instance配置中加入以下代码使用上面定义的检测脚本：

track_script {

check_local

}

我们在/usr/local/keepalived/bin/check_local.sh定义的检测规则可以是：

a.自身web服务故障（超时，http返回状态不是200）

b.无法ping通网关

c.产生以上任何一个问题，均应该移除本机的虚拟IP(停止keepalived实例即可)

但这里有个小问题，如果本机或是网关偶尔出现一次故障，那么我们不能认为是服务故障。更好的做法是如果连续N次检测本机服务不正常或连接N次无法ping通网关，才认为是故障产生，才需要进行故障转移。另一方面，如果脚本检测到故障产生，并停止掉了keepalived服务，那么当故障恢复后，keepalived是无法自动恢复的。我觉得利用独立的脚本以秒级的间隔检查自身服务及网关连接性，再根据故障情况控制keepalived的运行或是停止。

这里提供一个思路，具体脚本内容请大家根据自己的需要编写即可。

（示例）nginx + keepalived 实现HA 主从模式

vi /etc/keepalived/keepalived.conf

编辑文件（主）：

global_defs {

router_id nginx_master

}

#监控服务.NGINX mysql等

vrrp_script chk_nginx {

script "/usr/local/nginx/check_nginx.sh"

interval 2

weight 2

}

vrrp_instance VI_1 {

state MASTER

interface eth0

virtual_router_id 51

priority 101

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.1.254

}

track_script {

chk_nginx  #检测脚本 上面配置的

}

}

vi /etc/keepalived/keepalived.conf

编辑文件（从）：

global_defs {

router_id nginx_backup

}

#监控服务.NGINX mysql等

vrrp_script chk_nginx {

script "/usr/local/nginx/check_nginx.sh"

interval 2

weight 2

}

vrrp_instance VI_1 {

state BACKUP

interface eth0

virtual_router_id 51

priority 99

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.1.254

}

track_script {

chk_nginx  #检测脚本 上面配置的

}

}

脚本/usr/local/nginx/check_nginx.sh"内容：

#!/bin/bash

if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == "" ]

then

/usr/local/nginx/sbin/nginx

sleep 5

if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == "" ]

then

killall keepalived

fi

fi

启动并测试：

1.启动两台机器上的nginx

2.启动两台机器上的keepalived

此时使用命令 ip addr 查看虚拟IP绑定 可以看到主 有，从没有，将主机的keepalived关掉，可以看到vip绑定到了从的上面

使用其他机器访问进行访问

查看是否能够访问，然后让本机的nginx关掉，继续看是否能够访问，如果能够访问则HA配置成功。