基于Nginx+Keepalived的LB服务监控（邮件报警）

IDC两台机器上部署了Nginx+Keepalived主从模式的LB代理负载层，现在需要对LB进行每日巡检和服务监控，利用SendEmail邮件监控。

0）SendEmail部署

参考：http://www.cnblogs.com/kevingrace/p/5961861.html

1）SendEmail脚本配置

[root@NG-LB01 ~]# vim /opt/sendemail.sh
#!/bin/bash
# Filename: SendEmail.sh
# Notes: 使用sendEmail
#
# 脚本的日志文件
LOGFILE="/tmp/Email.log"
:>"$LOGFILE"
exec 1>"$LOGFILE"
exec 2>&1
SMTP_server='smtp.test.com'
username='monit@test.com'
password='monit@123'
from_email_address='monit@test.com'
to_email_address="$1"
message_subject_utf8="$2"
message_body_utf8="$3"
# 转换邮件标题为GB2312，解决邮件标题含有中文，收到邮件显示乱码的问题。
message_subject_gb2312=`iconv -t GB2312 -f UTF-8 << EOF
$message_subject_utf8
EOF`
[ $? -eq 0 ] && message_subject="$message_subject_gb2312" || message_subject="$message_subject_utf8"
# 转换邮件内容为GB2312，解决收到邮件内容乱码
message_body_gb2312=`iconv -t GB2312 -f UTF-8 << EOF
$message_body_utf8
EOF`
[ $? -eq 0 ] && message_body="$message_body_gb2312" || message_body="$message_body_utf8"
# 发送邮件
sendEmail='/usr/local/bin/sendEmail'
set -x
$sendEmail -s "$SMTP_server" -xu "$username" -xp "$password" -f "$from_email_address" -t "$to_email_address" -u "$message_subject" -m "$message_body" -o message-content-type=text -o message-charset=gb2312

发送邮件测试（发送邮件到kevin@test.com邮箱里）：
[root@NG-LB01 ~]# chmod 755 /opt/sendemail.sh
[root@NG-LB01 ~]# /opt/sendemail.sh  kevin@test.con "邮件测试" "sendemail发送邮件啦!"

2）LB每日巡检脚本（VIP资源为10.0.11.26）

[root@NG-LB01 ~]# cat /opt/LB_CHECK.sh
#!/bin/bash
HOSTNAME=$(hostname)
IP=$(ifconfig|grep 10.0.11|awk '{print $2}'|cut -d":" -f2)
DATE=$(date +%Y.%m.%d-%H.%M.%S)

NUM1=$(ps -ef|grep nginx|grep -v grep|wc -l)
NUM2=$(ps -ef|grep keepalived|grep -v grep|wc -l)
NUM3=$(ip addr|grep 10.0.11.26|grep -v grep|wc -l)

if [ $NUM1 -ne 0 -a $NUM2 -ne 0 -a $NUM3 -ne 0 ];then
  /bin/bash /opt/sendemail.sh kevin@test.com "IDC外网LB每日巡检" "各位兄弟，注意啦! \nIDC外网LB目前健康快乐地跑在$HOSTNAME-$IP服务器上呢，一切正常! \n大伙儿可以放心地去钓鱼吧"
fi

每天早上8:30进行巡检
[root@NG-LB01 ~]# chmod 755 /opt/LB_CHECK.sh
[root@NG-LB01 ~]# crontab -l
30 8 * * * source /etc/profile;/bin/bash -x /opt/LB_CHECK.sh > /dev/null 2>&1

由于手动执行脚本没问题，而在crontab里定时自动执行可能会出现问题，故加上source /etc/profile

3）LB监控脚本

[root@NG-LB01 ~]# cat /opt/LB_MONIT.sh
#!/bin/bash
HOSTNAME=$(hostname)
IP=$(ifconfig|grep 10.0.11|awk '{print $2}'|cut -d":" -f2)
DATE=$(date +%Y.%m.%d-%H.%M.%S)

NUM1=$(ps -ef|grep nginx|grep -v grep|wc -l)
NUM2=$(ps -ef|grep keepalived|grep -v grep|wc -l)
NUM3=$(ip addr|grep 10.0.11.26|grep -v grep|wc -l)

if [ $NUM1 -eq 0 -o $NUM2 -eq 0 -o $NUM3 -eq 0 ];then
   /bin/bash /opt/sendemail.sh kevin@test.com "IDC外网LB运行情况监控" "告警主机：$HOSTNAME \n主机IP: $IP \n告警时间：$DATE \n告警等级：十分严重啊 \n告警信息：外网LB目前已不在$HOSTNAME服务器上正常运行，快点查看VIP是否转移到另一个LB节点，并确认LB服务是否正常提供! \n问题详情：LB failed on $HOSTNAME \n当前状态: PROBLEM"
else
   echo "IDC外网LB目前运行良好"
fi

每1分钟监控一次
[root@NG-LB01 ~]# chmod 755 /opt/LB_MONIT.sh
[root@NG-LB01 ~]# crontab -l
* * * * * source /etc/profile;/bin/bash -x /opt/LB_MONIT.sh > /dev/null 2>&1

温馨提示

if [ $NUM1 -ne 0 -a $NUM2 -ne 0 -a $NUM3 -ne 0 ]  等同于  if [ $NUM1 -ne 0 ] && [ $NUM2 -ne 0 ] && [$NUM3 -ne 0 ]
if [ $NUM1 -eq 0 -o $NUM2 -eq 0 -o $NUM3 -eq 0 ]  等同于  if [ $NUM1 -eq 0 ] || [ $NUM2 -eq 0 ] || [$NUM3 -eq 0 ]

邮件报警效果如下：