zabbix--3.0--3

 

使用JMX监控jvm

---

 

vim /usr/local/tomcat/bin/catalina.sh

添加如下内容

CATALINA_OPTS="$CATALINA_OPTS -Dcom.sun.management.jmxremote
  -Dcom.sun.management.jmxremote.port=8888
  -Dcom.sun.management.jmxremote.ssl=false
  -Dcom.sun.management.jmxremote.authenticate=false
  -Djava.rmi.server.hostname=192.168.58.12"

重启tomcat，查看监听情况

[root@linux-node2 src]# killall java
[root@linux-node2 src]# killall java
java: no process found
[root@linux-node2 src]# /usr/local/tomcat/bin/startup.sh
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
Tomcat started.

看到8888端口已经起来了
[root@linux-node2 src]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:10050           0.0.0.0:*               LISTEN      6938/zabbix_agentd
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1/systemd
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1160/sshd
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1251/master
tcp6       0      0 :::10050                :::*                    LISTEN      6938/zabbix_agentd
tcp6       0      0 127.0.0.1:8005          :::*                    LISTEN      8522/java
tcp6       0      0 :::56614                :::*                    LISTEN      8522/java
tcp6       0      0 :::8009                 :::*                    LISTEN      8522/java
tcp6       0      0 :::111                  :::*                    LISTEN      1/systemd
tcp6       0      0 :::8080                 :::*                    LISTEN      8522/java
tcp6       0      0 :::22                   :::*                    LISTEN      1160/sshd
tcp6       0      0 :::8888                 :::*                    LISTEN      8522/java
tcp6       0      0 :::57945                :::*                    LISTEN      8522/java
tcp6       0      0 ::1:25                  :::*                    LISTEN      1251/master
[root@linux-node2 src]#

　　

在电脑的jdk的bin目录下，找到jconsole

 

 

 

 

 

 

 

 

点击update

 

JMX的key可以在server上使用zabbix-get获取下

 

[root@linux-node1 ~]# zabbix_get -s 192.168.58.12 -k  jmx["java.lang:type=GarbageCollector,name=Copy",CollectionCount]
ZBX_NOTSUPPORTED: Unsupported item key.
[root@linux-node1 ~]#

　　

不知道为什么，开启debug看看

debug是4

[root@linux-node2 src]# vim /etc/zabbix/zabbix_agentd.conf

这里需要改成4

重启agent

systemctl restart zabbix-agent.service

 

看agent日志

tail -f /var/log/zabbix/zabbix_agentd.log

显示的并没太多有用信息

 先放这里

 

 

 

 

 

zabbix监控Nginx

---

监控过程如下

1、开启Nginx监控
2、编写脚本来进行数据采集
3、设置用户自定义参数
4、重启zabbix-agent
5、添加item
6、创建图形
7、创建触发器
8、创建模板

 

下载这个脚本

它不仅可以监控nginx，还可以监控memcached，redis，http状态

tcp链接比较多的情况下，ss命令比netstat快

 脚本里面的命令

[root@linux-node2 src]# ss -ant | awk 'NR>1 {++s[$1]} END {for(k in s) print k,s[k]}'
LISTEN 14
ESTAB 4
TIME-WAIT 30
[root@linux-node2 src]#

因为上面只显示当前的有数据的，所以下面多了个判断，没数据的项都显示0

把这个函数的第一个参数复制给tcp_stat

这个函数的第一个参数根据下面main里看到，是这个脚本的第二个参数

 

考虑到一个机器可能起多个nginx，所以加个端口参数区分

memcached的脚本这里的$1 和$2 分别是脚本的$2 和 $3

nc其实是net cat

 

修改zabbix-agent配置文件，让其包含.conf文件

[root@linux-node1 ~]# vim /etc/zabbix/zabbix_agentd.conf

原本下面文件包含这个目录下的所有文件，改一下，改成*.conf

 

这样的话，sh脚本也可以放这个目录下了，然后不会被误认为配置文件而加载

[root@linux-node1 ~]# cd /etc/zabbix/zabbix_agentd.d/
[root@linux-node1 zabbix_agentd.d]# ls
nginx.conf  userparameter_mysql.conf
[root@linux-node1 zabbix_agentd.d]# rz -E
rz waiting to receive.
[root@linux-node1 zabbix_agentd.d]# ls
nginx.conf  userparameter_mysql.conf  zabbix_linux_plugin.sh
[root@linux-node1 zabbix_agentd.d]# chmod +x zabbix_linux_plugin.sh
[root@linux-node1 zabbix_agentd.d]# ls
nginx.conf  userparameter_mysql.conf  zabbix_linux_plugin.sh
[root@linux-node1 zabbix_agentd.d]#

改成下划线，对应监控脚本内容

[root@linux-node1 ~]# vim /usr/local/nginx/conf/nginx.conf
[root@linux-node1 ~]# /usr/local/nginx/sbin/nginx -s reload
[root@linux-node1 ~]#

因为脚本里写的就是下划线，要对应上

这里也可以更改，因为agent和nginx在一台机器上

[root@linux-node1 ~]# /usr/local/nginx/sbin/nginx -s reload
[root@linux-node1 ~]#

通过命令简单获取成功

[root@linux-node1 zabbix_agentd.d]# ./zabbix_linux_plugin.sh nginx_status 8080 active
1
[root@linux-node1 zabbix_agentd.d]#

新建自定义key文件，调用这个脚本

[root@linux-node1 zabbix_agentd.d]# cp nginx.conf linux.conf
[root@linux-node1 zabbix_agentd.d]# vim linux.conf
[root@linux-node1 zabbix_agentd.d]# cat linux.conf
UserParameter=linux_status[*],/etc/zabbix/zabbix_agentd.d/zabbix_linux_plugin.sh "$1" "$2" "$3"
[root@linux-node1 zabbix_agentd.d]#

重启agent

[root@linux-node1 zabbix_agentd.d]# systemctl restart zabbix-agent.service
[root@linux-node1 zabbix_agentd.d]#

这个脚本支持传参

[root@linux-node1 ~]# zabbix_get -s 192.168.58.11 -k linux_status[nginx_status,8080,active]
1
[root@linux-node1 ~]#

zabbix_get成功，这样可以添加到web上了

配置---模板---创建模板

add之后，在模板里找到它，然后点进去，看到items等

创建item

更新间隔，30秒太频繁了，可以改成60秒一次，顺便创建一个叫Nginx Status的application

点击add，添加成功

点进去，克隆它

把这几个都加上去

 

依次，克隆加进去

心得。我觉得可以把一些重要的模板克隆了，防止误操作，在模板上改东西

加图形

 

items选这4个就行了

 

 

给linux-node1加这个模板

可以导出这个模板给别人

导出的模板需要自己改名，导出来默认都是同一个名字

 

 

graph有数据了

 

 

 监控tcp的11种状态

 

 

tcp 11种状态的模板

 

 

node1加这个模板

node2也加此模板

它用的还是上面nginx那个脚本

zabbix用户要能执行它，真正执行它的时候是zabbix执行

[root@linux-node1 zabbix_agentd.d]# pwd
/etc/zabbix/zabbix_agentd.d
[root@linux-node1 zabbix_agentd.d]# ll
total 16
-rw-r--r-- 1 root root   96 Mar 26 15:22 linux.conf
-rw-r--r-- 1 root root  117 Mar 19 20:37 nginx.conf
-rw-r--r-- 1 root root 1531 Mar  2 23:49 userparameter_mysql.conf
-rwxr-xr-x 1 root root 2776 Jun 18  2016 zabbix_linux_plugin.sh
[root@linux-node1 zabbix_agentd.d]#

　　

 

 

练习怎么加触发器

---

先给nginx监控加触发器

这里大于1，出于测试目的

找到刚才创建的Nginx status

打开页面，模拟问题。让连接数大于1

自动发送了邮件告警

邮件配置对的话，肯定能收到告警
这里还看到了一个告警，Too many processes on linux-node2
系统自带的触发器，阈值太低，修改下模板里的items里的阀值

默认5分钟的平均值大于300就告警，改成600

改成600

 

 

 

Zabbix告警通知

---

自定义告警脚本：
1、放在 /usr/lib/zabbix/alertscripts
2、需要支持3个参数，1 收件人，2 主题， 3内容
3、执行权限
4、web界面添加
5、修改actions

 

短信通道，阿里大鱼，一条0.045左右

http://www.alidayu.com/

它有http的api。很方便

curl -X POST 'http://gw.api.taobao.com/router/rest' \
-H 'Content-Type:application/x-www-form-urlencoded;charset=utf-8' \
-d 'app_key=12129701' \
-d 'format=json' \
-d 'method=alibaba.aliqin.fc.sms.num.send' \
-d 'partner_id=apidoc' \
-d 'sign=DB9F439ACCF950E94514CDF0BF24DFB8' \
-d 'sign_method=hmac' \
-d 'timestamp=2017-03-26+16%3A25%3A33' \
-d 'v=2.0' \
-d 'extend=123456' \
-d 'rec_num=13000000000' \
-d 'sms_free_sign_name=%E9%98%BF%E9%87%8C%E5%A4%A7%E4%BA%8E' \
-d 'sms_param=%7B%5C%22code%5C%22%3A%5C%221234%5C%22%2C%5C%22product%5C%22%3A%5C%22alidayu%5C%22%7D' \
-d 'sms_template_code=SMS_585014' \
-d 'sms_type=normal'

　　

亿美软通短信平台比较古老了。现在很少用

模拟下自己写的脚本发告警流程

脚本放在下面目录下/usr/lib/zabbix/alertscripts

[root@linux-node1 ~]# cd /usr/lib/zabbix/alertscripts
[root@linux-node1 alertscripts]# ls
[root@linux-node1 alertscripts]# vim sms.sh
[root@linux-node1 alertscripts]# chmod +x sms.sh
[root@linux-node1 alertscripts]# cat sms.sh
#!/bin/bash
ALERT_TO=$1
ALERT_TITLE=$2
ALERT_BODY=$3

echo $ALERT_TO >> /tmp/sms.log
echo $ALERT_TITLE >> /tmp/sms.log
echo $ALERT_BODY >> /tmp/sms.log
[root@linux-node1 alertscripts]#

　　

创建新的告警介质

脚本需要加参数，从脚本里取，用大括号括起来，这3个参数分别是$1,$2,$3

 

 

 

改action

 

用户这里

 

 

触发报警

 

 

 

模拟发送成功，实际自己写的脚本就该这么个架构

[root@linux-node1 tmp]# tail -5 /tmp/sms.log
xxxx38@qq.com
PROBLEM: Nginx Active > 1
 Original ev* (*UNKNOWN*:*UNKNOWN*): *UNKNOWN*tus[nginx_status,8080,active]): 3
[root@linux-node1 tmp]#

　　

 

 

 

Zabbix监控MySQL

---

zabbix自带监控mysql的脚本，真正生产喜欢用的是percona的脚本

percona也有自己的mysql，在某些方面它比官方的性能更好

下面链接

https://www.percona.com/software/documentation

 

 

https://www.percona.com/doc/percona-monitoring-plugins/LATEST/index.html

https://www.percona.com/doc/percona-monitoring-plugins/1.1/index.html

可以看到它支持下面3个产品

 

最早是由cacti改的，由于zabbix太火了。没支持zabbix的不行了，就要被淘汰。

它使用php脚本连接mysql

要监控mysql的话，agent端必须安装php和phpmysql

https://www.percona.com/doc/percona-monitoring-plugins/1.1/zabbix/index.html

https://www.percona.com/doc/percona-monitoring-plugins/1.1/zabbix/index.html#installation-instructions

 

https://www.percona.com/doc/percona-server/LATEST/installation/yum_repo.html

 

 

yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm  -y

[root@linux-node1 ~]# yum install percona-zabbix-templates php php-mysql -y
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * epel: mirror01.idc.hinet.net
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
Package percona-zabbix-templates-1.1.7-2.noarch already installed and latest version
Package php-5.4.16-42.el7.x86_64 already installed and latest version
Package php-mysql-5.4.16-42.el7.x86_64 already installed and latest version
Nothing to do
[root@linux-node1 ~]#

　　

相关知识点
1、php脚本用来采集数据
2、shell调用这个php
3、zabbix配置文件
4、zabbix模板文件

 

拷贝模板配置文件到zabbix配置文件目录下

[root@linux-node1 ~]# rpm -ql percona-zabbix-templates
/var/lib/zabbix/percona
/var/lib/zabbix/percona/scripts
/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh
/var/lib/zabbix/percona/scripts/ss_get_mysql_stats.php
/var/lib/zabbix/percona/templates
/var/lib/zabbix/percona/templates/userparameter_percona_mysql.conf
/var/lib/zabbix/percona/templates/zabbix_agent_template_percona_mysql_server_ht_2.0.9-sver1.1.7.xml
[root@linux-node1 ~]# cp /var/lib/zabbix/percona/templates/userparameter_percona_mysql.conf /etc/zabbix/zabbix_agentd.d/
[root@linux-node1 ~]#

　　

查看

[root@linux-node1 ~]# cd /etc/zabbix/zabbix_agentd.d/
[root@linux-node1 zabbix_agentd.d]# ls
linux.conf  userparameter_mysql.conf          zabbix_linux_plugin.sh
nginx.conf  userparameter_percona_mysql.conf
[root@linux-node1 zabbix_agentd.d]#

　　

重启zabbix-agent

[root@linux-node1 scripts]# systemctl restart zabbix-agent.service
[root@linux-node1 scripts]#

　　

这个shell脚本是调用php脚本

这个配置文件需要拷贝到agent下面

这个模板文件用于导出zabbix server

 

percona自带的模板不能用。

 

查看此配置文件，都是一些自定义的key，key的值通过脚本获取

[root@linux-node1 zabbix_agentd.d]# tail -10 userparameter_percona_mysql.conf
UserParameter=MySQL.log-writes,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh hg
UserParameter=MySQL.Query-time-count-04,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh op
UserParameter=MySQL.Query-time-count-05,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh oq
UserParameter=MySQL.Query-time-count-06,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh or
UserParameter=MySQL.Query-time-count-07,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh os
UserParameter=MySQL.Query-time-count-08,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh ot
UserParameter=MySQL.Query-time-count-09,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh ou
UserParameter=MySQL.Open-files,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh ij
UserParameter=MySQL.State-closing-tables,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh lq
UserParameter=MySQL.running-slave,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh running-slave
[root@linux-node1 zabbix_agentd.d]#

　　

通过下面脚本获取key的value

[root@linux-node1 zabbix_agentd.d]# cd /var/lib/zabbix/percona/scripts
[root@linux-node1 scripts]# ls
get_mysql_stats_wrapper.sh  ss_get_mysql_stats.php
[root@linux-node1 scripts]#

　　

创建连接mysql的配置文件，由于root密码是空。所以这里也写的空

[root@linux-node1 scripts]# cat ss_get_mysql_stats.php.cnf
<?php
$mysql_user = 'root';
$mysql_pass = '';
[root@linux-node1 scripts]#
[root@linux-node1 scripts]# mysql
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 9629
Server version: 5.5.52-MariaDB MariaDB Server

Copyright (c) 2000, 2016, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> exit
Bye
[root@linux-node1 scripts]#

　　

测试下此目录下脚本执行是否正常

[root@linux-node1 scripts]# /var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh gg
0
[root@linux-node1 scripts]#

　　

注意此脚本默认配置。如果不符合需要更改。这里由于mysql是yum安装的，环境变量没问题，另外授权登录也是localhost

[root@linux-node1 scripts]# ll get_mysql_stats_wrapper.sh
-rwxr-xr-x 1 root root 1251 Dec 10 02:22 get_mysql_stats_wrapper.sh
[root@linux-node1 scripts]#

　　

这是监控脚本默认的地方，一些东西需要改，比如mysql全路径

默认是localhost权限

给node1添加模板

脚本没问题，加入监控监控没问题

脚本调用了php

[root@linux-node1 scripts]# ./get_mysql_stats_wrapper.sh gm
1
[root@linux-node1 scripts]#

　　

 

 

Zabbix-Web监控

---

现在zabbix-get报错，因为原先是root权限执行的脚本，它会在tmp目录下生成下面文件。

[root@linux-node1 scripts]# zabbix_get -s 192.168.58.11 -k MySQL.max-connections
rm: cannot remove ‘/tmp/localhost-mysql_cacti_stats.txt’: Operation not permitted
151
[root@linux-node1 scripts]#

　　

重新授权下

[root@linux-node1 scripts]# ll /tmp/localhost-mysql_cacti_stats.txt
-rw-r--r-- 1 root root 1406 Mar 26 22:15 /tmp/localhost-mysql_cacti_stats.txt
[root@linux-node1 scripts]# chown zabbix.zabbix /tmp/localhost-mysql_cacti_stats.txt
[root@linux-node1 scripts]# ll /tmp/localhost-mysql_cacti_stats.txt
-rw-r--r-- 1 zabbix zabbix 1406 Mar 26 22:15 /tmp/localhost-mysql_cacti_stats.txt
[root@linux-node1 scripts]# zabbix_get -s 192.168.58.11 -k MySQL.max-connections
151
[root@linux-node1 scripts]#

　　

 

[root@linux-node1 ~]# curl --head http://192.168.58.12:8080/
HTTP/1.1 200 OK
Server: Apache-Coyote/1.1
Content-Type: text/html;charset=UTF-8
Transfer-Encoding: chunked
Date: Sun, 26 Mar 2017 15:14:17 GMT

[root@linux-node1 ~]#

　　

 

 

 

它不依赖于agent，是server自己的

创建一个web场景

 

 

agent这里你可以选择一个浏览器

以前也有浏览器，但是没3.0这么全

默认使用agent了

 

步骤这里

 

add

add之后

 

认证相关

认证不配置，点击add即可

 

add之后

系统默认没加触发器

 

 

monitor---web看到如下

 

 

这个step的里面下面的作用是，从它会默认从监控的页面里找匹配的字符串，匹配到了它返回OK

假如你不想仅仅看状态的话，

假如你还想看页面关键字

 

开始手动加触发器，所以最好写个模板

 

添加表达式

 

 

 

 

 

 

 

停止tomcat主动触发告警，测试

[root@linux-node2 ~]# /usr/local/tomcat/bin/shutdown.sh
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
[root@linux-node2 ~]# lsof -i:8080
[root@linux-node2 ~]#

　　

服务器时间不对，导致报警没显示

 

 

[root@linux-node1 ~]# date
Mon Mar 27 08:45:34 CST 2017
[root@linux-node1 ~]# systemctl restart ntpd
[root@linux-node1 ~]# date
Mon Mar 27 08:45:46 CST 2017
[root@linux-node1 ~]# date
Mon Mar 27 08:45:47 CST 2017
[root@linux-node1 ~]# date
Mon Mar 27 08:45:48 CST 2017
[root@linux-node1 ~]# date
Wed Mar 29 23:10:17 CST 2017
[root@linux-node1 ~]#

　　

 

时间对了之后，再次刷新就显示了

发送告警也OK

 

这是现网用的action告警信息。删了很多

保证70个字符以内

 

 

状态:{TRIGGER.STATUS}

主机: ({HOST.NAME1}

监控项：{ITEM.KEY1})：{ITEM.VALUE1}

 

 

 

模拟故障测试方法2，模拟404故障

[root@linux-node2 webapps]# mv ROOT ROOT2
[root@linux-node2 webapps]# ls
docs  examples  host-manager  manager  ROOT2
[root@linux-node2 webapps]# mv ROOT2 ROOT
[root@linux-node2 webapps]#

　　

告警很快下面这里告警比上面关闭tomcat导致端口不可达的告警快很多。模拟404这种发现问题立马告警

[root@linux-node1 ~]# tail -f /tmp/sms.log
 Original ev* (*UNKNOWN*:*UNKNOWN*): *UNKNOWN*e=Runtime",Uptime]): 00:00:09
525031638@qq.com
PROBLEM: linux-node2 is not reachable
 Original ev* (*UNKNOWN*:*UNKNOWN*): *UNKNOWN*e=Runtime",Uptime]): 00:00:25
525031638@qq.com
状态:OK
 监控项：jmx["java.lang:type=Runtime",Uptime])：00:00:5
525031638@qq.com
状态:PROBLEM
 监控项：web.test.rspcode[tomcat web monitor,tomcat index])：40

　　

 

关于web监控的密码验证，可以post过去用户名和密码

 

 

 

 

打印机没纸都可以监控，通过snmp

 

 

 

Zabbix监控模式

---

怎么看zabbix server能不能抗住，看队列就行了，看看item更新超时时间

 

 

为什么使用主动模式
1、监控主机多，性能跟不上，延迟大
2、多机房，防火墙

Zabbix轻松解决。Nagios不太好解决
针对Agent来说
1、被动模式
2、主动模式，active

当监控主机超过300+，建议使用主动模式

 

改成主动模式，这里改成需要0

 

如果你不设置主机名，它会根据item获取

日志模式设置的地方。

[root@linux-node2 webapps]# systemctl restart zabbix-agent.service
[root@linux-node2 webapps]#

　　

网页制作主动监控模式模板

 

 

 

 

 

 

 

 link的模板去掉。link主动监控的模板

 

 

 

 

 

 

 

add之后

 

 

 

 

 

 

这里都变成active的了

 

 

 

 

 更改items为主动模式

 

 

 

 

 

 

 

 

 

 key的类型都变成active的了

 

 

 修改node2的模板为主动模式模板

 

 

 

 它的状态

 

 

 

 数据获取成功