1.概述 在开发工作当中,提交 Hadoop 任务,任务的运行详情,这是我们所关心的,当业务并不复杂的时候,我们可以使用 Hadoop 提供的命令工具去管理 YARN 中的任务.在编写 Hive SQL 的时候,需要在 Hive 终端,编写 SQL 语句,来观察 MapReduce 的运行情况,长此以往,感觉非常的不便.另外随着业务的复杂化,任务的数量增加,此时我们在使用这套流程,已预感到力不从心,这时候 Hive 的监控系统此刻便尤为显得重要,我们需要观察 Hive SQL 的 MapRedu…

前面已经介绍了分布式监控系统Zabbix-3.0.3-完整安装记录(2)-添加mysql监控,但是没有提供可以直接使用的Key,太过简陋,监控效果不佳.要想更加仔细的监控Mysql,业内同学们都会选择采用Percona Monitoring Plugins监控MySQL.Percona有比较详细的监控Mysql的模版以及脚本,它提升了在高负载情况下的InnoDB的性能.为运维人员提供一些非常有用的性能诊断工具:另外它有更多的参数和命令来控制服务器行为.废话不多说,下面记录下使用Percona M…

Zabbix 是什么? zabbix 是一个基于 Web 界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案.通过 C/S 模式采集数据,通过 B/S 模式在 Web 端展示和配置,能监视各种网络参数,保证服务器系统的安全运营:并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题. zabbix 由2部分构成,zabbix server 与可选组件 zabbix agent:zabbix server 可以通过 SNMP,zabbix agent,ping,端口监视等方法提…

一.kafka eagle介绍 kafka eagle 是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broker状态.Topic信息.IO.内存.consumer线程.偏移量等信息,并进行可视化图表展示.独特的KQL还可以通过SQL在线查询kafka中的数据 本文提供的kafka eagle部署包是二次开发后的安装包. 二.kafka eagle安装 下载链接: https://pan.baidu.com/s/1KaT9lo5jst9UOqcTS7VACA?pwd=…

本文涉及:如何在k8s下搭建Prometheus+grafana的监控环境 基本概念 Prometheus提供了容器和云原生领域数据搜集.存储.处理.可视化和告警一套完整的解决方案,最初时是由SoundCloud公司开发的.自2012年开源以来社区成员就不断递增.如今的Prometheus已经发展到继Kubernetes后第2个正式加入CNCF基金会的项目 Prometheus的特点? 多维的数据模型(基于时间序列的k/v键值对). 灵活的查询及聚合语句(PromQL). 不依赖分布式存储,节点…

一.Zabbix-3.0.3批量添加主机的配置如下: 0)被监控机上要安装zabbix_agent,并配置好zabbix_agentd.conf (如下172.29.8.50是zabbix_server机器的ip地址) 可批量修改zabbix_agentd.conf,如下: sed -i 's/Server=127.0.0.1/Server=172.29.8.50/g' /etc/zabbix/zabbix_agentd.conf sed -i 's/ServerActive=127.0.0.1…

通过zabbix做web监控,不仅仅可以监控到站点的响应时间,还可以根据站点返回的状态码或响应时间做报警设置,比如说对某个url进行监控,当访问返回的状态码是非200状态时都报警(创建触发器即可).下面简单介绍下监控设置: 1)首先在监控主机里创建"应用集"和"Web场景" 客户端选择测试站点的浏览器类型,这里选择使用IE10作为客户端. 2)接着创建触发器 在上面“添加”按钮后选择对应的监控项目,功能选择“最新的T值不是N”,N值设置为200,即web访问的状态码…

对于进程和端口的监控,可以使用zabbix自带的key进行监控,只需要在server端维护就可以了,相比于nagios使用插件去监控的方式更为简单.下面简单介绍配置:监控端口zabbix监控端口使用如下key:key:net.tcp.listen[port]Checks if this port is in LISTEN state. 0 - it is not, 1 - it is inLISTEN state.解释:监听端口状态,返回结果为1,则运行:返回结果为0,则没有运行.比如监控ssh…

前面介绍了zabbix3.0.3环境及相关监控项的添加,下面介绍下针对apache的监控配置:1)在apache配置文件中打开server-status状态访问功能(自带的) [root@IDC-Admin-01 ~]# /data/apache/bin/httpd -v Server version: Apache/2.4.25 (Unix) Server built: Jun 19 2017 19:18:00 [root@IDC-Admin-01 ~]# cat /data/apache/c…

之前部署了Zabbix-3.0.3监控系统,在安装数据库时已经将zabbix库设置了utf-8字符. 首先确定zabbix开启了中文支持功能:登录到zabbix服务器的数据目录下(前面部署的zabbix数据目录是/data/www/zabbix),打开 locales.inc.php文件[root@Zabbix-server include]# pwd/data/www/zabbix/include[root@Zabbix-server include]# vim locales.inc.php…