open-falcon监控Flume

【open-falcon监控Flume】的更多相关文章

zabbix Server 4.0监控Flume关键参数

zabbix Server 4.0监控Flume关键参数作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. Flume本身提供了http, ganglia的监控服务.当然我们也可以使用JMX的方式去监控Flume,然后只要能集成JMX监控的监控系统应该都能实现简介监控Flume,有网友说,监控Flume我们需要修改其源码让他支持zabbix监控,当然这得让咱们运维人员懂Java开发才行,而且还得有一定的功底,要是改出Bug了反而麻烦.Ganglia监控起来的确方便,但我们公司的监…

Hadoop生态圈-使用Ganglia监控flume中间件

Hadoop生态圈-使用Ganglia监控flume中间件作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Ganglia监控简介加州伯克利大学千禧计划的其中一个开源项目.是一个集群汇总监控用的的软件,和Cacti不同,cacti是详细监控集群中每台服务器的运行状态,而Ganglia是将集群中的服务器数据进行汇总然后监控.有时通过cacti或者zabbix看不出来的集群总体负载问题,却能够在Ganglia中体现.被监控的主机(即client)安装ganglia-gmond…

1.首先你需要知道flume的http监控端口是否启动请参考博文 Flume的监控参数即在 http://localhost:3000/metrics 可以访问到如下内容 2.在open-falcon中安装flume监控插件,参考官方文档 http://book.open-falcon.org/zh_0_2/usage/flume.html 官方文档写的很不清楚,请参考本文接下来给出的步骤首先修改agent的配置文件,agent负责的是采集数据,同时有调度脚本插件的功能 ~/softwar…

shell脚本监控Flume输出到HDFS上文件合法性

在使用flume中发现由于网络.HDFS等其它原因,使得经过Flume收集到HDFS上得日志有一些异常,表现为: 1.有未关闭的文件:以tmp(默认)结尾的文件.加入存到HDFS上得文件应该是gz压缩文件,以tmp为结尾的文件就无法使用: 2.有大小为0的文件,比如gz压缩文件大小为0,我们单独拿下这个文件解压发现是无限循环压缩的...这个也不能直接用来跑mapreduce 目前发现上述两种情况,其它还暂未发现.至于出现上述情况还没明确原因,且这两种情况都会影响hive.MapReduce的正常…

falcon监控指标

mysql监控指标: 流量状态: Bytes_received/s #平均每秒从所有客户端接收到的字节数,单位KB Bytes_sent/s #平均每秒发送给所有客户端的字节数,单位KB…

flume监控

Flume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控.因此,我们为Flume添加了zabbix监控模块,和sa的监控服务无缝融合. 另一方面,净化Flume的metrics.只将我们需要的metrics发送给zabbix,避免 zabbix server造成压力.目前我们最为关心的是Flume能否及时把应用端发送过来的日志写到Hdfs上, 对应关注的metrics为: Source : 接收的event数和处理的event数 Channel : Chan…

大数据技术之_09_Flume学习_Flume概述+Flume快速入门+Flume企业开发案例+Flume监控之Ganglia+Flume高级之自定义MySQLSource+Flume企业真实面试题（重点）

第1章 Flume概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flume拓扑结构1.4 Flume Agent内部原理1.5 Hadoop三大发行版本第2章 Flume快速入门2.1 Flume安装地址2.2 安装部署第3章 Flume企业开发案例3.1 监控端口数据官方案例3.2 实时读取本地文件到HDFS案例3.3 实时读取目录文件到HDFS案例3.4 单数据源多…