Hadoop记录-hadoop和hbase监控有那些比较好的工具

New Relic

hadoop  jmx

granfa

falcon

Ganglia，Nagios和Chukwa

自带监控软件

hadoop yarn 开启jmx监控

打开{hadoop_home}/etc/hadoop/yarn-env.sh文件，文件最后添加三行。

YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.authenticate=false”

YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.port=10001”

YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.ssl=false”
==================================================================

认识JMX
类JMXJsonServlet继承父类 javax.servlet.http.HttpServlet
只提供web页面来访问JMX

例如：启动了hadoop集群（master slave1 slave2）
通过端口50070访问：master:50070查看namenode节点

若查看namenode的监控信息，可直接访问：master:50070/jmx
在web页面即可看到json对象（JMX Beans）的内容
可以通过qry参数来过滤查看内容
若参数qry不正确，即bad request，将返回一个格式化的json对象

ervlet将JMXBeans转换成JSON，每个bean的属性将会被转换为一个json对象的成员。
如果属性是布尔值，字符串或者数组，将会被转换为json等价物。
如果value是一个组合数据将会被转换为一个key value键值对形式的json对象，
如果值是表格数据，将会被转换为包含所有元素的数组。其他对象转换为string格式输出。
所有bean的name和modeleler type也会返回。

http://10.202.77.200:50070/jmx
http://10.202.77.200:8088/jmx

http://10.202.77.200:50070/jmx
http://10.202.77.200:8088/jmx

callback
qry
get

http://10.202.77.200:50070/jmx?qry=Hadoop:*
http://10.202.77.200:8088/jmx?qry=Hadoop:*

http://10.202.77.200:8088/jmx?qry=Hadoop:service=ResourceManager,name=QueueMetrics,q0=root,q1=default,user=spark