HBase 集群监控系统构建

标签（空格分隔）： Hbase

一, 集群为什么需要监控系统

总的来说是为了保证系统的稳定性，可靠性，可运维性。具体来说我认为有以下几点：

掌控集群的核心性能指标，了解集群的性能表现。

集群出现问题时及时报警，便于Hbase运维同学及时修复问题。

集群重要指标值异常时进行预警，将问题扼杀在摇篮中，不用等集群真正不可用时才采取行动。

当集群出现问题时，监控系统可以帮助我们更快的定位问题和解决问题。无监控，不运维。

二，如何构建HBase集群监控系统

一般来说，大公司内部都有企业统一的监控报警系统，开源的有zabbix以及小米的Open-Falcon。对于HBase集群来讲，我们所要做的就是将我们关心的指标项发送到公司的监控系统，并配置相关的报警信息即可。所以问题现在转化为我们应该开发，采集并上报哪些HBase集群监控项

三，HBase 集群监控项采集

3.1 主机基本监控项

CPU，内存，磁盘，网络主机4大基本监控项，这4项机器监控保证我们运行我们HBase集群的机器是正常的。

3.2 JVM监控项

HBase集群涉及的系统HDFS，HBase，ZooKeeper都是用Java编写的，系统都是运行在JVM中，所以我们必须采集JVM相关的监控项，尤其是JVM的GC信息。GC信息在整个大数据生态圈中都是极为重要的监控指标。

3.3 HBase集群各系统存活监控项

HBase集群各个系统的进程是否存活是必须也是最基本的监控项。具体有hmaster；regionserver；namenode；datanode；journalnode；zkfc；zookeeper的存活监控。具体判断存活的方式我们可以去判断各系统相应的进程是否存在，也可以去判断各系统的web页面或者jmx页面是否正常。

3.4 HBase集群各系统JMX监控项

JMX全称是Java Management Extensions，用于用于Java程序扩展监控和管理项。而许多Hadoop系统都提供了丰富的JMX监控项，所以我们可以直接从HBase系统本身提供的JMX信息获取我们需要的监控项。HBase提供的JMX信息的web页面，地址就是 http://your_hmaster:60010/jmx，JMX web页面的数据格式是json格式。由于信息比较多，也提供了一个qry=name的方式获取具体某一项所需的数据，例如：http://namenode:50070/jmx?qry=hadoop:service=NameNode,name=NameNodeInfo只收集nameinfo相关的数据。所以我们可以用多线程或多进程同时采集多个指标项，同时也要注意在每个线程处理的时候数据应该是异步的，否则同步可能导致某一个指标项采集阻塞，使得之后的所有指标项在一个采集周期内无法正常返回数据。

下面是一个python利用进程池异步请求多个url的例子：

#!/usr/bin/env python

# encoding: utf-8

import urllib2

import multiprocessing as mp

results = []

def add_list(result):

    results.append(result)

class PoolHelper(object):

    def __call__(self, index, url):

        return self.open_url(index, url)

    def open_url(self, index, url):

        try:

            response = urllib2.urlopen(url, timeout = 10)

            result = response.read()

        except:

            result = ''

        return (index, result)

    def pool_url(self, urls):

        pool = mp.Pool()

        for index, url in enumerate(urls):

            pool.apply_async(self, args=(index, url,), callback=add_list)

        pool.close()

        pool.join()

        return results

JMX的信息我们除了可以从web页面抓取外，也可以用Java 程序直接attach到目标进程直接获取JMX信息。

例如：

3.5 HBase集群web页面监控项

我们也可以从HBase的16010和16020的web页面直接抓取集群的一些汇总信息。具体实现方式可以使用正则匹配，python也可以直接使用BeautifulSoup获取页面上我们需要的信息，BeautifulSoup简单，易用，强大。

3.6 HBase集群特有监控项

3.6.1 HBCK监控

关于HBCK的具体含义可以参考：

3.6.2 HBase Replication监控

主要是用来确定开启Replication的HBase集群都正常同步，这一块为了便于被python调用，我们使用了JRuby开发，JRuby语法和Ruby一样，只不过可以直接调用Java API。

hbase shell>

status 'replcation'

也可以用hbase-client自带方法。

3.6.3 HBase 探针程序

探针程序就是为了确定整个集群状态健康，一般是建表，写数据，读数据，删数据，删表。探针监控在storm,hdfs,yarn等等组件都应该有完整的回路监控。

3.7 HBase集群表粒度和Region粒度指标监控

因为HBase本身的JMX监控指标没有表粒度和Region粒度，所以我们需要二次开发。

一。利用HBase的observer类型的协处理器来统计基于表粒度的put,get，scan等请求信息，然后发送到HBase的Metric，最后再从jmx页面抓取监控项。

二。抓取所有Hbase regionserver metrics 然后进行汇总并写入到时序数据库。

3.8 HBase客户端监控

以上的监控项都是服务端的，我们也需要用户使用的HBase客户端也有监控，客户端监控也是HBase服务质量的一个体现。