一周一个中间件-hbase

前言

hbase是大数据的生态的一部分，是高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。介于nosql和RDBMS之间。主要存储非结构化和半结构化的松散数据。

海量数据存储

快速随机访问

大量写操作的应用

背景

我们公司现在需要一套监控系统，并且需要存储一系列的用户访问数据，这些数据很松散，现在看起来无关紧要的数据但是确实潜在的用户行为数据。之后会帮助我们分心用户行为，为我们提供个性化数据作为依据。

在综合现在主流的监控系统，cat，pinpoint，zikpin，SkyWalking等监控系统。我们选择了pinpoint这个基于字节码注入的调用链分析。所消耗的性能低，无代码侵入性。但是搭建pinpoint时，需要使用hbase作为存储数据的数据库。

知识准备

• region

RegionServer.理解为数据节点，存储数据的

region服务器的内存主要服务于内部数据结构。你需要64位操作系统和使用大于4G的内存空间。

• 架构图
  
  

• HMater

HMaster是Master Server的实现，负责监控集群中的RegionServer实例，同时是所有metadata改变的接口，在集群中，通常运行在NameNode上面。master机器不需要大存储空间，不需要挂载过多的磁盘。由于master的重要性大于slalve。可以通过冗余提升硬件可用率。

master机器要运行NameNode,SecondaryNameNode,JobTRacker和HBase Master.800TB数据推荐24G内存。

• slave

HBase的RegionServer.slave机器要使用DataNode,TaskTracker和HBase RegionServer.800TB数据推荐24G内存以上配置。

• hbase使用的文件系统

本地模式： hbase可以不使用HDFS或者其他集群。使用FileSystem类连接到文件系统实现。Hadoop客户端加载并使用hadoop提供ChecksumFileSystem类直接操作本地磁盘路径来存储所有的路径。

参数 file:///

HDFS模式： 是默认的文件系统，Hbase选择HDFS作为文件系统。

hdfs://