HBase版本:1.3.1 Hadoop版本:2.7.1 Zookeeper版本:3.4.6 --------------------------------- 检查线上业务系统的磁盘空间, 发现HDFS的oldWALs日志占用了大量的空间. 我们的集群分为两套,前置一套,后置一套, 其中,利用hbase的replication功能能,由前置向后置集群同步数据. 经过一翻调查之后,发现replication功能打开的时候, hbase的oldWALs就不会自动清理了,于是尝试关闭replicat…

kylin的clube合并后清理hbase中产生的相关历史表 kylin 的clube 历史的每次构建,都会产生一个hbase的表:虽然可以设置按照一定策略合并,但是合并后hbase 历史表不会被自动删除,造成hbase的 Region 越来越多 . 需要通过以下命令来执行无用数据的清理工作. ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete true 然后再cron…

在合并Region的过程中出现永久RIT怎么办?笔者在生产环境中就遇到过这种情况,在批量合并Region的过程中,出现了永久MERGING_NEW的情况,虽然这种情况不会影响现有集群的正常的服务能力,但是如果集群有某个节点发生重启,那么可能此时该RegionServer上的Region是没法均衡的.因为在RIT状态时,HBase是不会执行Region负载均衡的,即使手动执行balancer命令也是无效的. 如果不解决这种RIT情况,那么后续有HBase节点相继重启,这样会导致整个集群的Regio…

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群.机器硬件是8核16G内存.3个146G磁盘做数据盘. 我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加. 于是我只好默默地搭好了CDH5.openTSDB(2.1版本,请注意此版本号).bosun,并在20台左右的机器上部署了scollector用来测试,然后将dfs.replication改为了2,一切正常. 过完年回来后,开始批量在主要业务机器…

==版本信息== HBase:2.7.1 Storm:1.0.1 RocketMQ:3.4.6(阿里版) ==问题描述== 2018年9月3号晚上23点左右,例行巡检系统运行状况时, 发现Storm消费RocketMQ入HBase的过程中,RocketMQ的TPS极低,甚至为0了. (Storm从RocketMQ消费消息自后,读写HBase) ==问题定位== 查看了Storm的日志,发现有如下异常信息: -- ::-BasicBolt-executor[ ] [ERROR] java.net.…

[From]https://www.cnblogs.com/quchunhui/p/9583746.html ==版本信息== HBase:2.7.1 Storm:1.0.1 RocketMQ:3.4.6(阿里版) ==问题描述== 2018年9月3号晚上23点左右,例行巡检系统运行状况时, 发现Storm消费RocketMQ入HBase的过程中,RocketMQ的TPS极低,甚至为0了. (Storm从RocketMQ消费消息自后,读写HBase) ==问题定位== 查看了Storm的日志,发…

转载自:https://www.cnblogs.com/itboys/p/7603634.html 在HBase读写时,相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起,甚至删除一个Cell也只是写入一个新的Cell,它含有Delete标记,而不一定将一个Cell真正删除了,因而这就引起了一个问题,如何实现读的问题?要解决这个问题,我们先来分析一下相同的Cell可能存在的位置:首先对新写入的Cell,它会存在于MemStore中:然后对之前已经Flush到H…

1.HRegionServer启动不正常 在namenode上执行jps,则可看到hbase启动是否正常,进程如下: [root@master bin]# jps26341 HMaster26642 Jps7840 ResourceManager7524 NameNode7699 SecondaryNameNode 由上可见,hadoop启动正常.HBase少了一个进程,猜测应该是有个节点regionserver没有启动成功. 进入节点slave1 ,执行jps查看启动进程: [root@mas…

异常: 2014-02-24 12:15:48,507 WARN  [Thread-2] util.DynamicClassLoader (DynamicClassLoader.java:<init>(106)) - Failed to identify the fs of dir hdfs://fulonghadoop/hbase/lib, ignored java.io.IOException: No FileSystem for scheme: hdfs 解决: 在pom文件里增加: &…

系统 Red hat linux 6.4 Hadoop版本 1.2.1 Hbase版本 0.94.16 Hbase的完全分布式安装概述: 1. 配置hosts,确保涉及的主机名均可解析为ip 2. 编辑hbase-env.xml 3. 编辑hbase-site.xml 4. 编辑regionservers文件,文件默认内容是localhost /home/grid/hbase/conf/regionservers,将所有的slavenode添加到这个文件 5. Hbase复制到其他节点 6. 启…