Pinpoint接入业务监控后数据量大涨,平均每周Hbase数据增量35G左右,数据量太大,需要对数据进行定期清理,否则监控可用性降低. 操作步骤 查找出数据大的hbase表 [root@iZ28ovlz7ccZ worker]# du -sh hbase/data/default/* 2.2M hbase/data/default/AgentEvent 348K hbase/data/default/AgentInfo 2.6M hbase/data/default/AgentLifeCycl

先做个记录,监控数据量过大时可以设置表的数据过期时间来清理数据. 1. 查找本地数据表大小 [root@ZWZF-CWY-LZY-12 ~]# cd /home/pinpoint/hbase/data/default/ [root@ZWZF-CWY-LZY-12 default]# du -sh * 16K AgentEvent 64K AgentInfo 16K AgentLifeCycle 72K AgentStat 632K AgentStatV2 40K ApiMetaData 16K

操作步骤 查找出数据大的hbase表 root@990fb5560f64:/opt/hbase/hbase-# ls CHANGES.txt LICENSE.txt README.txt conf hbase-webapps logs LEGAL NOTICE.txt bin docs lib root@990fb5560f64:/opt/hbase/hbase-# cd bin/ root@990fb5560f64:/opt/hbase/hbase-/bin# ls draining_serv

转载地址:https://dxer.github.io/2016/03/18/hbase/ HBase一些基本概念 1.Row key 行主键,在对HBase进行查询时候只能依靠Row key,HBase不支持条件查询等类似于一些主流数据库的查询方式,读取记录只能依赖行主键以及进行全局扫面,可以将行主键想象成主流数据库查询过程中用到的主键(例如,id). 2.Column Family 列族,可以将列族想象成日常主流数据库中的表结构的所有列的一个大管家,列族中存储了所有列的名称,整个表包括多少列

前段时间集群出问题,hadoop和hbase启动不了了. 后来hadoop回复了,hbase死活master无法启动.打开日志发现报了以下错误: WARNING! File system needs to be upgraded. You have version null and I want version 7. Run the '${HBASE_HOME}/bin/hbase migrate' script. 于是上网search,网上这位兄弟提供了解决办法: http://www.cnb

1.Row Key 基本原则是:(1).由于读取数据只能依靠RowKey,所以应把经常使用到的字段作为行键{如手机号+时间戳拼接的字符串} (2).RowKey长度越短越好,最好不要超过16个字节.从表的形式看,主要有列少行多的高表和行多列少的宽表,一般情况高表更有优势,因为HBase只能按行拆分. 防止数据过热:当行健为时间戳时,写入数据集中在其中一个Region很容易产生单点过热.解决办法:(1)添加hash前缀. (2)字段交换或提升权重:即在行键中添加另外一个字段或交换行建中多个字段的位

观察 pinpoint hbase 数据存储目录default中各个表的大小 TraceV2 15G ApplicationTraceIndex 15G major_compact的操作目的 合并文件 清除删除.过期.多余版本的数据 提高读写数据的效率 604800 2day describe 'TraceV2' disable 'TraceV2' alter '} enable 'TraceV2' disable 'TraceV2' major_compact 'TraceV2' enable

tangcheng@ChenTang MINGW64 /c/Developer $ git clone https://github.com/naver/pinpoint.git Cloning into 'pinpoint'... remote: Enumerating objects: , done. remote: Counting objects: % (/), done. remote: Compressing objects: % (/), done. remote: Total (

安装docker docker-compose yum update -y yum install docker epel-release python-pip -y pip install --upgrade pip pip install docker-compose 修改daemon.json [root@i-vzdytl5t ~]# cat /etc/docker/daemon.json {"registry-mirrors": ["http://579fe187.m

云栖君导读:有时候我们操作数据库的时候不小心误删数据,这时候如何找回?mysql里有binlog可以帮助我们恢复数据,但是没有开binlog也没有备份就尴尬了.如果是HBase,你没有做备份误删了又如何恢复呢? 数据保护 当误删数据发生时候,不管三七二十一,第一要务是进入hbase shell,执行如下命令: 如果误删一张表的有多个family里的数据,需要都执行一下: alter 'tt', { NAME=> 'f1', KEEP_DELETED_CELLS=> TRUE }, { NAME

1 hbase写入流程 hbase中无论是新增数据还是修改已有行,其内部流程都是一样的,hbase执行写入时会写到两个地方,write-ahead log 简称wal 也叫hlog 预写式日志 和 MemStore,hbase默认把数据先写到这两个地方,只有这两个地方的变化都写入并确认后,才认为写动作完成. MemStore是内存中的缓冲区默认64m,HBase会把要写入的数据在这里积累,当填满后 才进行刷写到硬盘上,生成一个HFile. WAL 使用来排除故障,大型分布式系统,节点故障很常见,

本次pinpoint安装使用了docker环境安装,需要预先docker运行环境 1.安装docker环境 2.获取pinpoint-docker,安装命令 git clone https://github.com/naver/pinpoint-docker.git git checkout {tag} cd pinpoint-docker docker-compose pull && docker-compose up -d ##若docker-compose不存在,就要安装[docke

pinpoint是一个分析大型分布式系统的平台,提供解决方案来处理海量跟踪数据,主要面向基于tomcat的Java 应用. pinpoint使用HBASE储存数据. 下面介绍pinpoint部署及应用. 1.  安装Hbase数据库 1.1.  上传服务器并解压 1.1.1.  上传组件 在服务器/home目录下新增一个pinpoint文件夹,并将下载的组件全部上传至该目录下 cd /home mkdir pinpoint cd pinpoint 上传组件:hbase-1.7.1-bin.tar

简介 pinpoint是开源在github上的一款APM监控工具,它是用Java编写的,用于大规模分布式系统监控.它对性能的影响最小(只增加约3%资源利用率),安装agent是无侵入式的. 各大APM工具,几乎都是根据google这篇经典的Dapper论文而来,一定要读一读.这里是它的源文地址:https://research.google.com/pubs/pub36356.html,感谢这位同学的翻译:http://bigbully.github.io/Dapper-translation/

版本: pinpoint:1.7.1 hbase:1.2.6 命令行命令: $HBASE_HOME/bin/hbase shell    newrestruct.hbase 备注:保留一天半的数据(秒) TTL => 129600 cat  newrestruct.hbase disable 'AgentInfo' disable 'AgentStatV2' disable 'AgentLifeCycle' disable 'AgentEvent' disable 'ApplicationInd

http://blog.csdn.net/jiangshouzhuang/article/details/51290399 Kylin在创建cube过程中会在HDFS上生成中间数据.另外,当我们对cube执行purge/drop/merge时,一些HBase的表可能会保留在HBase中,而这些表不再被查询,尽管Kylin会做一些自动的垃圾回收,但是它可能不会覆盖所有方面,所以需要我们能够每隔一段时间做一些离线存储的清理工作.具体步骤如下: 1.     检查哪些资源需要被清理,这个操作不会删除任

今天在部署pinpoint的时候,执行创建表语句的脚本,报表已经存在的错误,但是那个hbase数据目录是刚创建的,表肯定是不存在的 <property> <name>hbase.rootdir</name> <value>file:///home/yeemiao/hbase-1.2.11/data/hbase</value> <!-- <value>hdfs://10.26.212.253:8020/pinpoint</v

kylin的clube合并后清理hbase中产生的相关历史表 kylin 的clube 历史的每次构建,都会产生一个hbase的表:虽然可以设置按照一定策略合并,但是合并后hbase 历史表不会被自动删除,造成hbase的 Region 越来越多 . 需要通过以下命令来执行无用数据的清理工作. ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete true 然后再cron

HBase版本:1.3.1 Hadoop版本:2.7.1 Zookeeper版本:3.4.6 --------------------------------- 检查线上业务系统的磁盘空间, 发现HDFS的oldWALs日志占用了大量的空间. 我们的集群分为两套,前置一套,后置一套, 其中,利用hbase的replication功能能,由前置向后置集群同步数据. 经过一翻调查之后,发现replication功能打开的时候, hbase的oldWALs就不会自动清理了,于是尝试关闭replicat

安装完成hbase之后,需要初始化hbase的pinpoint库(创建表). 1. 登录数据库 [root@monitor default]# cd /home/pinpoint/hbase-1.7.1/bin/[root@monitor bin]# ./hbase shell2022-10-19 15:03:48,097 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platfo