作者 | 个推大数据运维工程师 行者 升级背景 个推作为专业的数据智能服务商,在业务开展过程中存在海量的数据存储与查询的需求,为此个推选用了高可靠.高性能.面向列.可伸缩的分布式数据存储系统--HBase. 然而,运行HBase老集群(使用HBase1.0版本)多年后,遇到了两大问题:各节点基础环境不一致:该集群的服务器运行多年已过保.而且随着个推业务量增长,性能方面也开始遇到瓶颈.经过综合评估,个推决定将老集群升级并迁移到HBase2.0新集群以解决HBase老集群存在的上述问题. 升级步骤

简介 在项目开发过程中,我们经常需要一些benchmark工具来对系统进行压测,以获得系统的性能参数,极限吞吐等等指标. 而在HBase中,就自带了一个benchmark工具—PerformanceEvaluation,可以非常方便地对HBase的Put.Get.Scan等API进行性能测试,并提供了非常丰富的参数来模拟各种场景. 这篇文章,就以HBbase2.0中的PerformanceEvaluation工具为例,给大家讲解一下这款HBase benchmark工具的使用和注意事项 参数介绍

In-Memory Compaction是HBase2.0中的重要特性之一,通过在内存中引入LSM结构,减少多余数据,实现降低flush频率和减小写放大的效果.本文根据HBase2.0中相关代码以及社区的讨论.博客,介绍In-Memory Compaction的使用和实现原理. 原理 概念和数据结构 In-Memory Compaction中引入了MemStore的一个新的实现类 CompactingMemStore .顾名思义,这个类和默认memstore的区别在于实现了在内存中compact

mongodb3.0 性能測试报告 一 mongodb3.0 性能測试报告 二 mongodb3.0 性能測试报告 三 測试环境: 服务器:X86 pcserver   共6台 cpu:  单颗8核 内存:64G 磁盘: raid 10 操作系统 :centos 6.5 mongodb:3.0 java驱动:2.13.0 jdk:1.6 网络:千兆以太网 測试一: 单台monodb服务.一台同配置server作为压力server.数据量不超过内存大小. mongodb配置例如以下: fork =

该文章是基于 Hadoop2.7.6_01_部署 进行的 1. 主机规划 主机名称 IP信息 内网IP 操作系统 安装软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 jdk.hadoop.zookeeper.hbase QuorumPeerMain.NameNode.HMaster mini02 10.0.0.12 172.16.1.12 CentOS 7.4 jdk.hadoop.zookeeper.hbase QuorumPeerMain

1.配置 在CentOS7Three上配置,注意:一定要安装bin包,不能安装src包 /usr/local/hbase/hbase-2.0.5/conf 编辑hbase-env.sh,替换成如下配置 export JAVA_HOME=/usr/lib/jvm/java--openjdk export HBASE_MANAGES_ZK=false #用外部zk 编辑hbase-site.xml,增加配置 <property> <name>hbase.rootdir</name

依赖hadoop 环境,我这边的版本是hadoop-2.6.5 选择hbase2.0.0版本的时候,去官网查看支持的hadoop版本 1.伪分布式安装 下载:http://mirror.bit.edu.cn/apache/hbase/2.0.0-alpha4/ 版本:hbase-2.0.0-alpha4-bin.tar.gz 2.tar -zxvf  hbase-2.0.0-alpha4-bin.tar.gz 3.chwon -R hadoop:hadoop  hbase-2.0.0-alpha

mongodb3.0 性能測试报告 一 mongodb3.0 性能測试报告 二 mongodb3.0 性能測试报告 三 測试环境: 服务器:X86 pcserver   共6台 cpu:  单颗8核 内存:64G 磁盘: raid 10 操作系统 :centos 6.5 mongodb:3.0 java驱动:2.13.0 jdk:1.6 网络:千兆以太网 測试场景 : 单台monodb服务,一台同配置server作为压力server,数据量不超过内存大小. 库里背景为1亿条大小为10K的数据.

hbase-2.0.4集群部署 1. 集群节点规划: rzx1 HMaster,HRegionServer rzx2 HRegionServer rzx3 HRegionServer 前提:搭建好hadoop集群 2. 在rzx1节点上配置执行环境的JAVA_HOME和是否利用自带Zookeeper 在hbase目录下:vim conf/hbase-env.sh export JAVA_HOME=/home/bigdata/software/jdk1.8.0_201 export HBASE_M

前置条件: 之前已经搭好了带有HDFS, MapReduce,Yarn 的 Hadoop 集群 链接: ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建 上传tar包并修改配置文件 解压tar包到指定目录 tar -zxvf hbase-2.0.6-bin.tar.hz -C /opt/ronnie 进入配置目录 vim hbase-env.sh 修改 hbase-env.sh文件 # 添加jdk路径 export JAVA_HOME=/u

在HBase入库日志中发现有一个表入库失败,检查HBase服务端后发现该表的meta信息丢失了: 而HDFS上的region还在: 而HBCK工具不支持HBase2.0版本,只好自己写一个修复工具.网上可以搜到前辈们自己编写的一些工具,比如这一篇写的就比较详细 https://blog.csdn.net/xyzkenan/article/details/103476160 我们引用一下,再对个别地方略微讲解. 看一下'hbase:meta'中正常的存储结构: 列名 说明 info:state R

2020年底,CMMI研究院发布<2019 CMMI V2.0 Performance Report Summary>,渠成团队进行了全文翻译并简单总结如下.(文末提供中英双版PDF下载) 报告分为报告目的.关键信息.2019V2.0成果.CMMI用户.V2.0概述.目标受众六大板块,分为86页PPT进行阐释. 报告中包含的信息是基于在2019年首批注册CMMI V2.0评估的100家组织性能改进结果的分析. 被评估的组织在CMMI V2.0性能报告中描述了改进"前后"的目

前言 最近用了几个月的时间,一直在对EQueue做性能优化.到现在总算告一段落了,现在把一些优化的结果分享给大家.EQueue是一个分布式的消息队列,设计思路基本和阿里的RocketMQ一致,只是是用纯C#写的,这点大家应该都知道了. EQueue开源地址:https://github.com/tangxuehua/equeue EQueue相关文档:http://www.cnblogs.com/netfocus/category/598000.html EQueue Nuget地址:http:

1. hbase数据模型 1.1. HBase数据模型术语 Table HBase表由多行组成. Row HBase中的一行由一个行键和一个或多个列组成,列的值与这些列相关联.存储行时,按行键按字母顺序排列.因此,行键的设计非常重要.目标是以这样一种方式存储数据,即相关的行彼此接近.常见的行键模式是网站域.如果您的行键是域,您可能应该反向存储它们(org.apache.www, org.apache.mail, org.apache.jira).这样,所有Apache域都在表中彼此接近,而不是基

前言:在现实项目中,我们可能很少需要从头开始去配置一个webpack 项目,特别是webpack4.0发布以后,零配置启动一个项目成为一种标配.正因为零配置的webpack对项目本身提供的“打包”和“压缩”功能已经做了优化,所以实际应用中,我们可以把精力更多专注在业务层面上,而无需分心于项目构建上的优化.然而从学习者的角度,我们需要了解webpack在项目的构建和打包压缩过程中做了哪些的优化,以及在原有默认配置上,还可以做哪些性能方面上的改进.       最近在完成vue的单页面应用后萌生了一

微软发布了.Net Core 3.0正式版,逐浪CMS也在第一时间做了全面升级,并做了一系列的优化和调整,性能大幅提升,并解决了一些历史遗留问题,添加了一些新的功能.如后台固有小程序功能做了升级,功能做了很大扩展. Github https://github.com/zoomla/CMS-Publish NMP https://www.npmjs.com/package/zoomla 安装: npm i zoomla 全智能的一键升级工具   后台智能对接微信公众号和小程序       后端直接

前言 先学习vue2.x,很多2.x内容依然保留: 先学习TypeScript,vue3.0是用TS重写的,想知其然知其所以然必须学习TS. 为什么学习vue3.0? 性能比vue2.x快1.2-2倍 按需编译,体积比vue2.x更小 组合API(类似React Hook) 更好的TS支持 暴露了自定义渲染API 更先进的组件 vue3.0是如何变快的? diff方法优化 vue2.x中的虚拟dom是进行全量的对比.而vue3.0新增了静态标记.在与上次虚拟节点进行对比的时候,只对比带有patc

待计算的wordCount文件放在HDFS上. wc.txt: hive hadoop hello hello world hbase hive 目标:进行WordCount计算,把结果输出到HBase表中 1.先在HBase中创建表wc create 'wc','cf' 2. WCRunner.class package com.bjsxt.wc; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.

在前面: scala:2.12 hbase:2.0.2 开发工具:IDEA 准备工作: 1.将生产上的hbase中的conf/hbase-site.xml文件拷贝到idea中的src/resources目录下 2.将生产环境中hbase中的$HBASE_HOME/lib下的*.jar文件加载到IDEA中 3.点击libraries->中间的"+" ->java 4.选择jar包所放的位置,点击OK 5.继续点击ok即可 6.进行连接代码编写: package spark._

主要是常用的hbase shell命令,包括表的创建与删除,表数据的增删查[hbase没有修改]:以及hbase的导出与导入. 参考教程:HBase教程 参考博客:hbase shell基础和常用命令详解 参考博客:hbase shell常用命令和filter 参考博客:hbase导入导出数据 1. hbase命令 1.1. 命令的登录与退出 1.1. 命令的登录与退出 [yun@mini03 ~]$ hbase shell # 登录hbase SLF4J: Class path contain