ycsb 测试Hbase性能
下载
github:https://github.com/brianfrankcooper/YCSB/releases/tag/0.10.0
wget https://github.com/brianfrankcooper/YCSB/archive/0.10.0.tar.gz
tar xvf 0.10.0.tar.gz
编译:
cd YCSB-0.10.0/
编译所有的nosql
mvn clean package
只编译Hbase
mvn -pl com.yahoo.ycsb:hbase10-binding -am clean package
安装成功。
cd hbase10/target/
tar xvf ycsb-hbase10-binding-0.10.0.tar.gz
cd ycsb-hbase10-binding-0.10.0
测试:
1 hive中建表
hbase(main):01:0*> n_splits=120
=> 120
hbase(main):02:0> create 'usertable','family',{SPLITS => (1...n_splits).map{|i| "user#{1000+i*(9999-1000)/n_splits}"}}
0 row(s) in 18.3610 seconds
=> Hbase::Table - usertable
1.1 完整版需要手动去拷贝相关hbase库到hbase-binding的lib目录下,并将hbase-site.xml拷贝至hbase-binding的conf目录下
1.2 ycsb-hbase10-binding-0.10.0在lib目录下面有所需的各种库文件,无需手动从hbase的lib目录下去-cp过来了直接使用bin下面的ycsb,-cp指定即可。
2 执行:
load
bin/ycsb load hbase10 -P workloads/workloada -cp /usr/hdp/2.5.3.0-37/hbase/conf/ -p table=usertable -p columnfamily=family -s -threads 10 -p recordcount=100000
run
bin/ycsb run hbase10 -P workloads/workloada -cp /usr/hdp/2.5.3.0-37/hbase/conf/ -p table=usertable -p columnfamily=family -s -threads 10 -p recordcount=100000
运行结果分析:
[OVERALL], RunTime(ms), 2787.0 数据加载所用时间:2.787秒
[OVERALL], Throughput(ops/sec), 35.88087549336204 加载操作的吞吐量,平均并发量每秒35.88条
[TOTAL_GCS_PS_Scavenge], Count, 1.0
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 20.0
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.7176175098672408
[TOTAL_GCS_PS_MarkSweep], Count, 0.0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0.0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 1.0
[TOTAL_GC_TIME], Time(ms), 20.0
[TOTAL_GC_TIME_%], Time(%), 0.7176175098672408
[CLEANUP], Operations, 2.0 执行cleanup的操作总数,2
[CLEANUP], AverageLatency(us), 63575.0 平均响应时间63.575ms
[CLEANUP], MinLatency(us), 14.0 最小响应时间0.014ms
[CLEANUP], MaxLatency(us), 127167.0 最大响应时间127.167ms
[CLEANUP], 95thPercentileLatency(us), 127167.0 95%的cleanup操作延时在127.167ms以内
[CLEANUP], 99thPercentileLatency(us), 127167.0 99%的cleanup操作延时在127.167ms以内
[INSERT], Operations, 100.0 执行insert操作的总数,100
[INSERT], AverageLatency(us), 13681.54 每次insert操作的平均时延,13.68154ms
[INSERT], MinLatency(us), 5556.0 所有insert操作最小延时,5.556ms
[INSERT], MaxLatency(us), 201343.0 所有insert操作最大延时,201.343ms
[INSERT], 95thPercentileLatency(us), 30063.0 95%的insert操作延时在30.063ms以内
[INSERT], 99thPercentileLatency(us), 53183.0 99%的insert操作延时在53.183ms以内
[INSERT], Return=OK, 1000 成功返回数,1000
[OVERALL], RunTime(ms), 6921.0 数据加载所用时间:6.921秒
[OVERALL], Throughput(ops/sec), 144.48779078167894 加载操作的吞吐量,平均并发量每秒144.48条
[TOTAL_GCS_PS_Scavenge], Count, 1.0
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 20.0
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.2889755815633579
[TOTAL_GCS_PS_MarkSweep], Count, 0.0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0.0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 1.0
[TOTAL_GC_TIME], Time(ms), 20.0
[TOTAL_GC_TIME_%], Time(%), 0.2889755815633579
[CLEANUP], Operations, 2.0 执行cleanup的操作总数,2
[CLEANUP], AverageLatency(us), 71591.5 平均响应时间71.5915ms
[CLEANUP], MinLatency(us), 15.0 最小响应时间0.015ms
[CLEANUP], MaxLatency(us), 143231.0 最大响应时间143.231ms
[CLEANUP], 95thPercentileLatency(us), 143231.0 95%的insert操作延时在143.231ms以内
[CLEANUP], 99thPercentileLatency(us), 143231.0 99%的insert操作延时在143.231ms以内
[READ], Operations, 480.0 执行read的操作总数,480
[READ], AverageLatency(us), 5027.9625 平均响应时间5.027ms
[READ], MinLatency(us), 2254.0 最小响应时间2.254ms
[READ], MaxLatency(us), 158847.0 最大响应时间158.847ms
[READ], 95thPercentileLatency(us), 10767.0 95%的read操作延时在10.767ms以内
[READ], 99thPercentileLatency(us), 14599.0 99%的read操作延时在14.599ms以内
[READ], Return=OK, 480 成功返回数,480
[UPDATE], Operations, 520.0 执行read的操作总数,520
[UPDATE], AverageLatency(us), 5812.123076923077 平均响应时间5.812ms
[UPDATE], MinLatency(us), 3302.0 最小响应时间3.302ms
[UPDATE], MaxLatency(us), 86207.0 最大响应时间86.207ms
[UPDATE], 95thPercentileLatency(us), 9991.0 95%的read操作延时在9.991ms以内
[UPDATE], 99thPercentileLatency(us), 11839.0 99%的insert操作延时在11.839ms以内
[UPDATE], Return=OK, 520 成功返回数,520
YCSB自带了6种负载(workloads/目录下)
workloada:混合了50%的读和50%的写;
workloadb:Read mostly workload,混合了95%的读和5%的写,该workload侧重于测试集群的读能力;
workloadc:Read only,100%只读;
workloadd:Read latest workload,插入数据,接着就读取这些新插入的数据;
workloade:Short ranges,短范围scan,不同于随机读,每个测试线程都会去scan一段数据;
workloadf:Read-modiy-wirte,读改写,客户端读出一个记录,修改它并将被修改的记录返回;
-threads 10配置了并发线程个数
-p operationcount=1000000 覆盖了workloada中operationcount=1000表示本次测试操作记录数为1000000
-p measurementtype=timeseries -p timeseries.granularity=2000指明了YCSB客户端多长时间汇总一次延时,timeseries.granularity属性值的单位为1000milliseconds。所以这里的配置就表示2000s记录一次本2000s的平均延时。
-p recordcound 是YCSB load(加载元数据)命令的参数,默认值1000表示默认加载的记录条数,可以在命令行显示修改该值。
-p Operationcount 是YCSB run(运行压力测试)命令的参数,默认值1000表示默认选取数据库中的1000条数据进行压力测试。
-P workload 指定了workload的实现类为 com.yahoo.ycsb.workloads.CoreWorkload
-p readallfields表示查询时是否读取记录的所有字段
-p readproportion表示读操作的比例,该场景为0.5
-p updateproportion表示更新操作的比例,该场景为0.5
-p scanproportion表示扫描操作的比例
-p Insertproportion表示插入操作的比例
-p Requestdistribution表示请求的分布模式,YCSB提供uniform, zipfian, latest三种分布模式
参考:https://blog.csdn.net/zx8167107/article/details/78753283
ycsb 测试Hbase性能的更多相关文章
- YCSB测试HBase远程完全分布式集群
写在前面 本文只讲一个很简单的问题,YCSB对HBase集群的测试.虽然网上有很多介绍YCSB测试HBase的文章,但都是针对本地HBase伪分布式集群的.大家都知道,稍微正式一些的压测都会要求测试客 ...
- 雅虎(ycsb)测试hbase(压测)
一.下载ycsb 0.10包 https://github.com/brianfrankcooper/YCSB/releases/download/0.10.0/ycsb-0.10.0.tar.gz ...
- YCSB benchmark测试mongodb性能——和web服务器测试性能结果类似
转自:http://blog.sina.com.cn/s/blog_48c95a190102v9kg.html YCSB(Yahoo! Cloud Serving Benchmark) ...
- 【操作教程】利用YCSB测试巨杉数据库性能
一.前言 巨杉数据库(SequoiaDB)是国内第一款新一代文档型分布式数据库,巨杉数据库由巨杉软件完全自主研发,拥有完全自主知识产权,不基于任何其它的开源项目.SequoiaDB数据库是为分布式存储 ...
- ycsb对hbase性能测试的研究
ycsb对hbase性能测试 1.ycsb安装 下载ycsb软件 wget https://github.com/downloads/brianfrankcooper/YCSB/ycsb-0.1.4. ...
- hbase性能调优_表设计案例
hbase性能调优案例 1.人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加 设计思路 person表 ...
- hbase性能优化总结
hbase性能优化总结 1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都 ...
- HBase性能优化方法总结(转)
原文链接:HBase性能优化方法总结(一):表的设计 本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法.有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客. ...
- hbase性能调优案例
hbase性能调优案例 1.人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加 设计思路 person表 ...
随机推荐
- MySQL使用可重复读作为默认隔离级别的原因
一般的DBMS系统,默认都会使用读提交(Read-Comitted,RC)作为默认隔离级别,如Oracle.SQL Server等,而MySQL却使用可重复读(Read-Repeatable,RR). ...
- BBS项目知识点汇总
目录 bbs项目知识点汇总 一. JavaScript 1 替换头像 2 form表单拿数据 3 form组件error信息渲染 4 添加html代码 5 聚焦操作 二 . html在线编辑器 三 . ...
- HttpRunner学习4--使用正则表达式提取数据
前言 在HttpRunner中,我们可通过extract提取数据,当响应结果为 JSON 结构,可使用 content 结合 . 运算符的方式,如 content.code,用起来十分方便,但如果响应 ...
- 原生js复制粘贴上传图片前后台代码,兼容firebox,chrome, ie11,亲测有效
需求:粘贴上传图片,截图工具,右键粘贴,或者ctrl+v粘贴 方法1:可直接套用富文本框的图片上传功能,完成复制粘贴 缺点:麻烦,样式难控制 方法2:用原生js完成,以下案例基于此,样式请自己动手调整 ...
- Sqlite—修改语句(Update)
SQLite 的 UPDATE 语句用于修改表中已有的记录.可以使用带有 WHERE 子句的 UPDATE 查询来更新选定行,否则所有的行都会被更新. 基本语法:UPDATE table_name S ...
- sql server重建全库索引和更新全库统计信息通用脚本
重建全库索引: exec sp_msforeachtable 'DBCC DBREINDEX(''?'')' 更新全库统计信息: --更新全部统计信息 exec sp_updatestats 实例反馈 ...
- 亚马逊写作文档tip
亚马逊的文档要求任何一份开会备忘录/要点备忘录都需要控制在4页左右,Jeff 自己也强调过,4页的备忘录比20页的备忘录要求的更高,它不仅需要更好的思考,也需要对开会讨论各个重点之间关系的理解.ppt ...
- Leetcode题解 - 树、DFS部分简单题目代码+思路(700、671、653、965、547、473、46)
700. 二叉搜索树中的搜索 - 树 给定二叉搜索树(BST)的根节点和一个值. 你需要在BST中找到节点值等于给定值的节点. 返回以该节点为根的子树. 如果节点不存在,则返回 NULL. 思路: 二 ...
- javascript数组拆分为三个一组
首先构建原始数据. var arr = [ {name:'yanggb1',age:'15'}, {name:'yanggb2',age:'16'}, {name:'yanggb3',age:'17' ...
- VMware Workstation15激活码
VG5HH-D6E04-0889Y-QXZET-QGUC8 亲测可用