YCSB项目学习
主要总结Yahoo的数据库测试项目YCSB的使用(针对redis)。
github网址:https://github.com/brianfrankcooper/YCSB
需要安装
- java
- maven
直接下载编译好的版本(不推荐)
1
2
3curl -O --location https://github.com/brianfrankcooper/YCSB/releases/download/0.15.0/ycsb-0.15.0.tar.gz
tar xfvz ycsb-0.15.0.tar.gz
cd ycsb-0.15.0使用java或者maven编译
1
2
3
4
5
6git clone http://github.com/brianfrankcooper/YCSB.git
cd YCSB
只安装redis测试部分
mvn -pl com.yahoo.ycsb:redis-binding -am clean package
安装全部测试功能
mvn clean package
概述
详细说明:https://github.com/brianfrankcooper/YCSB/wiki/Running-a-Workload
运行workload一共有六个部分
- 设置数据库
- 选择合适的DB interface
- 选择合适的负载
- 选择合适的runtime parameters
- load选择好的workload
- run选择好的workload
设置数据库
简要的说,就是创建名为usertable
的表,因为ycsb默认的是对usertable
进行相关操作。
而对于redis,则不需要相关的操作。
选择合适的DB interface
YCSB的操作是通过DB interface来实现的。最基本的DB interface是com.yahoo.ycsb.BasicDB
,会将输出输出到System.out
里。可以通过继承DB interface来自定义DB interface,也可以使用原有的DB interface。
选择合适的workload
当前版本提供了六种workload
Workload A: Update heavy workload
This workload has a mix of 50/50 reads and writes. An application example is a session store recording recent actions.
Workload B: Read mostly workload
This workload has a 95/5 reads/write mix. Application example: photo tagging; add a tag is an update, but most operations are to read tags.
Workload C: Read only
This workload is 100% read. Application example: user profile cache, where profiles are constructed elsewhere (e.g., Hadoop).
Workload D: Read latest workload
In this workload, new records are inserted, and the most recently inserted records are the most popular. Application example: user status updates; people want to read the latest.
Workload E: Short ranges
In this workload, short ranges of records are queried, instead of individual records. Application example: threaded conversations, where each scan is for the posts in a given thread (assumed to be clustered by thread id).
Workload F: Read-modify-write
In this workload, the client will read a record, modify it, and write back the changes. Application example: user database, where user records are read and modified by the user or to record user activity.
自定义Workload
当然也可以自定义workload:https://github.com/brianfrankcooper/YCSB/wiki/Implementing-New-Workloads
一般常用的workload property如fieldcount
,fieldlength
,requestdistribution
等。
全部properties如下:
The property files used with the core workload generator can specify values for the following properties:
- fieldcount: the number of fields in a record (default: 10)
- fieldlength: the size of each field (default: 100)
- readallfields: should reads read all fields (true) or just one (false) (default: true)
- readproportion: what proportion of operations should be reads (default: 0.95)
- updateproportion: what proportion of operations should be updates (default: 0.05)
- insertproportion: what proportion of operations should be inserts (default: 0)
- scanproportion: what proportion of operations should be scans (default: 0)
- readmodifywriteproportion: what proportion of operations should be read a record, modify it, write it back (default: 0)
- requestdistribution: what distribution should be used to select the records to operate on – un 大专栏 YCSB项目学习iform, zipfian or latest (default: uniform)
- maxscanlength: for scans, what is the maximum number of records to scan (default: 1000)
- scanlengthdistribution: for scans, what distribution should be used to choose the number of records to scan, for each scan, between 1 and maxscanlength (default: uniform)
- insertorder: should records be inserted in order by key (“ordered”), or in hashed order (“hashed”) (default: hashed)
- operationcount: number of operations to perform. If set to zero then YCSB will run until maxexecutiontime is reached (which by default is indefinitely). Note that if your workload or command line parameters do not specify an operation count it will defualt to zero.
- maxexecutiontime: maximum execution time in seconds. The benchmark runs until either the operation count has exhausted or the maximum specified time has elapsed, whichever is earlier. If unspecified the defualt is to run indefinitely.
- table: the name of the table (default: usertable)
- recordcount: number of records to load into the database initially (default: 0)
- core_workload_insertion_retry_limit: number of attempts for any failed insert operation (default: 0)
- core_workload_insertion_retry_interval: interval between retries, in seconds (default: 3)
选择合适的runtime parameter
主要是
-threads
: the number of client threads.-target
: the target number of operations per second.-s
: status.十秒打印一次状态
load data
需要指定redis.host
,redis.port
。(可以指定redis.password
和redis.cluster
)
以上参数也可以在命令中指定,比如
1 |
./bin/ycsb load redis -s -P workloads/workloada -p "redis.host=127.0.0.1" -p "redis.port=6379" |
run data
同理
1 |
./bin/ycsb run redis -s -P workloads/workloada -p "redis.host=127.0.0.1" -p "redis.port=6379" |
一些注意事项
ycsb不支持对key的长度的修改
issue网址:https://github.com/brianfrankcooper/YCSB/issues/587
ycsb对key命名规则是两种,hashed
模式会生成user
加固定长度的一串hash值,而ordered
模式会按照user
加顺序的方式来命名。
1 |
insertorder=hashed # user6284781860667377211, user8517097267634966620, user1820151046732198393 |
ycsb运行时错误:Read time out
错误类似于
1 |
redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out at redis.clients.jedis.Protocol.process(Protocol.java:79) |
当数据量变大之后,延时可能会变成几秒,而Jedis默认的是2
秒的超时限制。
修改redis的src文件夹的RedisClient.java
将
jedis = new Jedis(host, port);
修改为
jedis = new Jedis(host, port, 10000);
即从默认的2秒上升为10秒。
参考资料
- ycsb github地址:https://github.com/brianfrankcooper/YCSB
- ycsb 流程介绍:https://github.com/brianfrankcooper/YCSB/wiki/Running-a-Workload
- ycsb workload介绍:https://github.com/brianfrankcooper/YCSB/wiki/Implementing-New-Workloads
- ycsb 不支持对key长度的修改 issue网址:https://github.com/brianfrankcooper/YCSB/issues/587
- ycsb 运行时错误:read time out 解决方法博客网址:https://github.com/brianfrankcooper/YCSB/issues/587
YCSB项目学习的更多相关文章
- 转:从开源项目学习 C 语言基本的编码规则
从开源项目学习 C 语言基本的编码规则 每个项目都有自己的风格指南:一组有关怎样为那个项目编码约定.一些经理选择基本的编码规则,另一些经理则更偏好非常高级的规则,对许多项目而言则没有特定的编码规则,项 ...
- 中小研发团队架构实践之生产环境诊断工具WinDbg 三分钟学会.NET微服务之Polly 使用.Net Core+IView+Vue集成上传图片功能 Fiddler原理~知多少? ABP框架(asp.net core 2.X+Vue)模板项目学习之路(一) C#程序中设置全局代理(Global Proxy) WCF 4.0 使用说明 如何在IIS上发布,并能正常访问
中小研发团队架构实践之生产环境诊断工具WinDbg 生产环境偶尔会出现一些异常问题,WinDbg或GDB是解决此类问题的利器.调试工具WinDbg如同医生的听诊器,是系统生病时做问题诊断的逆向分析工具 ...
- PHP项目学习——控件
主要是在项目学习中总结的一些东西 动态效果 flashbar滚动条,增加动态效果,直接嵌入html中 <!--flash滚动条--> <object classid="cl ...
- PHP项目学习2
通过<PHP项目学习1>基本上可以了解项目的大致结构.内容,现在直接从代码入手,开始coding吧. 现在部署环境中建立一个myonline的文件夹,便于放置我们的项目
- Spring Boot 项目学习 (四) Spring Boot整合Swagger2自动生成API文档
0 引言 在做服务端开发的时候,难免会涉及到API 接口文档的编写,可以经历过手写API 文档的过程,就会发现,一个自动生成API文档可以提高多少的效率. 以下列举几个手写API 文档的痛点: 文档需 ...
- Spring Boot 项目学习 (三) Spring Boot + Redis 搭建
0 引言 本文主要介绍 Spring Boot 中 Redis 的配置和基本使用. 1 配置 Redis 1. 修改pom.xml,添加Redis依赖 <!-- Spring Boot Redi ...
- Spring Boot 项目学习 (一) 项目搭建
0 引言 本文主要记录借用Idea 开发环境下,搭建 Spring Boot 项目框架的过程. 1 系列文档目录 Spring Boot 项目学习 (一) 项目搭建 Spring Boot 项目学习 ...
- Spring Boot 项目学习 (二) MySql + MyBatis 注解 + 分页控件 配置
0 引言 本文主要在Spring Boot 基础项目的基础上,添加 Mysql .MyBatis(注解方式)与 分页控件 的配置,用于协助完成数据库操作. 1 创建数据表 这个过程就暂时省略了. 2 ...
- 优秀的github项目学习
优秀的github项目学习 后期会陆续添加遇到的优秀项目 https://github.com/chaijunkun
随机推荐
- ubuntu下安裝程序的三個方式
引言 在ubuntu当中,安装应用程序我所知道的有三种方法,分别是apt-get,dpkg安装deb和make install安装源码包三种.下面针对每一种方法各举例来说明. apt-get方法 使用 ...
- python中__call__方法
在 Python 中提供了__call__ 方法,允许创建可调用的对象(实例).如果类中实现了 __call__ 方法,则可以像使用函数一样使用类. 例如简单的封装一个接口 get/post 方法: ...
- Python——气象数据分析
将对意大利北部沿海地区的气象数据进行分析与可视化.我们在实验过程中先会运用 Python 中 matplotlib 库的对数据进行图表化处理,然后调用 scikit-learn 库当中的的 SVM 库 ...
- 吴裕雄--天生自然 pythonTensorFlow图形数据处理:循环神经网络预测正弦函数
import numpy as np import tensorflow as tf import matplotlib.pyplot as plt # 定义RNN的参数. HIDDEN_SIZE = ...
- Opencv笔记(十四)——边缘检测算法canny
简介 Canny 边缘检测算法 是 John F. Canny 于 1986年开发出来的一个多级边缘检测算法,也被很多人认为是边缘检测的 最优算法,它是由很多步构成的算法. 最优边缘检测的三个主要评价 ...
- php 连接oracle插入多张图片的方法
php连接oracle数据库的时候,其查询.更新.删除数据和MySQL类似,但是增加数据.特别是图片的时候就很不一样,这里面涉及到要创建一个blob对象,用blod对象去保存php图片,下面是当插入多 ...
- 新年在家学java之基础篇--类&方法
面向对象 面向对象OOP,面向过程POP 面向对象三大特征 封装 继承 多态 类 类由属性(对应类中的成员变量)和行为(成员方法)来构成 类的成员变量可以先声明,不用初始化,有默认值 方法名称如果多个 ...
- MySQL安装教程及Navicat连接MySQL报错:1251-Client does not support authentication protocol requested by server
MySQL安装可参考: MySql 8.0.18安装 此参考文章后面涉及到的密码修改,对本标题碰到的错误同样适用. 本文先讲如何安装,在讲碰到的1251问题.要直接看解决方案的朋友可以直接通过目录链接 ...
- [LC] 131. Palindrome Partitioning
Given a string s, partition s such that every substring of the partition is a palindrome. Return all ...
- AppCompatActivity 透明背景
<!-- 背景透明样式 --> <style name="AppTheme.transparent" parent="Theme.AppCompat.L ...