YCSB对MongoDB数据库性能测试

一、安装部署

1.1前置条件

Install Java and Maven

Go to http://www.oracle.com/technetwork/java/javase/downloads/index.html

并获取url以将rpm下载到服务器。例如：

wget http://download.oracle.com/otn-pub/java/jdk/7u40-b43/jdk-7u40-linux-x64.rpm?AuthParam=11232426132 -o jdk-7u40-linux-x64.rpm

rpm -Uvh jdk-7u40-linux-x64.rpm

或者通过yum/apt-get安装

sudo yum install java-devel

（包含JAVA可不用安装）

Download MVN from http://maven.apache.org/download.cgi

wget http://ftp.heanet.ie/mirrors/www.apache.org/dist/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz

sudo tar xzf apache-maven-*-bin.tar.gz -C /usr/local

cd /usr/local

sudo ln -s apache-maven-* maven

sudo vi /etc/profile.d/maven.sh

将以下内容添加到maven.sh

export M2_HOME=/usr/local/maven

export PATH=${M2_HOME}/bin:${PATH}

重新加载bash并测试mvn

bash

mvn -version

----或简约安装

sudo apt update

sudo apt install maven

备注：若不能执行需安装MongoDB

下载MongoDB并启动。例如，要启动MongoDB 在x86-64 Linux系统上：

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.24.tgz

tar -xfvz mongodb-linux-x86_64-*.tgz

mkdir /tmp/mongodb

cd mongodb-linux-x86_64-*

./bin/mongod --dbpath /tmp/mongodb

将上面的x.x.x替换为MongoDB的最新稳定发布版本。请参阅http://docs.mongodb.org/manual/installation/ 了解各种操作系统的安装步骤。

1.2下载YCSB zip文件并编译

curl -O --location https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-0.17.0.tar.gz

比较慢的话可从我的CSDN 0积分下载：https://download.csdn.net/download/weixin_39106116/88421659

tar -xfvz ycsb-0.17.0.tar.gz

cd ycsb-0.17.0 即可执行

或参考官网；
https://github.com/brianfrankcooper/YCSB/tree/master/mongodb?spm=a2c4g.11186623.0.0.6c347665QqdZjn

二、测试方法

2.1. 测试用例

使用ycsb自身配置文件workloada、workloadb、workloadc、workloadd、workloade、workloadf提供的各种操作场景。本文档使用workloada进行测试，后续将继续使用其他条件测试

l 测试命令参数说明

recordcount=1000 测试数据集的记录总数

operationcount=1000 测试过程执行的总数

workload=site.ycsb.workloads.CoreWorkload 默认（一般不用修改）

readallfields=true 查询时是否读取记录的所有字段

readproportion=0.5 读操作百分比

updateproportion=0.5 更新操作百分比

scanproportion=0 扫描操作百分比

insertproportion=0 插入操作百分比

requestdistribution=zipfian 随机选择记录（存在热数据），uniform等概率选择记录、latest近期写入数据（热数据）

l 账号密码

使用web页面创建的账号密码登录不是很顺利，可以进入容器环境，通过env | grep PASS找到root的对应密码

2.2. 测试执行

l 初始化load数据

ycsb load mongodb -s -P workloads/workloada -p table=test -threads 500 -p recordcount=100000000 -p mongodb.url=mongodb://root:nMmMDF2EsjYyTQWC@127.0.0.1:27017/admin?w=0

l 读写50:50

ycsb run mongodb -s -P workloads/workloada -p table=test -p recordcount=16000000 -p readproportion=0.5 -p updateproportion=0.5 -p operationcount=16000000 -threads 100 -p mongodb.url=mongodb://root:nMmMDF2EsjYyTQWC@127.0.0.1:27017/admin?w=0

l 读写95:5

ycsb run mongodb -s -P workloads/workloada -p table=test -p recordcount=16000000 -p readproportion=0.95 -p updateproportion=0.05 -p operationcount=16000000 -threads 100 -p mongodb.url=mongodb://root:nMmMDF2EsjYyTQWC@127.0.0.1:27017/admin?w=0