mfs测试
续1
6. 参考文献:
6.1 文献
http://sery.blog.51cto.com/10037/263515 田逸
http://bbs.chinaunix.net/thread-1643863-1-1.html ltgzs777
http://www.moosefs.org/ 官网
http://bbs.chinaunix.net/thread-1643015-1-2.html 测试工具
6.1 测试数据
性能测试模型1
一个不知道名字的哥们的测试结果,我先贴出来,那哥们看到了密我.
小文件性能测试 |
||||||||
二级100*100文件夹 |
创建 |
列表 |
删除 |
|||||
单片15k.5 |
real |
real |
real |
|||||
单片15k.5 |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
real |
real |
real |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
二级1000*1000文件夹 |
创建 |
列表 |
删除 |
|||||
单片15k.5 |
real |
real |
real |
|||||
单片15k.5 |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
real |
real |
real |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
三级100*100*100文件夹 |
创建 |
列表 |
删除 |
|||||
单片15k.5 |
real |
real |
real |
|||||
单片15k.5 |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
real |
real |
real |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
6chunkserver |
最长时间: |
最长时间: |
最长时间: |
|||||
三级100*100*100文件夹 |
1 |
2 |
3 |
4 |
5 |
|||
变更日志/元数据大小 |
55M左右 |
60M左右 |
60M左右 |
60M左右 |
60M左右 |
|||
连续创建耗时 |
real |
real |
real |
real |
real |
|||
注: |
单盘多进程性能没有提升,因为都在io wait,甚至增加进程会消耗大量调度时间 |
|
MFS多进程时性能会提升,主要性能消耗集中在CPU系统时间。因此实际海量小文件性能要大大强于本地文件系统 |
性能测试模型2 (感谢 qq群战友 痞子白 提供)
两个Client同时dd测试
数据块1M 文件大小20G
Client1 写:68.4MB/s 读:25.3MB/s
Client2 写:67.5MB/s 读:24.7MB/s
总吞吐:写:135.9MB/s 读:50.0MB/s
写命令:dd if=/dev/zero of=/mfs/test.1 bs=1M count=20000
读命令:dd if=/mfs/test.1 of=/dev/null bs=1M
7. 感谢
田逸
一个不知道名字的哥们(看到请联系我)
8. 附录
8.1 1000 * 1000 * 1 client 脚本
#!/bin/bash
for ((i=0;i<1000;i++))
do
mkdir ${i}
cd ${i}
for ((j=0;j<1000;j++))
do
cp /mnt/test ${j}
done
cd ..
done
8.2 1000 * 1000 * ( 100,200 ,1000 client ) 脚本
#!/bin/bash
declare -f make_1000_dir_file
cd `pwd`
function make_1000_dir_file {
start=${1}
stop=${2}
for ((i=${start};i<${stop};i++))
do
mkdir ${i}
for ((j=0;j<1000;j++))
do
cp /mnt/test ${i}/${j}
done
done
}
i=1
while [ ${i} -le 1000 ]
do
((n=${i}+1))
make_1000_dir_file ${i} $ &
((i=${i}+1))
done
wait
mfs测试的更多相关文章
- MFS分布式文件系统【3】存储节点 CHUNK SERVER 部署
[root@ky_hs_252 mfs-1.6.27]# mkdir /usr/local/mfs [root@ky_hs_252 mfs-1.6.27]# useradd mfs -s /sbin/ ...
- mfs-用户
http://blog.csdn.net/liuyunfengheda/article/details/5260278 MFS总结 http://bbs.chinaunix.net/thread-16 ...
- MooseFS及其高可用部署
MooseFS的工作原理分析 MooseFS(下面统一称为MFS)由波兰公司Gemius SA于2008年5月30日正式推出的一款Linux下的开源存储系统,是OpenStack开源云计算项目的子项目 ...
- MooseFS 分布式存储
一.MooseFS介绍 MooseFS主要由管理服务器(master).元日志服务器(Metalogger).数据存储服务器(chunkserver)构成. 管理服务器:主要作用是管理数据存储服务器, ...
- MFS学习总结
MFS学习总结 MFS概述.特性和新版改进 MFS 工作原理和设计架构 MFS的安装.部署.配置 MFS的高级特性 MFS的性能测试 MFS集群的维护 MFS的常见问题和建议对策 一.MFS概述.特性 ...
- 分布式文件系统MFS(moosefs)实现存储共享(第二版)
分布式文件系统MFS(moosefs)实现存储共享(第二版) 作者:田逸(sery@163.com) 由于用户数量的不断攀升,我对访问量大的应用实现了可扩展.高可靠的集群部署(即lvs+keepali ...
- ETL测试教程
在我们了解ETL测试之前,先了解有关商业智能和数据仓库的重要性. 让我们开始吧 - 什么是BI? 商业智能是收集原始数据或业务数据并将其转化为有用和更有意义的信息的过程. 原始数据是一个组织每日事务的 ...
- mfs 使用心得
CentOS的安装方法: To install MooseFS from officially supported repository on EL7, follow the steps below: ...
- MFS故障测试及维护总结
一.测试环境说明: 10.2.2.230 mfsmaster VIP:10.2.2.130 10.2.2.231 mfsbackup 10.2.2.253 mfsdata01 10.2.2.2 ...
随机推荐
- 4.CRT远程连接的使用
目录: 1.为什么需要远程连接? 2.一般的远程连接工具有哪些? 3.远程连接的原理? 4.远程连接的软件的功能和使用相关技巧? 1.为什么选择远程连接? 因为在实际工作中,机房一般都不可能在办公室, ...
- RIPng 知识要点
RIPng --------------------------------------------------------- UDP:521 多播地址:FF02::9 -------------- ...
- php之opcodes
opcode是一种php脚本编译之后的语言. 例如: <?php echo "Hello World"; $a = 1 + 1; echo $a; ?> php执行这段 ...
- 基于UDP协议编程
基于udp套接字 udp是无链接的,先启动哪一端都不会报错. UDP(user datagram protocol,用户数据报协议)是无连接的,面向消息的,提供高效率服务.不会使用块的合并优化算法,, ...
- HDU - 5829:Rikka with Subset (NTT)
As we know, Rikka is poor at math. Yuta is worrying about this situation, so he gives Rikka some mat ...
- BZOJ - 3622:已经没有什么好害怕的了 (广义容斥)
[BZOJ3622]已经没有什么好害怕的了 Description Input Output Sample Input 4 2 5 35 15 45 40 20 10 30 Sample Output ...
- IntelliJ IDEA 安装破解详解
https://github.com/tengj/IntelliJ-IDEA-Tutorial IntelliJ IDEA官方中文文档 https://blog.csdn.net/newabcc/ar ...
- UVA11796 Dog Distance
题意 PDF 分析 问题可以转化为小问题,即两条狗分别在线段上运动. 然后用相对运动知识可以认为甲不动,乙在线段上运动. 小问题就转化为点到线段的最小或最大距离. 时间复杂度\(O(I \times ...
- springboot 自定义属性
前言 spring boot使用application.properties默认了很多配置.但需要自己添加一些配置的时候,我们如何添加呢 1.添加自定义属性 在src/main/resources/a ...
- week-02 线性表
一.PTA实验作业 题目1:顺序表 7-1 最长连续递增子序列 1. 设计思路 定义结构体List,定义数组Data[maxsize]表示顺序表元素,变量Position表示位置,变量Length表示 ...