续1

6. 参考文献:
6.1 文献
http://sery.blog.51cto.com/10037/263515  田逸
http://bbs.chinaunix.net/thread-1643863-1-1.html  ltgzs777  
http://www.moosefs.org/  官网
http://bbs.chinaunix.net/thread-1643015-1-2.html   测试工具

6.1  测试数据

性能测试模型1  
一个不知道名字的哥们的测试结果,我先贴出来,那哥们看到了密我.

小文件性能测试

   

二级100*100文件夹

创建

列表

删除

         

单片15k.5
ext3
client单进程

real
0m0.762s
user
0m0.048s
sys
0m0.261s

real
0m0.179s
user
0m0.036s
sys
0m0.125s

real
0m0.492s
user
0m0.036s
sys
0m0.456s

         

单片15k.5
ext3
client 10并发进程

最长时间:
real
0m0.724s
user
0m0.015s
sys
0m0.123s

最长时间:
real
0m0.057s
user
0m0.006s
sys
0m0.025s

最长时间:
real
0m0.226s
user
0m0.010s
sys
0m0.070s

         

6chunkserver
cache
client单进程

real
0m2.084s
user
0m0.036s
sys
0m0.252s

real
0m4.964s
user
0m0.043s
sys
0m0.615s

real
0m6.661s
user
0m0.046s
sys
0m0.868s

         

6chunkserver
cache
client 10并发进程

最长时间:
real
0m1.422s
user
0m0.007s
sys
0m0.050s

最长时间:
real
0m2.022s
user
0m0.008s
sys
0m0.108s

最长时间:
real
0m2.318s
user
0m0.008s
sys
0m0.136s

         
                 
                 

二级1000*1000文件夹

创建

列表

删除

         

单片15k.5
ext3
client单进程

real
11m37.531s
user
0m4.363s
sys
0m37.362s

real
39m56.940s
user
0m9.277s
sys
0m48.261s

real
41m57.803s
user
0m10.453s
sys
3m11.808s

         

单片15k.5
ext3
client 10并发进程

最长时间:
real
11m7.703s
user
0m0.519s
sys
0m10.616s

最长时间:
real
39m30.678s
user
0m1.031s
sys
0m4.962s

最长时间:
real
40m23.018s
user
0m1.043s
sys
0m19.618s

         

6chunkserver
cache
client单进程

real
3m17.913s
user
0m3.268s
sys
0m30.192s

real
11m56.645s
user
0m3.810s
sys
1m10.387s

real
12m14.900s
user
0m3.799s
sys
1m26.632s

         

6chunkserver
cache
client 10并发进程

最长时间:
real
1m13.666s
user
0m0.328s
sys
0m3.295s

最长时间:
real
4m31.761s
user
0m0.531s
sys
0m10.235s

最长时间:
real
4m26.962s
user
0m0.663s
sys
0m13.117s

         
                 
                 

三级100*100*100文件夹

创建

列表

删除

         

单片15k.5
ext3
client单进程

real
9m51.331s
user
0m4.036s
sys
0m32.597s

real
27m24.615s
user
0m8.907s
sys
0m44.240s

real
28m17.194s
user
0m10.644s
sys
1m34.998s

         

单片15k.5
ext3
client 10进程

最长时间:
real
10m22.170s
user
0m0.580s
sys
0m11.720s

最长时间:
real
33m32.386s
user
0m1.127s
sys
0m5.280s

最长时间:
real
33m7.808s
user
0m1.196s
sys
0m10.588s

         

6chunkserver
cache
client单进程

real
3m21.720s
user
0m3.089s
sys
0m26.635s

real
9m26.535s
user
0m3.901s
sys
1m11.756s

real
10m51.558s
user
0m4.186s
sys
1m26.322s

         

6chunkserver
cache
client 10并发进程

最长时间:
real
1m23.023s
user
0m0.429s
sys
0m3.869s

最长时间:
real
4m10.617s
user
0m0.643s
sys
0m11.588s

最长时间:
real
4m20.137s
user
0m0.649s
sys
0m14.120s

         

6chunkserver
cache
client 50并发进程

最长时间:
real
1m26.388s
user
0m0.074s
sys
0m0.679s

最长时间:
real
4m37.102s
user
0m0.132s
sys
0m2.160s

最长时间:
real
4m37.392s
user
0m0.132s
sys
0m2.755s

         

6chunkserver
cache
client 100并发进程

最长时间:
real
1m29.338s
user
0m0.062s
sys
0m0.363s

最长时间:
real
4m54.925s
user
0m0.069s
sys
0m1.212s

最长时间:
real
4m35.845s
user
0m0.068s
sys
0m1.640s

         

6chunkserver
cache
remote
client 10并发进程

最长时间:
real
4m0.411s
user
0m2.985s
sys
0m12.287s

最长时间:
real
8m31.351s
user
0m4.223s
sys
0m29.800s

最长时间:
real
4m3.271s
user
0m3.206s
sys
0m11.922s

         
                 
                 

三级100*100*100文件夹

1

2

3

4

5

     

变更日志/元数据大小

55M左右

60M左右

60M左右

60M左右

60M左右

     

连续创建耗时

real
4m0.411s
user
0m2.985s
sys
0m12.287s

real
4m12.309s
user
0m3.039s
sys
0m12.899s

real
4m14.010s
user
0m3.418s
sys
0m12.831s

real
4m14.214s
user
0m3.247s
sys
0m12.871s

real
4m14.417s
user
0m3.170s
sys
0m12.948s

     
                 

注:

单盘多进程性能没有提升,因为都在io wait,甚至增加进程会消耗大量调度时间

 
 

MFS多进程时性能会提升,主要性能消耗集中在CPU系统时间。因此实际海量小文件性能要大大强于本地文件系统

性能测试模型2 (感谢 qq群战友 痞子白 提供)
两个Client同时dd测试
数据块1M 文件大小20G
Client1 写:68.4MB/s  读:25.3MB/s
Client2 写:67.5MB/s  读:24.7MB/s
总吞吐:写:135.9MB/s 读:50.0MB/s

写命令:dd if=/dev/zero of=/mfs/test.1 bs=1M count=20000
读命令:dd if=/mfs/test.1 of=/dev/null bs=1M

7. 感谢
田逸
一个不知道名字的哥们(看到请联系我)

8. 附录
8.1  1000 * 1000 * 1 client 脚本
#!/bin/bash
for ((i=0;i<1000;i++))
do
    mkdir ${i}
    cd ${i}
    for ((j=0;j<1000;j++))
      do
        cp /mnt/test ${j}
      done
      cd ..
done
8.2  1000  * 1000  *  ( 100,200 ,1000 client )  脚本
#!/bin/bash
declare -f make_1000_dir_file
cd `pwd`
function make_1000_dir_file {
    start=${1}
    stop=${2}
    for ((i=${start};i<${stop};i++))
    do
        mkdir ${i}
        for ((j=0;j<1000;j++))
        do
            cp /mnt/test ${i}/${j}
        done
    done
}
i=1
while [ ${i} -le 1000 ]
do
    ((n=${i}+1))
    make_1000_dir_file ${i} $ &
    ((i=${i}+1))
done
wait

mfs测试的更多相关文章

  1. MFS分布式文件系统【3】存储节点 CHUNK SERVER 部署

    [root@ky_hs_252 mfs-1.6.27]# mkdir /usr/local/mfs [root@ky_hs_252 mfs-1.6.27]# useradd mfs -s /sbin/ ...

  2. mfs-用户

    http://blog.csdn.net/liuyunfengheda/article/details/5260278 MFS总结 http://bbs.chinaunix.net/thread-16 ...

  3. MooseFS及其高可用部署

    MooseFS的工作原理分析 MooseFS(下面统一称为MFS)由波兰公司Gemius SA于2008年5月30日正式推出的一款Linux下的开源存储系统,是OpenStack开源云计算项目的子项目 ...

  4. MooseFS 分布式存储

    一.MooseFS介绍 MooseFS主要由管理服务器(master).元日志服务器(Metalogger).数据存储服务器(chunkserver)构成. 管理服务器:主要作用是管理数据存储服务器, ...

  5. MFS学习总结

    MFS学习总结 MFS概述.特性和新版改进 MFS 工作原理和设计架构 MFS的安装.部署.配置 MFS的高级特性 MFS的性能测试 MFS集群的维护 MFS的常见问题和建议对策 一.MFS概述.特性 ...

  6. 分布式文件系统MFS(moosefs)实现存储共享(第二版)

    分布式文件系统MFS(moosefs)实现存储共享(第二版) 作者:田逸(sery@163.com) 由于用户数量的不断攀升,我对访问量大的应用实现了可扩展.高可靠的集群部署(即lvs+keepali ...

  7. ETL测试教程

    在我们了解ETL测试之前,先了解有关商业智能和数据仓库的重要性. 让我们开始吧 - 什么是BI? 商业智能是收集原始数据或业务数据并将其转化为有用和更有意义的信息的过程. 原始数据是一个组织每日事务的 ...

  8. mfs 使用心得

    CentOS的安装方法: To install MooseFS from officially supported repository on EL7, follow the steps below: ...

  9. MFS故障测试及维护总结

    一.测试环境说明: 10.2.2.230 mfsmaster     VIP:10.2.2.130 10.2.2.231 mfsbackup 10.2.2.253 mfsdata01 10.2.2.2 ...

随机推荐

  1. 4.CRT远程连接的使用

    目录: 1.为什么需要远程连接? 2.一般的远程连接工具有哪些? 3.远程连接的原理? 4.远程连接的软件的功能和使用相关技巧? 1.为什么选择远程连接? 因为在实际工作中,机房一般都不可能在办公室, ...

  2. RIPng 知识要点

    RIPng  --------------------------------------------------------- UDP:521 多播地址:FF02::9 -------------- ...

  3. php之opcodes

    opcode是一种php脚本编译之后的语言. 例如: <?php echo "Hello World"; $a = 1 + 1; echo $a; ?> php执行这段 ...

  4. 基于UDP协议编程

    基于udp套接字 udp是无链接的,先启动哪一端都不会报错. UDP(user datagram protocol,用户数据报协议)是无连接的,面向消息的,提供高效率服务.不会使用块的合并优化算法,, ...

  5. HDU - 5829:Rikka with Subset (NTT)

    As we know, Rikka is poor at math. Yuta is worrying about this situation, so he gives Rikka some mat ...

  6. BZOJ - 3622:已经没有什么好害怕的了 (广义容斥)

    [BZOJ3622]已经没有什么好害怕的了 Description Input Output Sample Input 4 2 5 35 15 45 40 20 10 30 Sample Output ...

  7. IntelliJ IDEA 安装破解详解

    https://github.com/tengj/IntelliJ-IDEA-Tutorial IntelliJ IDEA官方中文文档 https://blog.csdn.net/newabcc/ar ...

  8. UVA11796 Dog Distance

    题意 PDF 分析 问题可以转化为小问题,即两条狗分别在线段上运动. 然后用相对运动知识可以认为甲不动,乙在线段上运动. 小问题就转化为点到线段的最小或最大距离. 时间复杂度\(O(I \times ...

  9. springboot 自定义属性

    前言 spring boot使用application.properties默认了很多配置.但需要自己添加一些配置的时候,我们如何添加呢 1.添加自定义属性 在src/main/resources/a ...

  10. week-02 线性表

    一.PTA实验作业 题目1:顺序表 7-1 最长连续递增子序列 1. 设计思路 定义结构体List,定义数组Data[maxsize]表示顺序表元素,变量Position表示位置,变量Length表示 ...