Glusterfs读写性能测试与分析

一、测试目的：

1、测试分布卷（Distributed）、分布式复制卷（Distributed-Replicate）、条带卷（Strip）和分布式条带复制卷（Distributed-Strip-Replicate）的读写性能。

2、测试网络对文件系统读写性能的影响。

一、测试准备：

1、三台千兆网测试机：dn151,dn152,dn154。每台测试机上有七块1T硬盘，dn151等是测试机的hostname。hostname配置方式，以及glusterfs的安装见https://www.cnblogs.com/ForestCherry/p/10876049.html。

2、创建目录：mkdir -p /data01 /data02 /data03 /data04 /data05 /data06 /data07 /Distributed-test /Distributed-Replicate-test /Strip-test /Distributed-Strip-Replicate-test（前面的是磁盘挂载目录，后面是卷节点挂载目录）

3、挂载磁盘：mount /dev/sdb /data01;mount /dev/sdc /data02;mount /dev/sdb /data03;mount /dev/sde /data04;mount /dev/sdf /data05;mount /dev/sdg /data06;mount /dev/sdh /data07;

4、测试命令：time dd if=/dev/zero bs=1M count=4096 of=4G.file（也可以借助fio工具测试）

三、开始测试：

1、创建gluster集群：gluster peer probe dn152;gluster peer probe dn154（这里是在dn151上创建的，也可以在其他两台上创建）

2、创建卷：（任意一台上执行）

　　1）gluster volume create Distributed-Strip-Replicate-test strip 2 replica 2 dn151:/data01 dn152:/data01 dn151:/data02 dn152:/data02 dn151:/data03 dn152:/data03 dn151:/data04 dn152:/data04 force 创建分布式条带复制卷

　　2）gluster volume create Distributed-test dn151:/data05 dn152:/data05 force 创建分布卷

　　3）gluster volume create Strip-test strip 2 dn151:/data06 dn152:/data06 force 创建条带卷

　　4）gluster volume create Distributed-Replicate-test replica 2 151:/data07 dn152:/data07 force 创建分布式复制卷

3、启动卷：gluster volume start Distributed-Strip-Replicate-test;gluster volume start Distributed-test; gluster volume start Strip-test;gluster volume start Distributed-Replicate-test（任意一台上执行）

4、挂载卷：mount -t glusterfs dn151:/Distributed-Replicate-test Distributed-Replicate-test;mount -t glusterfs dn151:/Distributed-Strip-Replicate-test Distributed-Strip-Replicate-test; mount -t glusterfs dn151:/Distributed-test Distributed-test;mount -t glusterfs dn151:/Strip-test Strip-test（每台上都要执行）

5、查看卷信息：gluster volume info

图一：

6、测试及现象：

dn151上：

图二：

dn152上：

图三：

dn154上：

图四：

dn151上：

图五：

dn152上:

图六：

说明：上诉dd命令是在一台上执行完后再去另一台上执行（相当于只测试了读或写），如果几台同时执行dd（相当于并发读写测试），那么性能会有所下降。

四、测试结果分析：（来自小白的简单分析，可能不准确，求大神指教）

1、glusterfs下读写请求的处理流程分析：请参照https://www.cnblogs.com/chaozhu/p/6402000.html

2、从图二或图三或图四可以看出：本地 > 条带卷 >  分布卷 ≈ 复制卷 ≈ 分布式条带复制卷

分析：

1）条带卷大于分布卷：结合图五图六可以看出，在dn151上执行dd命令，分布卷目录下根据哈希算法，随机将文件4G.flie151存储在dn152:/data05上；而条带卷是将4G.flie151分别存在dn151和dn152上的/data06上。所以就跨网来说，分布卷时4G全部使用socket存储，而条带卷只有2G文件通过socket存储，所以此时表现条带卷速度大于分布卷（如果分布卷存储通过哈希算法，在dn151上也将文件存储在dn151上，那么肯定是分布卷速度远大于条带卷速度，读者可自行测试）。

2）值得一提，创建条带卷时，当Number of Bricks: 为n*2(n >= 2)时，如果创建语句为：gluster volume create Strip-test strip 2 dn151:/data06 dn151:/data07 dn152:/data06 dn152:/data07 force（未跨网络分段），

如果创建语句为：gluster volume create Strip-test strip 2 dn151:/data06 dn152:/data06 dn151/data07 dn152:/data07 force（跨网络分段，不好的习惯，性能下降），两者的速度是不一样的，前者速度明显大于后者。

3）分布式复制卷 ≈ 分布式条带复制卷：测试文件不够大或者网络条件制约（千兆网的传输速率门槛大概在128MB/s），没体现出条带卷的优势。

2、图二和图三和图四对比可得：图四 < 图三 =  图二

分析：拿复制卷来说。

1）无论是在dn151上执行还是在dn152上执行，文件都是先在本地创建了4G.flie151或4G.flie152，然后再通过socke备份到另一台上，而当本地执行完请求后就会返回；而在dn154上执行，是要通过socket将文件存储到dn151和dn152上，所以返回响应会更久。

2）从结果117MB/s的测试结果可以看出，网络是制约影响文件系统读写性能的主要因素。

3、求指教：

1、以上分析是在当前条件下测试，结果和分析可能不太准确，如有不当，还请指教。

2、网上说fuse层对性能的影响很小，那么为什么在本地执行dd命令和通过flusterfs的挂载目录执行dd命令速度会慢那么多（咱们可以在dn151上执行 gluster volume create test-volume dn151:/test1 /dn151:/test2 force试一下）

3、求大神对上面的测试结果进行专业的分析。