Hadoop4.2HDFS测试报告之六

测试结论

第一组数据作表格作图：

第二组数据作表格作图：

根据以上图分析得出以下结论：

1、 本地存储的读写速率基本保持23M左右，说明本地存储比较稳定。

2、 HDFS存储两个数据节点的读写速率性能比较好，当文件大小为1G时与本地存储性能接近，说明具备高可用性，测试过程中停掉一个节点，正常读写文件，说明也具备高稳定性。

3、 HDFS存储两个数据节点的读写速率比HDFS存储单个数据节点的读写速率提升1.6倍，说明具备高性能和高扩展性。

4、 HDFS存储在文件大于100M时读写速率15M/s以上，文件大于100M满足预期目标。

建议

HDFS存储测试建议和问题：

1、 hdfs存储对小文件支持的不好。

2、 hdfs客户端使用CPU过高。

3、 由于第二个缺点，实现多个客户端并发相当困难，待问题解决后续补测。

4、   测试过程中dd命令中采用/dev/urandom设备文件产生测试文件，避免磁盘缓存导致结果不准。

第2个缺点需要后续跟踪，找出问题的原因，导致系统真正实施和运行的性能带来影响。