IBM GPFS并行文件系统

原文地址：http://www.hqschina.com/Show.aspx?info_lb=283&info_id=751&flag=103

IBM GPFS文件系统是一种专门为群集环境设计的高性能、可扩展的并行文件系统。GPFS可以在群集中的多个节点间实现对共享文件系统中文件的快速存取操作，并提供稳定的故障恢复和容错机制。

被业界超大规模高性能计算机系统所广泛使用

GPFS文件系统被广泛应用于世界上超大规模的高性能计算机系统中，包括运行速度最快的IBM Blue Gene系统。在当前TOP500计算机排名中的232套IBM计算机系统几乎都采用了GPFS并行文件系统方案。在中国规模最大的5个高性能计算机系统中也无一例外地使用GPFS作为并行文件系统，这其中包括运行关键业务的生物信息和超级计算中心。这些项目成功实施和顺利运行充分证明了GPFS完全可以胜任用来构建超大规模的计算机系统。

高可扩展性

GPFS具有无可比拟的扩展性，如下表所示：

项目	最大限制	Linux集群中经过验证的值
单个文件系统容量	299Byte	2PB
集群中并行文件系统个数	256	32
单个文件系统中文件个数	2,147,483,648	N/A
单个文件系统能用到的逻辑卷个数（LUN数）	268 million	N/A
I/O带宽	取决于系统硬件配置	134GB/s

 

高性能

IBM GPFS并行文件系统软件在设计上不存在任何性能瓶颈，因此GPFS并行文件系统可以充分发挥硬件系统的性能。换句话说，GPFS并行文件系统的性能完全取决于硬件配置的好坏，而文件系统软件本身对性能的影响微乎其微。

IBM GPFS并行文件系统与其它并行文件系统之间最大的区别在于GPFS不需要专用的元数据（Meta Data）管理服务器，所有元数据分散在磁盘阵列中，并可以由任何I/O节点管理。这样的设计避免了并行文件系统中最可能产生性能瓶颈的因素——Meta Data Server。

大规模高性能计算机系统的设计都会采用专用的I/O节点。I/O节点配置光纤通道卡连接外部磁盘阵列，而计算节点及登录节点对磁盘阵列的访问则是利用网络与I/O节点进行数据通讯。在系统规模非常大的时候，用来交换数据的网络通常会成为性能的瓶颈。IBM GPFS文件系统可以充分利用高速网络的特性，提升计算节点与I/O节点间的数据通讯性能，同时最大程度地降低因I/O处理带来的对CPU资源的消耗。

在Linux集群系统中，当使用了InfiniBand作为高速网络时，GPFS并行文件系统可以充分利用InfinBand网络的RDMA（Remote Direct Memory Access）特性进行数据通讯。与TCP socket协议不同，RDMA可以实现计算节点与I/O节点间内存的直接通讯，而最小化CPU的参与。这样在提升I/O带宽性能的同时，降低计算节点CPU资源的消耗，从而保证计算节点内的资源可以更专注于数据计算。

IBM GPFS的先进设计保证了GPFS是目前性能最高的并行文件系统，保持着在实际测试中得到的带宽134GB/s世界纪录。

高可用性

IBM GPFS文件系统本身提供了丰富的高可用性功能，所有的GPFS相关的管理服务器都能做到冗余配置，并可以由I/O节点中的任意节点担任。具体从GPFS集群（节点）、逻辑卷（磁盘）及文件系统的管理与维护三个层面得以体现。

可以将所有服务器划到一个GPFS集群（GPFS集群是并行文件系统的专用概念，是所有要访问并行文件系统的服务器的集合）中，或分成多个GPFS集群。每个GPFS集群设置主、备2个管理服务器，可以选择I/O节点中的任何服务器承担。GPFS集群管理服务器负责管理和维护集群配置信息，如增加或减少节点、改变集群中服务器的属性等。同时，在一个GPFS集群中还可以指定若干个服务器作为“仲裁委员会”的成员（quorum node），只要该仲裁委员会中一半以上的成员正常运行，就可以保证GPFS正常使用。

在磁盘阵列划分好逻辑卷（LUN）并映射到相应服务器后，GPFS将每个LUN转换成网络共享磁盘（NSD），同时为每个NSD指定多个（最多8个）管理服务器，可以由任何I/O节点承担。这样可以充分保证任何I/O节点宕机都不会导致逻辑卷的不可用。

在文件系统层面，每个GPFS集群中可以创建最多256个文件系统，每个文件系统都对应多个管理服务器（可以由任何I/O节点承担）。当任何一个文件系统管理服务器宕机时，都会有另外一个服务器自动接替其工作，保证并行文件系统的高可用性。

另外，GPFS支持分布式的元数据服务器，支持元数据自动日志功能，实现用户数据和元数据的备份和自动恢复，当一台服务器宕机时，其管理功能可以有另外的服务器接管，不存在单点故障。GPFS支持多路径磁盘访问，一条路径访问失败，GPFS可以自动尝试其它路径，并同时支持节点和磁盘两级故障切换，对上层应用透明，确保应用的继续执行。GPFS支持分布式的块级锁管理，通过令牌机制来避免并发读写冲突。GPFS还支持rolling update功能，可以在线升级文件系统。

丰富的功能

GPFS还具有其它丰富的功能，如信息生命周期管理（ILM）、多集群间交叉mount、集群化NFS（CNFS）、磁盘限额管理、NFS和SAMBA客户端支持等。这些功能保证了GPFS配置和使用的灵活性，可以针对用户业务特点对GPFS进行设计与配置，满足用户业务对并行文件系统的复杂需求。