Lustre架构介绍的阅读笔记-NFS兼容性

本文是在阅读Introduction to Lustre* Architecture的Traditional Network File Systems vs Lustre时的笔记。

Lustre is a distributed network file system and shares some of the characteristics common to other network storage technology, namely that clients transact IO over a network and do not write data locally, the servers support concurrency, and the data is presented as a single coherent namespace.

Lustre是分布式的NFS存储系统，因此具备分布式系统和NFS的特征和约束。

• 作为分布式存储，允许通过扩容实现容量、性能的线性扩展。
• 作为NFS，对客户应用提供POSIX语义支持，并屏蔽存储系统的实现细节。

分布式系统的技术点，比如：

• 分布式计算
• 分布式缓存
  • 预热数据
  • 老化数据
• 分布式锁
• 分布式事务
• 分布式通信
  • RPC
    • 接口的注册
    • 通信的路由
    • API通信超时
    • API通信失败时重试
  • 消息队列
  • 通信模式，即同步、异步。
• 选举策略
• 热点
• 任务系统
  • 周期性执行任务
  • 单次执行
  • 单节点执行任务
  • 多节点并发执行
  • 多节点串行执行
• 健康检查
  • 负载检查
  • 状态检查
• 负载均衡
• 集群管理
  • 扩容节点
  • 缩容节点
• 配额
• QoS
• 非功能
  • 性能
  • 可靠性
  • 故障迁移
  • 安全

分布式存储系统的技术点，比如：

• 复制数据
  • 副本
  • EC
• 数据的一致性
  • 不一致的检测
  • 重建数据的策略
  • WAL即write ahead log
• 热点
  • 访问的热点
  • 存储的热点
  • 自动平衡的策略
• 上层协议，比如NFS、CIFS、SMB、HDFS、FTP、S3等。
• 网络技术，比如IB/Ethernet等。
  • 业务网络，存储的应用、存储的客户端与存储系统通信、交换数据。
  • 业务管理网络，管理员执行管理操作，接入管理系统。
  • 运维管理网络，运维团队下发日常运维操作时，接入管理系统，访问存储集群中各节点。
  • 存储网络，存储集群中各节点内部通信。

分布式存储系统与传统的单机存储系统的差别，通过扩容可以快速实现性能的提升，比如：

• 读带宽/写带宽
  • 单块盘的读/写带宽存在上限，因此同时操作的盘数量越多，可以快速提升集群的读/写带宽。
  • 单机的网络带宽存在上限，分布式存储可通过增加节点数量，实现带宽的线性增长。
• IOPS，单机的文件存储，硬件配置无法扩展和动态配置，因此处理的IOPS受限。对于分布式存储，可以通过增加节点来提升IOPS。对于Lustre而言，可以通过增强MDS节点的硬件配置，或者增加MDS节点的数量，进而提升集群的IOPS指标的表现。