NVMe over Fabrics 概况

NVMe over Fabrics 技术特征

跨网络传输NVMe命令需要特殊的考虑，而不仅仅是针对本地存储内存。例如，为了远距离传输NVMe协议，理想的底层网络或fabric技术将具有以下特性：

• 可靠的、基于可信的流程控制和交付机制。这种流控制允许网络或Fabric进行自身限流，提供了可靠的连接，可以保证在硬件级别进行传输，而不需要由于拥塞而丢弃帧或包。对FC，InfiniBand和PCI Express传输来说，基于可信的流量控制是天然具备的。
• 一个最优化的客户端。客户机软件应该能够直接向fabric发送和接收本机NVMe命令，而不需要使用SCSI之类的翻译层。
• 一个低延迟的fabric。fabric本身应该优化为低延迟。包括交换在内，fabric的端到端延迟不应超过10µs。
• 减少延迟和CPU利用率适配器或接口卡。适配器应该能够为应用程序注册直接内存区域，以便将传输的数据直接传递到硬件fabric适配器。
• Fabric扩展。这种fabric应该能够扩展到成千上万个或更多的设备。
• 多主机支持。fabric应该能够支持多个主机同时主动发送和接收命令。这也适用于多个存储子系统。
• 多端口支持。主机服务器和存储系统应该能够同时支持多个端口。
• 多路径支持。fabric应该能够同时支持任何NVMe主机initiator和任何NVMe存储target之间的多个路径。

独立I/O队列的最大数量(64K)和这些NVMe I/O队列固有的并行性可以很好地用于上述结构类型。每个64K I/O队列都可以同时支持64K个命令，这使得它能够在非常大的fabric中实现。此外，NVMe命令集中只有很少数量的命令使得在各种fabric环境中实现相对简单。

本地NVMe和NVMe over Fabrics之间的差异

大约90%的基于fabric的NVMe协议与本地NVMe协议相同。这包括NVMe名称空间、I/O和管理命令、寄存器和属性、电源状态、异步事件、保留等。主要的区别在以下四个方面，见下表。

这些差异主要是NVMe产品的开发人员感兴趣的，因为他们的设备驱动程序需要正确处理本地NVMe设备和远程NVMe设备。其中一些项，例如标识符，可以公开给最终用户，以帮助识别特定应用程序的特定NVMe设备。发现机制设计用于处理多种类型的传输。

NVMe传输分布图

在本地NVMe实现中，NVMe命令和响应通过PCIe接口映射到主机中的共享内存。然而，fabric是建立在发送和接收消息的概念之上的，端点之间没有共享内存。NVMe fabric消息传输被设计为使用包含一个或多个NVMe命令或应答的capsule，将NVMe命令和应答封装到基于消息的系统中。capsule或capsule与数据的组合独立于特定的fabric技术，并通过所需的fabric技术发送和接收。

对于fabric上的NVMe，使用常规的NVMe提交队列和完成队列维护整个NVMe多队列模型，但封装在基于消息的传输之上。NVMe I/O队列对(提交和完成)是为多核cpu设计的，这种低延迟的高效设计在NVMe over Fabrics中得到了保持。

当通过fabric设备向NVMe发送复杂消息时，capsule允许将多个小消息作为一个消息发送，这提高了传输效率并减少了延迟。capsule要么是提交队列条目，要么是与一定数量的数据、元数据或聚散列表(SGLs)相结合的完成队列条目。这些元素的内容与本地NVMe协议相同，但是capsule使用将它们打包在一起的方式以提高效率。

NVMe Qualified Name (NQN)

存储网络结构的关键优点之一是用于在所有设备之间保持一致性的固有理解力。在本例中，fabric上的NVMe使用熟悉的限定命名寻址约定。

NVMe限定名(NQN)用于标识远程NVMe存储目标。它类似于iSCSI限定名(IQN)。关于NVMe限定名的更多详细信息在NVMe基本规范的第7.9节中进行了描述，可以在http://www.nvmexpress.org/speciations/中找到。

总结

NVMe over Fabrics准备扩展低延迟高效的NVMe块存储协议，以提供大规模的远程存储共享。fabric上的NVMe在不同的fabric类型之间维护NVMe协议的体系结构和软件一致性，发挥NVMe的优点，而不管存储target中使用的fabric类型或非易失存储类型如何。未来几年对这个行业来说将是非常激动人心的！