NVMe over Fabrics 技术特征

跨网络传输NVMe命令需要特殊的考虑,而不仅仅是针对本地存储内存。例如,为了远距离传输NVMe协议,理想的底层网络或fabric技术将具有以下特性:

  • 可靠的、基于可信的流程控制和交付机制。这种流控制允许网络或Fabric进行自身限流,提供了可靠的连接,可以保证在硬件级别进行传输,而不需要由于拥塞而丢弃帧或包。对FC,InfiniBand和PCI Express传输来说,基于可信的流量控制是天然具备的。
  • 一个最优化的客户端。客户机软件应该能够直接向fabric发送和接收本机NVMe命令,而不需要使用SCSI之类的翻译层。
  • 一个低延迟的fabric。fabric本身应该优化为低延迟。包括交换在内,fabric的端到端延迟不应超过10µs。
  • 减少延迟和CPU利用率适配器或接口卡。适配器应该能够为应用程序注册直接内存区域,以便将传输的数据直接传递到硬件fabric适配器。
  • Fabric扩展。这种fabric应该能够扩展到成千上万个或更多的设备。
  • 多主机支持。fabric应该能够支持多个主机同时主动发送和接收命令。这也适用于多个存储子系统。
  • 多端口支持。主机服务器和存储系统应该能够同时支持多个端口。
  • 多路径支持。fabric应该能够同时支持任何NVMe主机initiator和任何NVMe存储target之间的多个路径。

独立I/O队列的最大数量(64K)和这些NVMe I/O队列固有的并行性可以很好地用于上述结构类型。每个64K I/O队列都可以同时支持64K个命令,这使得它能够在非常大的fabric中实现。此外,NVMe命令集中只有很少数量的命令使得在各种fabric环境中实现相对简单。

本地NVMe和NVMe over Fabrics之间的差异

大约90%的基于fabric的NVMe协议与本地NVMe协议相同。这包括NVMe名称空间、I/O和管理命令、寄存器和属性、电源状态、异步事件、保留等。主要的区别在以下四个方面,见下表。

这些差异主要是NVMe产品的开发人员感兴趣的,因为他们的设备驱动程序需要正确处理本地NVMe设备和远程NVMe设备。其中一些项,例如标识符,可以公开给最终用户,以帮助识别特定应用程序的特定NVMe设备。发现机制设计用于处理多种类型的传输。

NVMe传输分布图

在本地NVMe实现中,NVMe命令和响应通过PCIe接口映射到主机中的共享内存。然而,fabric是建立在发送和接收消息的概念之上的,端点之间没有共享内存。NVMe fabric消息传输被设计为使用包含一个或多个NVMe命令或应答的capsule,将NVMe命令和应答封装到基于消息的系统中。capsule或capsule与数据的组合独立于特定的fabric技术,并通过所需的fabric技术发送和接收。

对于fabric上的NVMe,使用常规的NVMe提交队列和完成队列维护整个NVMe多队列模型,但封装在基于消息的传输之上。NVMe I/O队列对(提交和完成)是为多核cpu设计的,这种低延迟的高效设计在NVMe over Fabrics中得到了保持。

当通过fabric设备向NVMe发送复杂消息时,capsule允许将多个小消息作为一个消息发送,这提高了传输效率并减少了延迟。capsule要么是提交队列条目,要么是与一定数量的数据、元数据或聚散列表(SGLs)相结合的完成队列条目。这些元素的内容与本地NVMe协议相同,但是capsule使用将它们打包在一起的方式以提高效率。

NVMe Qualified Name (NQN)

存储网络结构的关键优点之一是用于在所有设备之间保持一致性的固有理解力。在本例中,fabric上的NVMe使用熟悉的限定命名寻址约定。

NVMe限定名(NQN)用于标识远程NVMe存储目标。它类似于iSCSI限定名(IQN)。关于NVMe限定名的更多详细信息在NVMe基本规范的第7.9节中进行了描述,可以在http://www.nvmexpress.org/speciations/中找到。

总结

NVMe over Fabrics准备扩展低延迟高效的NVMe块存储协议,以提供大规模的远程存储共享。fabric上的NVMe在不同的fabric类型之间维护NVMe协议的体系结构和软件一致性,发挥NVMe的优点,而不管存储target中使用的fabric类型或非易失存储类型如何。未来几年对这个行业来说将是非常激动人心的!

NVMe over Fabrics 概况的更多相关文章

  1. NVMe over Fabrics:概念、应用和实现

    对于大部分人来说,NVMe over Fabrics(简称NVMf)还是个新东西,因为其第一个正式版本的协议在今年6月份才发布.但是这并不影响人们对NVMf的关注,因为这项依托于NVMe的技术很可能继 ...

  2. NVMe over Fabrics又让RDMA技术火了一把

    RDMA是个什么鬼?相信大部分不关心高性能网络的童鞋都不太了解.但是NVMe over Fabrics的出现让搞存储的不得不抽出时间来看看这个东西,这篇文章就来介绍下我所了解的RDMA. RDMA(R ...

  3. NVMe over Fabrics 协议Discovery服务交互过程跟踪

    Discovery服务过程跟踪 对于NVMe over Fabrics的subsystem,有两种类型:Discovery子系统和NVM子系统.这里介绍与Discovery子系统相关的交互内容(即:在 ...

  4. 文章汇总(包括NVMe SPDK vSAN Ceph xfs等)

    基础部分 NVMe驱动解析-前言 NVMe驱动解析-注册设备 NVMe驱动解析-关键的BAR空间 NVMe驱动解析-DMA传输(热门) NVMe驱动解析-响应I/O请求 用一个简单的例子窥探NVMe的 ...

  5. linux nvme的那些workqueue

    目前nvme三个常见的使用的workqueue ,主要有nvme_workq,nvme_rdma_wq ,nvme_fc_wq,下面一一描述一下初始化及使用的场景.分别对应于NVME over PCI ...

  6. NVMe协议1.3c(一) 概述

    刚开始接触NVMe,对此理解不深,如有错误敬请指出 1.1概述 NVM ExpressTM(NVMeTM)接口允许主机软件与非易失性存储器子系统通信. 此接口针对企业和客户端固态驱动器进行了优化,通常 ...

  7. [SPDK/NVMe存储技术分析]008 - RDMA概述

    毫无疑问地,用来取代iSCSI/iSER(iSCSI Extensions for RDMA)技术的NVMe over Fabrics着实让RDMA又火了一把.在介绍NVMe over Fabrics ...

  8. [SPDK/NVMe存储技术分析]010 - 理解SGL

    在NVMe over PCIe中,I/O命令支持SGL(Scatter Gather List 分散聚合表)和PRP(Physical Region Page 物理(内存)区域页), 而管理命令只支持 ...

  9. [SPDK/NVMe存储技术分析]004 - SSD设备的发现

    源代码及NVMe协议版本 SPDK : spdk-17.07.1 DPDK : dpdk-17.08 NVMe Spec: 1.2.1 基本分析方法 01 - 到官网http://www.spdk.i ...

随机推荐

  1. A tiny problem with integers

    # A tiny problem with integers 给定长度为N的数列A,然后输入M行操作指令. 第一类指令形如“C l r d”,表示把数列中第l~r个数都加d. 第二类指令形如“Q X” ...

  2. 小Z的袜子(hose) HYSBZ - 2038 莫队+分块

    #include<bits/stdc++.h> using namespace std; typedef long long ll; typedef pair<ll,ll>pl ...

  3. 论文阅读笔记(二十三)【ECCV2018】:Robust Anchor Embedding for Unsupervised Video Person Re-Identification in the Wild

    Introduction 当前主要的非监督方法都采用相同的训练数据集,这些数据集在不同摄像头中是对称的,即不存在单个行人的错误项,这些方法将在实际场景中效果下降.在本方法中,作者引入了非对称数据,如下 ...

  4. 洛谷P1063能量项链(区间dp)

    题目描述: 给定一串序列x[],其中的每一个Xi看作看作一颗珠子,每个珠子包含两个参数,head和tail,前一颗的tail值是后一个的head值,珠子呈现环形(是一条项链),所以最后一颗的tail是 ...

  5. JavaScript自学笔记(3)--- 用JS来实现网页浮窗

    最近做个小项目,给网页加个浮窗,考验了基础的css,js技术,还是蛮有意思的,代码如下(部分代码来源于引用,见底部) <!DOCTYPE html> <html> <he ...

  6. MySQL概述及入门(三)

    MySql概述及入门(三) MySQL性能优化 主要优化安全和性能方面 安全方面 : 数据可持续性 性能方面 : 数据的高性能访问 性能优化——慢查询 在MySQL数据库中有一个慢查询日志功能,去获取 ...

  7. Android实战项目——家庭记账本设计思路

    经过三周左右的Android学习,实感只有上手开发才能有所提高.在此打算做一个家庭记账APP,同时巩固一下学到的东西并且弥补漏洞. 概述 记账是自古以来人类必不可少的一件事,从古代的算盘,到手写账本, ...

  8. 数据库MySQL之存储过程

    存储过程的定义 存储过程是一种在数据库中存储复杂程序,以便外部程序调用的一种数据库对象.其在思想上与面向对象编程中函数的定义与调用一致,存储过程只是SQL语言维度上的封装与运用. 存储过程的优缺点 优 ...

  9. kafka消费服务调优

    1.消费服务速度跟不上 2.top -H 观察是哪个线程最忙 3.多次使用jstack,看看最忙的那个线程在做什么

  10. Spring Aop和Spring Ioc(二)

    Spring IOC: DI注入集合类型: 实体类: package cn.spring.entity; import java.util.*; public class Dientity { pri ...