spdk intel

前言

　　继为SDN和NFV领域带来福音的DPDK之后，英特尔于2015年9月开始，逐步将为NVMe等新一代存储规范优化的Linux性能工具包SPDK(Storage Performance Developmen Kit)对合作伙伴与社区开源，试图将Linux用户态存储服务程序与底层硬件设施打通，大幅度缩短IO路径，充分利用无锁机制，为NVMe等新一代的存储介质打通软件层瓶颈，使其能够在有限的系统资源消耗下支撑关键业务存储系统足够的带宽和延时要求。

spdk动机

　　市售的基于NVMe硬盘动辄可达到单盘GB级的读写带宽和十万量级的随机IOPS，为SATA固态硬盘的5~10倍。然而，由于Linux内核驱动实现与调度机制的限制，一般存储软件的表现，相对于NVMe来说，在整个IO事务中消耗的时间百分比就显得太多了。换言之，主流的软件定义存储系统并不能完全释放其性能，存储软件协议栈的性能和效率在存储整体系统中的地位就显得越来越关键了。

　　我们可以把NVMe看做一个硬件进步推动软件革新需求的例子，随着后续比它更快的存储介质投入市场，这种推动力将更为急迫。

spdk基本原理

　　SPDK(Storage Performance Development Kit)，包含一套驱动程序，以及一整套端到端的存储参考架构。SPDK的目标是能够把硬件平台的计算、网络、存储的最新性能进展充分发挥出来。自芯片而上进行设计优化，SPDK已展示出超高的性能指标。

　　它的高性能实际上来自于两项核心技术：第一个是用户态运行，第二个是轮询模式驱动。

用户态运行：降低指令周期

　　将设备驱动代码运行在用户态，是和运行在“内核态”相对而言的。把设备驱动移出内核空间避免了内核上下文切换与中断处理，从而节省了大量的CPU负担，允许更多的指令周期用在实际处理数据存储的工作上。无论存储算法复杂还是简单，也无论进行去重(deduplication)，加密(encryption)，压缩(compression)，还是简单的块读写，更少的指令周期浪费意味着更好的整体性能。

轮询模式驱动：

　　中断式IO处理模式：有IO需要处理时就请求一个中断，CPU收到中断后才进行资源调度来处理IO，采用的是被动的派发式工作。当硬盘速度上千倍的提高后，将随之产生大量IO中断，Linux内核的中断驱动式IO处理(Interrupt Driven IO Process)就显得效率不高了。

　　定点轮询(polling)模式：使用专门的计算资源(特定的CPU核)用来主导存储设备的轮询式处理——就像专门的出租车道和车流用来处理乘客任务，数据包和块得到迅速派发，等待时间最小化，从而达到低延时、更一致的延时(抖动变少)、更好的吞吐量的效果。

　　关于两种方式的比较和讨论，参考这里...，注意：spdk使用轮询模式的前提是高性能的磁盘设备，最终是终端驱动处理还是轮询驱动处理，取决于系统硬件的搭配方式，不同的条件会匹配不同的优化策略

基本组件：

　　SPDK中大概有三类子组件：网络前端、处理框架、后端。

图1 spdk基本架构

网络前端

　　网络前端子组件包括DPDK网卡驱动和用户态网络服务UNS（这是一个Linux内核TCP/IP协议栈的替代品，能够突破通用TCP/IP协议栈的种种性能限制瓶颈）。DPDK在网卡侧提供了一个高性能的发包收包处理框架，在数据从网卡到操作系统用户态之间提供了一条快速通道。UNS代码则接续这一部分处理，“crack”了TCP/IP数据包的标准处理方式，并形成iSCSI命令。

处理框架

　　“处理框架”部分拿到了数据包内容，将iSCSI命令转换为SCSI块级命令。然而，在它将这些命令发到“后端”驱动之前，SPDK提供了一套API框架，让厂商能够插入自己定义的处理逻辑(架构图中绿色的方框)。通过这种机制，存储厂商可在这里实现例如缓存、去重、压缩、加密、RAID计算，或擦除码(Erasure Coding)计算等功能，使这些功能包含在SPDK的处理流程中。在SPDK的开源软件包里，会有这些功能的实现样例。

后端

　　数据到达了“后端”驱动层，在这里SPDK和物理块设备交互(读和写操作)。如前所述，SPDK提供了用户态的PMD[2]，支持NVMe设备、Linux AIO设备(传统spinning硬盘)、RAMDISK设备，以及利用到英特尔I/O加速技术的新设备(CBDMA=3D XPoint?)。这一系列后端设备驱动涵盖了不同性能的存储分层，保证SPDK几乎与每种存储应用形成关联。事实上，英特尔在2015年9月首先开源的SPDK部分就主要包含支持NVMe的用户态轮询模式驱动。

spdk在ceph中的使用

　　Ceph长期以来就其计算资源占用率和性能方面，虽不断提高，但在闪存环境下仍难觅突破性进展。顺应业界趋势，将SPDK的支持在Ceph中实现势在必行。

Ceph与SPDK结合架构图

引用参考：

1、spdk介绍：http://www.spdk.io/

2、dpdk原理：http://blog.csdn.net/jincm13/article/details/50972641

3、SPDK，软件定义存储的催化剂：http://www.techweb.com.cn/network/hardware/2016-01-26/2268226.shtml

4、Introduction to the SPDK by intel：https://software.intel.com/en-us/articles/introduction-to-the-storage-performance-development-kit-spdk

5、XSKY借助英特尔SPDK提升Ceph性能：http://news.watchstor.com/news-153050.htm

6、中断与轮询的比较：http://www.cnblogs.com/jhxk/articles/1893314.html