nvme磁盘故障注入方法

本文分享自天翼云开发者社区《nvme磁盘故障注入方法》，作者：曹****飞

在存储系统中，磁盘的故障是很可能出现的问题。存储软件的设计需要对故障进行处理，提高系统的健壮性。然而磁盘的故障是不可控的，当我们想测试软件故障处理的分支时，不是很方便。用软件模拟的方法能覆盖的场景比较少，而且和实际故障的差距会比较大。因此，如果能让故障下沉到磁盘，尽可能的靠近磁盘，才能构造出尽可能真实的故障场景。本文针对nvme磁盘，在磁盘驱动这一层调研了几种可以注入磁盘故障的方法。

1. write uncorrectable

通过向nvme控制器发送write uncor命令，标记指定的LBA范围为invalid，当读到这个LBA范围时，ctrl会返回Unrecovered Read Error错误。可以用于模拟读的media error。如果要清除invalid状态，需要向这个LBA范围写入数据，覆盖调invalid标记。

不过，write uncor命令不是所有厂家的盘都支持。如果不支持，会返回invalid op code错误。查看是否支持的方法，可以看controller数据结构中的oncs->write_unc是否为1。

还有一个缺点是只能注入读故障。

2. write protect

通过设置namespace的属性，可以让namespace写保护，当这个namespace收到写请求时，会返回write error。

缺点是有的厂商的盘不支持这个属性，而且只能注入写故障。

3. 驱动层模拟故障

这是最通用的一种方法，可以构造出各种故障。spdk的代码中就实现了这一功能。下面详细介绍下它的接口。

/**

* \brief Inject an error for the next request with a given opcode.

* \param ctrlr NVMe controller.

* \param qpair I/O queue pair to add the error command,

*  NULL for Admin queue pair.

* \param opc Opcode for Admin or I/O commands.

* \param do_not_submit True if matching requests should not be submitted

* to the controller, but instead completed manually

* after timeout_in_us has expired.  False if matching

* requests should be submitted to the controller and

* have their completion status modified after the

* controller completes the request.

* \param timeout_in_us Wait specified microseconds when do_not_submit is true.

* \param err_count Number of matching requests to inject errors.

* \param sct Status code type.

* \param sc Status code.

* \return 0 if successfully enabled, ENOMEM if an error command

* structure cannot be allocated.

* The function can be called multiple times to inject errors for different

* commands. If the opcode matches an existing entry, the existing entry

* will be updated with the values specified.

*/

int spdk_nvme_qpair_add_cmd_error_injection(struct spdk_nvme_ctrlr *ctrlr,

struct spdk_nvme_qpair *qpair,

uint8_t opc,

bool do_not_submit,

uint64_t timeout_in_us,

uint32_t err_count,

uint8_t sct, uint8_t sc)；

ctrlr: nvme盘的控制器数据结构，每个盘有一个；

qpair: 注入故障的qpair，可以是io qpair，也可以是admin qpair。使用哪一种取决于希望在IO路径上还是在管理路径上产生故障；

opc: 操作类型，比如read，write等；

do_not_submit：如果是true，则这个opc的cmd不会提交到ctrl，而是在 timeout_in_us 到期后手动返回指定的sct，sc。如果是false，则这个opc的cmd会提交到ctrl，等ctrl返回cpl后，将sct和sc改成指定的sct，sc,回调的时候用改过的cpl。命令实际上是执行成功的；

timeout_in_us：do_not_submit=true时有效，等待timeout_in_us后再返回sct，sc。范围是(0-18446744073709551615)

err_count: 表示注入故障后，此后的多少个该opc的cmd会按照注入的故障来处理，每返回一个注入的故障，err_count减1。减为0的时候不再注入故障，但cmd也不会从 qpair->err_cmd_head 中摘除；

sct: 返回的状态码类型；

sc: 返回的状态码；

实现的原理是向指定qpair的err_cmd_head链表中添加一个错误的cmd，当下个该类型的cmd提交到该qpair的时候在 _nvme_qpair_submit_request 中遍历这个链表，处理这个cmd，强制修改cpl中的返回值，然后再调用回调，从而模拟故障。

使用此接口可以模拟出读写错误，IO hang住或超时的错误等，在开发测试中比较实用。