[SPDK/NVMe存储技术分析]011 - 内核态ib_post_send()源码剖析

OFA定义了一组标准的Verbs，并在用户态提供了一个标准库libibverbs。例如将一个工作请求(WR)放置到发送队列的Verb API是ibv_post_send()， 但是在Linux内核，对应的API则是ib_post_send()。本文将使用Linux内核提供的mlx5卡（Mellanox公司生产的一种HCA卡）的驱动(mlx5_ib.ko)分析内核Verb API ib_post_send()的实现原理。分析用到的源代码包有：

• libibvers源代码： libibverbs-1.2.1.tar.gz
• Linux内核源代码： linux-4.11.3.tar.xz

在用户态的libibverbs中， ibv_post_send()的源代码片段如下：

/* libibverbs-1.2.1/include/infiniband/verbs.h#1866 */
1866 static inline int ibv_post_send(struct ibv_qp *qp, struct ibv_send_wr *wr,
1867                                 struct ibv_send_wr **bad_wr)
1868 {
1869    return qp->context->ops.post_send(qp, wr, bad_wr);
1870 }

而在Linux内核态，ib_post_send()的源代码片段如下：

/* linux-4.11.3/include/rdma/ib_verbs.h#2859 */
2859 static inline int ib_post_send(struct ib_qp *qp,
2860                                struct ib_send_wr *send_wr,
2861                                struct ib_send_wr **bad_send_wr)
2862 {
2863    return qp->device->post_send(qp, send_wr, bad_send_wr);
2864 }

由此可见，无论是用户态还是内核态，都离不开回调函数(callback)post_send()的实现。 本文将以mlx5驱动为例进行剖析。要搞清楚ib_post_send()是如何将工作请求send_wr发送到mlx5硬件上去的，我们需要搞清楚下面3个问题。

• 问题一 : 回调函数post_send()跟struct ib_qp的关系
• 问题二 : 回调函数post_send()在mlx5驱动中的初始化
• 问题三 : 回调函数post_send()在mlx5驱动中的实现

问题一 : 回调函数post_send()与struct ib_qp的关系

1.1 struct ib_qp

/* linux-4.11.3/include/rdma/ib_verbs.h#1576 */
1576 struct ib_qp {
1577    struct ib_device       *device;
....
1601 };

上面的结构体解释了ib_post_send()函数实现中的qp->device。

1.2 struct ib_device

/* linux-4.11.3/include/rdma/ib_verbs.h#1865 */
1865 struct ib_device {
....
2012    int             (*post_send)(struct ib_qp *qp,
2013                                 struct ib_send_wr *send_wr,
2014                                 struct ib_send_wr **bad_send_wr);
....
2156 };

上面的结构体解释了ib_post_send()函数实现中的qp->device->post_send(...)。 那么，回调函数指针post_send()是什么时候被赋值的（也就是初始化）？这是我们接下来需要探索的问题。

问题二  : 回调函数post_send()在mlx5驱动中的初始化

2.1 module_init() 调用 mlx5_ib_init()

/* linux-4.11.3/drivers/infiniband/hw/mlx5/main.c#3649 */
3649 module_init(mlx5_ib_init);

内核模块的加载，很好理解，无需多说。

2.2 mlx5_ib_init() 调用 mlx5_register_interface(&mlx5_ib_interface)

/* linux-4.11.3/drivers/infiniband/hw/mlx5/main.c#3633 */
3633 static int __init mlx5_ib_init(void)
3634 {
....
3639    err = mlx5_register_interface(&mlx5_ib_interface);
....
3642 }

注意类型为struct mlx5_interface的全局变量mlx5_ib_interface有一个函数指针add()。

/* linux-4.11.3/drivers/infiniband/hw/mlx5/main.c#3623 */
3623 static struct mlx5_interface mlx5_ib_interface = {
3624    .add            = mlx5_ib_add,
....
3630    .protocol    = MLX5_INTERFACE_PROTOCOL_IB,
3631 };

在L3624, mlx5_ib_interface的成员add被初始化为函数mlx5_ib_add()。 而struct mlx5_interface的定义如下：

/* linux-4.11.3/include/linux/mlx5/driver.h#1076 */
1076 struct mlx5_interface {
1077    void *                  (*add)(struct mlx5_core_dev *dev);
1078    void                    (*remove)(struct mlx5_core_dev *dev, void *context);
....
1088    struct list_head        list;
1089 };

2.3 mlx5_register_interface() 调用 mlx5_add_device()

/* linux-4.11.3/drivers/net/ethernet/mellanox/mlx5/core/dev.c#235 */
235 int mlx5_register_interface(struct mlx5_interface *intf)
236 {
...
244    list_for_each_entry(priv, &mlx5_dev_list, dev_list)
245        mlx5_add_device(intf, priv);
...
249 }

在L244,255两行，我们可以看出，mlx5_register_interface()会对每一个mlx5设备都调用mlx5_add_device()。

2.4 mlx5_add_device() 调用 intf->add(dev) (也就是 mlx5_ib_add())

/* linux-4.11.3/drivers/net/ethernet/mellanox/mlx5/core/dev.c#53 */
53 void mlx5_add_device(struct mlx5_interface *intf, struct mlx5_priv *priv)
54 {
55    struct mlx5_device_context *dev_ctx;
..
65    dev_ctx->intf = intf;
66    dev_ctx->context = intf->add(dev);
..
88 }

在L66行，mlx5设备的context被赋值，在调用intf->add(dev)后，也就是调用mlx5_ib_add()后。dev_ctx->context的值为指向一个struct mlx5_ib_dev的指针。 而局部变量dev_ctx的数据类型是struct mlx5_device_context。

/* linux-4.11.3/drivers/net/ethernet/mellanox/mlx5/core/dev.c#41 */
41 struct mlx5_device_context {
42      struct list_head        list;
43      struct mlx5_interface  *intf;
44      void                   *context;
..
46 };

与此同时， intf->add(dev)的返回值为void *。然而， mlx5_ib_add()在调用成功后，对应的返回值类型为struct mlx5_ib_dev *。 于是自动做了强制转换，本质上void * 跟struct mlx5_ib_dev *没有区别，都是内存地址。struct mlx5_ib_dev的定义如下：

/* linux-4.11.3/drivers/infiniband/hw/mlx5/mlx5_ib.h#619 */
619 struct mlx5_ib_dev {
620     struct ib_device                ib_dev;
...
655 };

而L620的成员变量ib_dev的数据类型struct ib_device定义如下：

/* linux-4.11.3/include/rdma/ib_verbs.h#1865 */
1865 struct ib_device {
....
2012    int                        (*post_send)(struct ib_qp *qp,
2013                                            struct ib_send_wr *send_wr,
2014                                            struct ib_send_wr **bad_send_wr);
....
2156 };

在L2012-2014, 定义了一个成员变量post_send。 而post_send的初始化就是在mlx5_ib_add()函数中实现的，继续往下看。

2.5 mlx5_ib_add()设置回调函数指针post_send

/* linux-4.11.3/drivers/infiniband/hw/mlx5/main.c#3322 */
3322 static void *mlx5_ib_add(struct mlx5_core_dev *mdev)
3323 {
3324    struct mlx5_ib_dev *dev;
....
3336    dev = (struct mlx5_ib_dev *)ib_alloc_device(sizeof(*dev));
....
3340    dev->mdev = mdev;
....
3360    strlcpy(dev->ib_dev.name, name, IB_DEVICE_NAME_MAX);
3361    dev->ib_dev.owner               = THIS_MODULE;
3362    dev->ib_dev.node_type           = RDMA_NODE_IB_CA;
....
3432    dev->ib_dev.post_send           = mlx5_ib_post_send;
3433    dev->ib_dev.post_recv           = mlx5_ib_post_recv;
....
3560    return dev;
3561
3562 err_umrc:
3563    destroy_umrc_res(dev);
....
3599    return NULL;
3600 }

在L3336，分配了一个类型为struct mlx5_ib_dev的ib设备。该设备dev包括一个类型为struct ib_device的结构体ib_dev。ib_dev包含一个成员变量post_send。

在L3422，将dev->ib_dev.post_send设置为mlx5_ib_post_send。 一旦对dev完成初始化，那么对mlx5卡的消费者来说，调用ib_post_send()最终必然落到mlx5_ib_post_send()上，因为qp中包含了对应的设备。

问题三 ：  回调函数post_send()在mlx5驱动中的实现

3.1 mlx5_ib_post_send()驱动RDMA-Aware硬件(也就是mlx5卡)

/* linux-4.11.3/drivers/infiniband/hw/mlx5/qp.c#3805 */
3805 int mlx5_ib_post_send(struct ib_qp *ibqp, struct ib_send_wr *wr,
3806              struct ib_send_wr **bad_wr)
3807 {
....
3845    for (nreq = 0; wr; nreq++, wr = wr->next) {
....
3854        num_sge = wr->num_sge;
....
4124 }

函数mlx5_ib_post_send()的实现很长，当看到wr->num_sge的值被取出来的时候，我们就能很快发现这就是在跟mlx5卡硬件打交道啊。到了硬件驱动这一层，就不用再往下看了。换句话说，从ib_post_send()函数出发，在一个工作请求WR中，存放在SGL上的消息被发送到mlx5卡上去，必然最后交给mlx5卡的内核驱动mlx5_ib_post_send()去完成。

小结：

• 01 - 当内核驱动模块mlx5_ib.ko被加载的时候，每一个mlx5设备dev->ib_dev.post_send就被初始化为mlx5_ib_post_send()；
• 02 - 当mlx5设备的内核消费者尝试从mlx5硬件那里获取一个QP的时候，对应的qp->device->post_send就已经确定，那就是mlx5_ib_post_send()；
• 03 - 当mlx5设备的内核消费者使用ib_post_send()函数调用的时候，工作请求send_wr最终被mlx5设备驱动函数mlx5_ib_post_send()所处理。

Initiative is doing the right thing without being told. | 主动性就是在没有人告诉你时做正确的事情。