virtIO之VHOST工作原理简析

2017-07-19

---

一、前言

之前有分析过虚拟化环境下virtIO的实现，virtIO相关于传统的虚拟IO在性能方面的确提高了不少，但是按照virtIO虚拟网卡为例，每次虚拟机接收数据包的时候，数据包从linux bridge经过tap设备发送到用户空间，这是一层数据的复制并且伴有内核到用户层的切换，而在用户空间virtIO后端驱动把数据写入到虚拟机内存后还需要退到KVM中，从KVM进入虚拟机，又增加了一次模式的切换。在IO比较频繁的情况下，会造成模式切换次数过多从而降低性能。而vhost便解决了这个问题。把后端驱动从qemu中迁移到内核中，作为一个独立的内核模块存在，这样在数据到来的时候，该模块直接监听tap设备，在内核中直接把数据写入到虚拟机内存中，然后通知虚拟机即可，这样就和qemu解耦和，减少了模式切换次数和数据复制次数，提高了性能。下面介绍下vhost的初始化流程。

二、 整体框架

介绍VHOST主要从三个部分入手：vHOST内核模块，qemu部分、KVM部分。而qemu部分主要是virtIO部分。本节不打算分析具体的工作代码，因为基本原理和VIRTIO类似，且要线性的描述vhost也并非易事。

1、vHOST 内核模块

vhost内核模块主要是把virtiO后端驱动的数据平面迁移到了内核中，而控制平面还在qemu中，所以就需要一些列的注册把相关信息记录在内核中，如虚拟机内存布局，设备关联的eventfd等。虽然KVM中有虚拟机的内存布局，但是由于vhost并非在KVM中，而是单独的一个内核模块，所以需要qemu单独处理。且目前vhost只支持网络部分，块设备等其他部分尚不支持。内核中两个文件比较重要：vhost.c和vhost-net.c。其中前者实现的是脱离具体功能的vhost核心实现，后者实现网络方面的功能。内核模块加载主要是初始化vhost-net，起始于vhost_net_init（vhost/net.c）

static const struct file_operations vhost_net_fops = {
    .owner          = THIS_MODULE,
    .release        = vhost_net_release,
    .unlocked_ioctl = vhost_net_ioctl,
#ifdef CONFIG_COMPAT
    .compat_ioctl   = vhost_net_compat_ioctl,
#endif
    .open           = vhost_net_open,
    .llseek        = noop_llseek,
};

函数表中vhost_net_open和vhost_net_ioctl两个函数需要注意，简单来讲，前者初始化，后者控制，当然是qemu通过ioctl进行控制。那么初始化主要是初始化啥呢？

主要有vhost_net(抽象代表vhost net部分)、vhost_dev（抽象的vhost设备），vhost_virtqueue。基本初始化的流程我们就不介绍，感兴趣可以参考代码，一个VM即一个qemu进程只有一个vhost-net和一个vhost-dev，而一个vhost-dev可以关联多个vhost_virtqueue。一般而言vhost_virtqueue作为一个结构嵌入到具体实现的驱动中，就网络而言vhost_virtqueue嵌入到了vhost_net_virtqueue。初始化最重要的任务就是初始化vhost_poll。在vhost_net_open的尾部，有如下两行代码

vhost_poll_init(n->poll + VHOST_NET_VQ_TX, handle_tx_net, POLLOUT, dev);
vhost_poll_init(n->poll + VHOST_NET_VQ_RX, handle_rx_net, POLLIN, dev);

在分析函数代码之前，先看下vhost_poll结构

struct vhost_poll {
    poll_table                table;
    wait_queue_head_t        *wqh;
    wait_queue_t              wait;
    struct vhost_work      work;
    unsigned long          mask;
    struct vhost_dev     *dev;
};

结合上篇poll机制的文章，这些字段就不难理解，table是包含一个函数指针，在驱动的poll函数中被调用，主要用于把当前进程加入到等待队列。wqh是一个等待队列头。wait是一个等待实体，其包含一个函数作为唤醒函数，vhost_work是poll机制处理的核心任务，参考上面就是处理网络数据包，其中有函数指针指向用户设置的处理函数，这里就是handle_tx_net和handle_rx_net,mask指定什么情况下进行处理，主要是POLL_IN和POLL_OUT，dev就指向依附的vhost-dev设备。结合这些介绍分析vhost_poll_init就无压力了。

看下vhost_poll_init函数的代码

void vhost_poll_init(struct vhost_poll *poll, vhost_work_fn_t fn,
             unsigned long mask, struct vhost_dev *dev)
{
    init_waitqueue_func_entry(&poll->wait, vhost_poll_wakeup);
    init_poll_funcptr(&poll->table, vhost_poll_func);
    poll->mask = mask;
    poll->dev = dev;
    poll->wqh = NULL;
    /*设置处理函数*/
    vhost_work_init(&poll->work, fn);
}

代码来看很简单，意义需要解释下，每个vhost_net_virtqueue都有自己的vhost_poll，该poll是监控数据的核心机制，而现阶段仅仅是初始化。vhost_poll_wakeup是自定义的等待队列唤醒函数，在对某个描述符poll的时候会把vhost_poll加入到对应描述符的等待队列中，而该函数就是描述符有信号时的唤醒函数，唤醒函数中会验证当前信号是否满足vhost_poll对应的请求掩码，如果满足调用vhost_poll_queue->vhost_work_queue,该函数如下

void vhost_work_queue(struct vhost_dev *dev, struct vhost_work *work)
{
    unsigned long flags;

    spin_lock_irqsave(&dev->work_lock, flags);
    if (list_empty(&work->node)) {
        /*把vhost_work加入到设备的工作链表，该链表会在后台线程中遍历处理*/
        list_add_tail(&work->node, &dev->work_list);
        work->queue_seq++;
        /*唤醒工作线程*/
        wake_up_process(dev->worker);
    }
    spin_unlock_irqrestore(&dev->work_lock, flags);
}

该函数会把vhost_work加入到设备的工作队列，然后唤醒vhost后台线程vhost_worker，vhost_worker会遍历设备的工作队列，调用work->fn即之前我们注册的处理函数handle_tx_net和handle_rx_net，这样数据包就得到了处理。

vhost_net_ioctl控制信息

vhost控制接口通过一系列的API指定相应的操作，下面列举一部分

VHOST_GET_FEATURES

VHOST_SET_FEATURES

这两个用于获取设置vhost一些特性

VHOST_SET_OWNER  //设置vhost后台线程，主要是创建一个线程绑定到vhost_dev,而线程的处理函数就是vhost_worker

VHOST_RESET_OWNER  //重置OWNER

VHOST_SET_MEM_TABLE   //设置guest内存布局信息

VHOST_NET_SET_BACKEND    //

VHOST_SET_VRING_KICK  //设置guest notify  guest->host

VHOST_SET_VRING_CALL  //设置host notify    host->guest

2、qemu部分

前面介绍的都是内核的任务，而内核是为用户提供服务的，除了vhost内核模块加载时候主动执行一些初始化函数，后续的都是由qemu中发起请求，内核才去响应。这也正是qemu维持控制平面的表现之一。qemu中相关代码的介绍不介绍太多，只给出相关主线，感兴趣可以自行参考。这里我们主要通过qemu讨论下host和guest的通知机制，即irqfd和IOeventfd的初始化。先介绍下irqfd和IOeventfd的任务。

irqfd是KVM为host通知guest提供的中断注入机制，vhost使用此机制通知客户机某些任务已经完成，需要客户机着手处理。而IOevnetfd是guest通知host的方式，qemu会注册一段IO地址区间，PIO或者MMIO，这段地址区间的读写操作都会发生VM-exit，继而在KVM中处理。详细内容下面介绍

irqfd的初始化流程如下：

virtio_net_class_init

　　virtio_net_device_init   virtio-net.c

　　　　virtio_init   virtio.c

　　　　　　virtio_vmstate_change

　　　　　　　　virtio_set_status

　　　　　　　　　　virtio_net_set_status

　　　　　　　　　　　　virtio_net_vhost_status

　　　　　　　　　　　　　　vhost_net_start

　　　　　　　　　　　　　　　　virtio_pci_set_guest_notifiers   //为guest_notify设置eventfd

　　　　　　　　　　　　　　　　　　kvm_virtio_pci_vector_use

　　　　　　　　　　　　　　　　　　　　kvm_virtio_pci_irqfd_use

　　　　　　　　　　　　　　　　　　　　　　kvm_irqchip_add_irqfd_notifier

　　　　　　　　　　　　　　　　　　　　　　　　kvm_irqchip_assign_irqfd

　　　　　　　　　　　　　　　　　　　　　　　　　　kvm_vm_ioctl(s, KVM_IRQFD, &irqfd);  //向kvm发起ioctl请求

IOeventfd工作流程如下：

virtio_ioport_write
　　virtio_pci_start_ioeventfd
　　　　virtio_pci_set_host_notifier_internal  //
　　　　　　memory_region_add_eventfd
　　　　　　　　memory_region_transaction_commit
　　　　　　　　　　address_space_update_topology
　　　　　　　　　　　　address_space_update_ioeventfds
　　　　　　　　　　　　　　address_space_add_del_ioeventfds
　　　　　　　　　　　　　　　　eventfd_add=kvm_mem_ioeventfd_add kvm_all.c
　　　　　　　　　　　　　　　　　　kvm_set_ioeventfd_mmio
　　　　　　　　　　　　　　　　　　　　kvm_vm_ioctl(kvm_state, KVM_IOEVENTFD, &iofd);

3、KVM部分

KVM部分实现对上面ioctl的响应，在kvm_main.c的kvm_vm_ioctl里面，先看KVM_IRQFD的处理

kvm_irqfd->kvm_irqfd_assign,kvm_irqfd_assign函数比较长，我们主要介绍下核心功能

函数在内核生成一个_irqfd结构，首先介绍下_irqfd的工作机制

struct _irqfd {
    /* Used for MSI fast-path */
    struct kvm *kvm;
    wait_queue_t wait;
    /* Update side is protected by irqfds.lock */
    struct kvm_kernel_irq_routing_entry __rcu *irq_entry;
    /* Used for level IRQ fast-path */
    int gsi;
    struct work_struct inject;
    /* The resampler used by this irqfd (resampler-only) */
    struct _irqfd_resampler *resampler;
    /* Eventfd notified on resample (resampler-only) */
    struct eventfd_ctx *resamplefd;
    /* Entry in list of irqfds for a resampler (resampler-only) */
    struct list_head resampler_link;
    /* Used for setup/shutdown */
    struct eventfd_ctx *eventfd;
    struct list_head list;
    poll_table pt;
    struct work_struct shutdown;
};

kvm是关联的虚拟机，wait是一个等待队列对象，允许irqfd等待某个信号，irq_entry是中断路由表，属于中断虚拟化部分，本节不作介绍。gsi是全局的中断号，很重要。inject是一个工作对象，resampler是确认中断处理的，不做考虑。eventfd是其关联的evnetfd,这里就是guestnotifier.在kvm_irqfd_assign函数中，给上面inject和shutdown都关联了函数

INIT_WORK(&irqfd->inject, irqfd_inject);
INIT_WORK(&irqfd->shutdown, irqfd_shutdown);

这些函数实现了irqfd的简单功能，前者实现了中断的注入，后者禁用irqfd。irqfd初始化好后，对于irqfd关联用户空间传递的eventfd，之后忽略中间的resampler之类的处理，初始化了irqfd等待队列的唤醒函数irqfd_wakeup和核心poll函数irqfd_ptable_queue_proc，接着就调用irqfd_update更新中断路由项目，中断虚拟化的代码单独开一篇文章讲解，下面就该调用具体的poll函数了，这里是file->f_op->poll(file, &irqfd->pt);，实际对应的就是eventfd_poll函数，里面会调用poll_table->_qproc,即irqfd_ptable_queue_proc把irqfd加入到描述符的等待队列中，可以看到这里吧前面关联的eventfd加入到了poll列表，当该eventfd有状态时，唤醒函数irqfd_wakeup就得到调用，其中通过工作队列调度irqfd->inject，这样irqfd_inject得到执行，中断就被注入，具体可以参考vhost_add_used_and_signal_n函数，在从guest接收数据完毕就会调用该函数通知guest。

IOEVENTFD

内核里面起始于kvm_ioeventfd->kvm_assign_ioeventfd,这里相对于上面就比较简单了，主要是注册一个IO设备，绑定一段IO地址区间，给设备分配操作函数表，其实就两个函数

static const struct kvm_io_device_ops ioeventfd_ops = {
    .write      = ioeventfd_write,
    .destructor = ioeventfd_destructor,
};

而当guest内部完成某个操作，如填充好了skbuffer后，就需要通知host，此时在guest内部最终就归结于对设备的写操作，写操作会造成VM-exit继而陷入到VMM中进行处理，PIO直接走的IO陷入，而MMIO需要走EPT violation的处理流程，最终就调用到设备的写函数，这里就是ioeventfd_write，看下该函数的实现

static int
ioeventfd_write(struct kvm_io_device *this, gpa_t addr, int len,
        const void *val)
{
    struct _ioeventfd *p = to_ioeventfd(this);

    if (!ioeventfd_in_range(p, addr, len, val))
        return -EOPNOTSUPP;

    eventfd_signal(p->eventfd, );
    return ;
}

实现很简单，就是判断地址是否在该段Io地址区间内，如果在就调用eventfd_signal，给该段IOeventfd绑定的eventfd一个信号，这样在该eventfd上等待的对象就会得到处理。

以马内利！

参考资料：

linux3.10.1源码

KVM源码

qemu源码