Qemu创建KVM虚拟机内存初始化流程

转载请注明：【转载自博客xelatex KVM】，并附本文链接。谢谢。

【注】文章中采用的版本：

• Linux-3.11，https://www.kernel.org/pub/linux/kernel/v3.x/linux-3.11.tar.gz
• qemu-kvm，git clone http://git.kernel.org/pub/scm/virt/kvm/qemu-kvm.git，
        git checkout 4d9367b76f71c6d938cf8201392abe4bfb1136cb

一、Qemu的内存模型

Qemu中的内存模型，简单来说就是Qemu申请用户态内存并进行管理，并将该部分申请的内存注册到对应的加速器（如KVM）中。这样的模型有如下好处：

1. 策略与机制分离。加速的机制由KVM负责，而如何调用加速的机制由Qemu负责
2. 可以由Qemu设置多种内存模型，如UMA、NUMA等等
3. 方便Qemu对特殊内存的管理（如MMIO）
4. 内存的分配、回收、换出等都可以采用Linux原有的机制，不需要为KVM单独开发。
5. 兼容其他加速器模型（或者无加速器，单纯使用Qemu做模拟）

所以在初始化阶段，Qemu需要做的有两方面工作：向KVM注册用户态内存空间，申请用户态内存空间。

Qemu主要通过如下结构来维护内存：

/* A system address space - I/O, memory, etc. */
struct AddressSpace {
    MemoryRegion *root;
    FlatView current_map;
    int ioeventfd_nb;
    MemoryRegionIoeventfd *ioeventfds;
};

AddressSpace设置了一段内存，其主要信息存储在root成员中，root成员是个MemoryRegion结构，主要存储内存区的结构。在Qemu中最主要的两个AddressSpace是address_space_memory和address_space_io，分别对应的MemoryRegion变量是system_memory和system_io。

二、Qemu初始化KVM内存流程

Qemu的主函数是vl.c中的main函数，其中调用了configure_accelerator()，是KVM初始化的配置部分。

configure_accelerator中首先根据命令行输入的参数找到对应的accelerator，这里是KVM。之后调用accel_list[i].init()，即kvm_init()。

在kvm_init()函数中主要做如下几件事情：

1. s->fd = qemu_open("/dev/kvm", O_RDWR)，打开kvm控制的总设备文件/dev/kvm
2. s->vmfd = kvm_ioctl(s, KVM_CREATE_VM, 0)，调用创建虚拟机的API，对应Linux kernel中的创建流程，请全文搜索kernel，关键词“KVM_CREATE_VM”
3. kvm_check_extension，检查各种extension，并设置对应的features
4. ret = kvm_arch_init(s)，做一些体系结构相关的初始化，如msr、identity map、mmu pages number等等
5. kvm_irqchip_create，调用kvm_vm_ioctl(s, KVM_CREATE_IRQCHIP)在KVM中虚拟IRQ芯片，详细流程请全文搜索
6. memory_listener_register，该函数是初始化内存的主要函数，下面详细分析

memory_listener_register调用了两次，分别注册了kvm_memory_listener和kvm_io_listener，即通用的内存和MMIO是分开管理的。以通用的内存注册为例，函数首先在全局的memory_listener链表中添加了kvm_memory_listener，之后调用listener_add_address_space分别将该listener添加到address_space_memory和address_space_io中。

然后调用listener的region_add（即kvm_region_add()），该函数最终调用了kvm_set_user_memory_region()，其中调用kvm_vm_ioctl(s, KVM_SET_USER_MEMORY_REGION, &mem)，该调用是最终将内存区域注册到kvm中的函数。

之后在vl.c的main函数中调用了cpu_exec_init_all() => memory_map_init()，设置system_memory和system_io。

至此初始化好了所有Qemu中需要维护的相关的内存结构，并完成了在KVM中的注册。下面需要初始化KVM中的MMU支持。

ram_size内存大小从内存被读取到ram_size中，在vl.c的main中调用machine->init()来初始化，machine是命令行指定的机器类型，默认的init是pc_init_pci

1. 调用pc_init1，参数分别是system_memory，system_io，ram_size，boot_device，kernel_filename，kernel_cmdline，initrd_filename，cpu_model，pci_enabled，kvmclock_enabled
   1. 设置above_4g_mem_size和below_4g_mem_size
   2. 调用pc_memory_init设置ram，第5、6个参数分别是below_4g_mem_size和above_4g_mem_size，MemoryRegion是system_memory
      1. 调用memory_region_init_ram初始化ram
         1. 调用memory_region_init()初始化MemoryRegion ram
         2. 设置destructor memory_region_destructor_ram
         3. 调用qemu_ram_alloc()初始化ram空间，内部调用qemu_ram_alloc_from_ptr()
            1. 如果没有设置-mem-path参数，则进入到第二个else（if (xen_enabled()) {）
            2. if (kvm_enabled())，调用kvm_vmalloc
               1. 如果是TARGET_S390X，调用kvm_arch_vmalloc
               2. 否则调用qemu_vmalloc（此处走posix流程）
                  1. 调用qemu_memalign->posix_memalign()，此处真正alloc memory并且aligned
               3. 或者直接调用malloc（在qemu_memalign中，没有_POSIX_C_SOURCE和CONFIG_BSD
      2. 调用memory_region_init_alias初始化ram_below_4g，设置MemoryRegion的一个alias
      3. if (above_4g_mem_size > 0)，调用memory_region_init_alias初始化ram_above_4g，设置alias
      4. memory_region_init_ram初始化pc.rom
      5. 调用bochs_bios_init初始化bios

这样就建立好了Qemu-KVM的内存结构。在KVM创建Qemu内存映射的入口在kernel中kvm_vm_ioctl的case KVM_SET_USER_MEMORY_REGION，调用kvm_vm_ioctl_set_memory_region。kvm中用kvm_memory_slot结构来维护队用户空间地址的映射。该部分会在其他文章中详细介绍。