libvirt/qemu特性之numa

博客地址：http://blog.csdn.net/halcyonbaby

内容系本人学习、研究和总结，如有雷同，实属荣幸！

Numa

查看主机node情况

• 使用virsh命令查看

virsh # capabilities
<topology>
      <cells num='1'>
        <cell id='0'>
          <memory unit='KiB'>8166976</memory>
          <cpus num='24'>
            <cpu id='0' socket_id='0' core_id='0' siblings='0,12'/>
            ...
          </cpus>
        </cell>
      </cells>
    </topology>

• 使用numactl命令查看

# numactl --hardware

Guest Numa

设置guest numa topology

qemu内部安装ACPI规范将node信息，topology信息防止在bios中供guest识别。
guest识别numa topology的意义在于，guest中的OS可以更好的进行进程调度和内存分配。

• libvirt

<cpu>
    <topology sockets='1' cores='8' threads='1'/>
    <numa>
      <cell cpus='0-3' memory='1024000'/>
      <cell cpus='4-7' memory='1024000'/>
     </numa>
  </cpu>

• qemu

-smp 8,sockets=1,cores=4,threads=1
-numa node,nodeid=0,cpus=0-3,mem=1000 -numa node,nodeid=1,cpus=4-7,mem=1000

可以在guest中使用numactl --hardware看到这些node节点。

CPU/内存亲和性设置

进程的处理器亲和性（Processor Affinity），即是CPU的绑定设置，是指将进程绑定到特定的一个或多个CPU上去执行，
而不允许调度到其他的CPU上。

在虚拟化环境中，qemu的vcpu是作为线程存在的，可以对线程进行亲和性设置。
多数情况下，我们无需设置亲和性。但是某些特殊场合，比如需要确保CPU资源不被其他虚拟机负载影响，
可以设置CPU的亲和性。

CPU亲和性由libvirt通过调用sched_setaffinity系统调用实现(如下以cpu热插中的代码为例），不需要在qemu层进行设置。

src/qemu/qemu_driver.c：
static int qemuDomainHotplugVcpus(virQEMUDriverPtr driver,
        ¦       ¦       ¦       ¦ virDomainObjPtr vm,
        ¦       ¦       ¦       ¦ unsigned int nvcpus)
{
      ...
      virProcessSetAffinity(cpupids[i],
      ...
}
src/util/virprocess.c：
int virProcessSetAffinity(pid_t pid, virBitmapPtr map)
{
      ...
      if (sched_setaffinity(pid, masklen, mask) < 0) {
      ...
}

memory的亲和性也是由libvirt通过调用numa_set_membind函数实现（由libnuma.so提供，该so为numactl的库）。

  int
  virNumaSetupMemoryPolicy(virNumaTuneDef numatune,
          ¦       ¦       ¦virBitmapPtr nodemask)
  {
        ...
        numa_set_membind(&mask);
        ...

备注：可以使用taskset工具手工对线程设置亲和性。

VCPU绑定物理核

<vcpu cpuset='1-2'>4</vcpu>

查看CPU绑定情况（其中28863为qemu的进程IP）

#grep Cpus_allowed_list /proc/28863/task/*/status
/proc/28863/task/28863/status:Cpus_allowed_list:    1-2
/proc/28863/task/28864/status:Cpus_allowed_list:    1-2
/proc/28863/task/28865/status:Cpus_allowed_list:    1-2
/proc/28863/task/28866/status:Cpus_allowed_list:    1-2
/proc/28863/task/28867/status:Cpus_allowed_list:    1-2

cputune

cputune提供了精细的vcpu绑定设定，可以具体到每个vcpu设置。
而且提供vcpu能力的标准化，如quota,period,shares，可以用于实现cpu的Qos。

 <vcpu placement='static'>4</vcpu>
  <cputune>
    <shares>2048</shares>
    <period>1000000</period>
    <quota>-1</quota>
    <vcpupin vcpu='0' cpuset='8'/>
    <vcpupin vcpu='1' cpuset='16'/>
    <emulatorpin cpuset='16'/>
  </cputune>

memtune

<numatune>
    <memory mode="strict" nodeset="1"/>
  </numatune>

查看内存的设定情况：(其中18104为qemu的pid)

#grep Mems_allowed_list /proc/18104/task/*/status
/proc/18104/task/18104/status:Mems_allowed_list:    1
/proc/18104/task/18105/status:Mems_allowed_list:    1
/proc/18104/task/18106/status:Mems_allowed_list:    1
/proc/18104/task/18114/status:Mems_allowed_list:    1

动态修改

• numa
  可以使用virsh numatune进行动态修改。
• cpu affinity
  可以使用virsh vcpupin进行修改。
• 设置emulator的cpu affinity
  可以使用virsh emulatorpin进行修改。

Libvirt/qemu社区关于numa的最新动态

• Add support for binding guest numa nodes to host numa nodes
  社区review中。
  提供了guest memory绑定策略的设置能力。
  避免某些情况下由此导致的性能下降。 （比如PCI passthrough是设备DMA传输的情况？这点还是不太懂）
  qemu配置方法范例：

-object memory-ram,size=512M,host-nodes=1,policy=membind,id=ram-node0
-numa node,nodeid=0,cpus=0,memdev=ram-node0
-object memory-ram,size=1024M,host-nodes=2-3,policy=interleave,id=ram-node1
-numa node,nodeid=1,cpus=1,memdev=ram-node1

numa的一些缺点

如果配置不当，可能不但无法获取高性能，反而有可能导致性能恶化。

另外numa与透明页共享的冲突，即由于页合并导致的跨node访问。
vmware对此有专门优化，频繁访问的页面，在node上有页面副本，从而避免跨node访问带来的性能恶化。

http://blog.csdn.net/halcyonbaby/article/details/20152559