Libvirt Live Migration 与 Pre-Copy 实现原理

目录

文章目录

• 目录
• Libvirt 的 Live Migration
• 网络数据传输层
• 控制层
• 通过 libvirt 库实现虚拟机迁移的示例
• KVM 的预拷贝（Pre-Copy）Live Migration 过程
• 参考资料

Libvirt 的 Live Migration

Libvirt 的 Live Migration 主要分为两个层面：

• 网络数据传输层面
• 控制层面

网络数据传输层

1. 基于 Hypervisor 的传输，两个 Hypervisor 之间直接建立数据传输连接。优点：数据传输量少。缺点：需要额外配置 Hypervisor Network。需要在防火墙上面打开更多的端口来支持并发迁移，数据不一定支持加密（取决于 Hypervisor 实现）。
   
   
2. 基于 libvirtd Tunnel 的传输，源主机和目标主机上运行的 libvirtd 之间建立 RPC 隧道来传输数据。数据要先拷贝到 libvirtd，再由 libvirtd 中继到目标主机的 libvirtd。优点：不需要重新配置网络，防火墙上面只需要一个端口就可以支持并发迁移，数据强加密。缺点：相关的数据拷贝多，所有流量都通过一个端口，容易造成网络拥堵。
   
   
   
   在 Tunnel 传输模式下，同一份数据需要被拷贝多次，并且所有的流量都通过一个端口，在大内存、高业务（快速增加 RAM 脏数据）的场景下，同样的网络带宽，Tunnel 传输模式迁移速率较慢。因此，对于大内存、业务繁忙的场景下，首选基于 Hypervisor 的传输。

控制层

1. Client 控制：由 Libvirt Client 直接控制迁移。Client 跟源主机 libvirtd 连接，也跟目的主机 libvirtd 连接，当目的主机迁移过程出现异常会反馈给 Client，再由 Client 通知源 libvirtd。整个过程，由 Client 主导控制。
   
   
2. 源主机 libvirtd 控制：由源主机 libvirtd 主导整个迁移过程。Client 仅作为迁移指令的发起者，将迁移指令异步发送给源主机 libvirtd。如果目的主机迁移过程出现异常会反馈给源主机 libvirtd。这种方式的好处是，Client 故障也不会影响到整个迁移过程。
   
   
3. Hypervisor 控制：有源主机 Hypervisor 控制整个迁移过程，Client 向源主机 Hypervisor 发送迁移指令，源主机和目的主机的 libvirtd 不参与控制。这种方式的前提是 Hypervisor 自身支持热迁移，好处在于 Client 和 libvirtd 的故障不会影响到整个迁移过程。
   
   

通过 libvirt 库实现虚拟机迁移的示例

import libvirt
import pprint

conn_src = libvirt.open('qemu+tcp://username@src_server/system')
conn_dest = libvirt.open('qemu+tcp://username@dest_server/system') 

vm_domain = conn_src.lookupByName('instance_name')
vm_domain.migrate(conn_dest, True, 'instance_name', None, 0)

pprint.pprint(help(vm_domain.migrate))

KVM 的预拷贝（Pre-Copy）Live Migration 过程

Step 1. 系统验证目标服务器的存储器和网络设置是否正确，并预保留目标服务器虚拟机的资源。

Step 2. 当虚拟机还在源服务器上运转时，第一个循环内将全部内存镜像复制到目标服务器上。在这个过程中，KVM 依然会监视内存的任何变化。

Step 3. 以后的循环中，检查上一个循环中内存是否发生了变化。 假如发生了变化，那么 VMM 会将发生变化的内存页即 dirty pages 重新复制到目标服务器中，并覆盖掉先前的内存页。在这个阶段，VMM 依然会继续监视内存的变化情况。

Step 4. VMM 会持续这样的内存复制循环。随着循环次数的增加，所需要复制的 dirty pages 就会明显减少，而复制所耗费的时间就会逐渐变短，那么内存就有可能没有足够的时间发生变化。最后，当源服务器与目标服务器之间的差异达到一定标准时，内存复制操作才会结束，同时暂停源系统。

Step 5. 在源系统和目标系统都停机的情况下，将最后一个循环的 dirty-pages 和源系统设备的工作状态复制到目标服务器。

Step 6. 然后，将存储从源系统上解锁，并锁定在目标系统上。启动目标服务器，并与存储资源和网络资源相连接。

参考资料

https://www.ibm.com/developerworks/cn/linux/l-cn-mgrtvm1/index.html