别以为真懂Openstack: 虚拟机创建的50个步骤和100个知识点(5)

八、KVM

这一步，像virsh start命令一样，将虚拟机启动起来了。虚拟机启动之后，还有很多的步骤需要完成。

步骤38：从DHCP Server获取IP

有时候往往数据库里面，VM已经有了IP，很多人就认为虚拟机就得到了IP，可是总是连不进去，不知从何入手，其实界面上能看到VM的IP和VM真正从DHCP获得IP是两回事情。

步骤39：cloud-init连接Metadata Server，并注入Key

Metadata Server有很复杂的架构，cloud-init连接Metadata Server，很容易就会不成功，如果不成功，Key无法注入，所有常出现IP能够ping通，但是就是ssh不上去的情况。

http://niusmallnan.github.io/_build/html/_templates/openstack/metadata_server.html

另外推荐孔令贤的blog

【OpenStack】metadata在OpenStack中的使用（一）

【OpenStack】metadata在OpenStack中的使用（二）

步骤40：通过VNC可以看到启动过程

VNC是一个很好的东西，尤其是在VM没有得到IP的时候，你可以通过VNC连进去，用用户名密码登陆，然后调试为什么DHCP失败。

VNC也是比较复杂的东西，推荐文章

nova vnc proxy基本原理

步骤41：添加一个FLoating IP，可以通过Floating IP SSH进去。

要想Floating IP成功，除了IPTables NAT要正确，br-ex也需要正确配置。

步骤42：在VM里面可以访问外网

要做到这一点，除了gateway要配置正确，dns server也需要正确配置。

如果虚拟机网络有问题，那是很头疼的时候，建议通过下面的流程进行调试：

1. Security Group全部打开，这是最基本的，但是很多人容易忘记，结果tcpdump了半天，发现security group没打开，真的很冤
2. 通过界面查看虚拟机的log，也可以在compute节点上查看console.log文件，看看里面是否有DHCP获取IP成功的日志，如果有，还不错，如果没有就惨了
3. 如果虚拟机连不上DHCP Server，则需要准备一个不使用metadata server，而是用用户名密码可以登录的image，通过VNC登录进去，如果VNC也不通，就需要先调试VNC，这是访问虚拟机最后的方法了。
4. 通过VNC登录进去后，就可以通过命令行运行dhclient，来重启连接DHCP Server
5. 在运行dhclient之前，需要通过ovs-vsctl show和brctl来查看，各个网卡和bridge之间关系是否正确，tunnel之间是否能够通，网卡是否都处于up的状态
6. 如果从虚拟机的虚拟网卡到DHCP Server的网卡一路都是正确的，则需要查看br-tun上ovs-ofctl dumpflows查看flows规则，是否对包的改写正确，是否有正确的规则
7. 可以再dhclient运行的时候，从compute节点上的网卡和bridge，一个个进行tcpdump，看到底哪个网卡或者bridge没有收到包，收到的包里面的VLAN ID等是否正确，问题往往就是这里
8. 如果VM能从DHCP Server获得IP，则好事成了一半，接下来换一个有cloud-init的image，看metadata server能够连接成功，能够注入key，也是通过console.log来看
9. 如果metadata server不能连接成功，就需要顺着metadata server的整个流程，一个一个模块看，看每个模块的log，端口是否正确，是否收到请求，也可以在VM里面用curl来模拟metadata server的请求
10. 如果metadata server能够连接成功，key成功注入，下一步需要从namespace里面看是否能够ping通，能够ssh
11. 如果namespace里面能够成功，则在network节点上，ping floating ip和ssh，是否能够成功，如果不成功，看br-ex的网卡是否添加正确，是否配置了ip，路由表是否正确，namespace里面floating ip的iptables规则是否添加正确
12. 在network节点上能够ssh到floating ip，则需要从其他节点上ssh，如果不成功，可能br-ex的网址配置有问题，很可能是br-ex添加的物理网卡不是混合状态，也可能是路由配置有问题，对于floating ip所在的网段，不指向network节点
13. 如果floating ip能够成功，则需要进去VM里面运行apt-get update，如果不可以，看能否ping通openstack里面的gateway，然后看能否ping通物理网络环境的gateway
14. 最后要看DNS Server是否配置正确，是否能够ping通，如果能，apt-get update运行成功，则虚拟机才叫基本可用。

所谓基本可用，就是能运行简单的命令没有问题，但是，如果想里面运行程序，则需要保证kvm的性能

推荐文章http://www-01.ibm.com/support/knowledgecenter/linuxonibm/liaat/liaatkvm.htm

而且虚拟机之间是共享物理机的资源的，我们必须对虚拟机的QoS进行控制，可用通过cgroup来进行控制

推荐文章

[转] Quality Of Service In OpenStack

https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Resource_Management_Guide/

虚拟机在一个物理机上运行，当资源紧张的时候，可能需要live migration到另外的机器上

QEMU KVM Libvirt(12): Live Migration

九、Cinder

虚拟机创建完毕，我们常会attach一个volume，当然也可以boot from volume，这样volume里面的数据不会随着VM的消失而消失。

步骤44：Cinder API请求创建一个Volume

步骤45: Cinder Scheduler在多个Cinder Volume里面选择一个，也是先Filter再weighting的过程，可以根据总空间的大小，也可以根据分配的情况

步骤46：Cinder Volume创建一个iscsi target

步骤47：Cinder Volume创建一个LVM volume，加入iscsi target

步骤48：compute节点连接iscsi target，从而volume出现在compute节点上

步骤49：将compute节点上的volume attach到虚拟机上

对于Cinder

手动模拟attach cinder volume的过程

nova boot from volume

Cinder架构

对于LVM，推荐文章

LVM学习笔记

https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Logical_Volume_Manager_Administration/

[转] Linux 内核中的 Device Mapper 机制

http://www.ibm.com/developerworks/cn/linux/l-devmapper/

对于ISCSI

推荐

Using iSCSI On Ubuntu 10.04 (Initiator And Target)

Linux tgtadm: Setup iSCSI Target ( SAN )

Cinder跟其他的存储