OpenStack H版与 Ceph 整合的现状

转自：https://www.ustack.com/blog/openstack_and_ceph/

Contents

• 1 Ceph与Nova整合
• 2 Ceph与Cinder整合
• 3 相关Patch

目前，OpenStack Havana版即将发布，将不会有额外的feature进入。在这一版本中，UnitedStack参与并推动了Ceph与OpenStack部分核心项目的整合，整合的好处在于提高性能，降低管理成本和维护成本。但这条路却不并是那么一帆风顺，让我们一起来回顾H版OpenStack各项目与Ceph整合的故事和目前进展。

Ceph与Nova整合

在OpenStack Nova项目中存在两种类型的存储，一类是本地易失性存储，另一类是持久块设备。两者最明显的特征就是持久块设备由Cinder项目管理，并且具备大量API进行管理，如Snapshot，Backup等等。而相对的本地易失性存储由Nova的hypervisor实现，如在libvirt中目前支持Qcow，LVM镜像类型。这类存储只具备简单的创建和删除设备能力，主要用作创建Root，Swap，Empheremal磁盘分区的后备。

Cinder项目很早就已经支持Ceph，并且一直是最完备的后端之一，而在H版的Nova易失性存储中同样迎来了Ceph的支持(只支持libvirt)[Add RBD supporting to libvirt for creating local volume](https://review.openstack.org/#/c/36042/)。在Nova中，目前可以通过指定”libvirt_images_type=rbd”来选择Ceph作为易失性后端。这就意味着如果采用Ceph作为块设备支持，那么在OpenStack的VM可以只采用Ceph的存储池。

Ceph与Cinder整合

在H版的Cinder项目中增加了块设备备份到Ceph的能力，这个功能意味着如果在集群中存在其他块设备如SAN等，可以将其备份到Ceph集群中，与之前只能备份到Swift中相比大大增强了Ceph集群的使用范围。

随着Cinder支持extend volume的能力，Ceph后端同样增加了对Ceph Volume进行扩展的能力[Implement extend volume functionality in Rbd](https://review.openstack.org/#/c/36415/)。

另外，另一个关键性的实现是Ceph块设备的auto flatten能力。在Ceph RBD实现中，如果用户在对一个RBD Volume不断Snapshot，Clone的话会导致一个很长的镜像依赖链，这个会大大影响到Volume的性能。这个[Added copy-on-write support for all RBD cloning](https://review.openstack.org/#/c/41469/)实现了通过指定最长镜像链来实现自动将镜像解耦。对用户透明化复杂的镜像关系非常有用。

整合综述

在Ceph与OpenStack完全整合的路径上现在只存在一个障碍: Nova镜像启动需要从Glance中下载到本地再转移到Ceph中启动，而Glance早已支持Ceph后端存储。这意味着镜像需要经历一次下载和一次上次才能被Nova使用，而这两次镜像传输完全是可以避免的，遗憾的是这个[Make rbd usable for ephemeral storage](https://review.openstack.org/#/c/46879/)由于提交太迟错过了窗口期导致被拒。

当然，大部分工作都已经到位，欠缺的Patch可以很容易backport回来，通过这些努力，我们得到一个清晰的整合蓝图。

从上图中我们可以发现，当OpenStack存储池中只存在Ceph以后，所有的存储资源可以被有效的利用起来，一些苦恼的存储区域分配和中间传输流程都会随之消失。所有的镜像存储由Glance存储在Ceph中，所有的持久块设备由Cinder在Ceph中管理。当一个虚拟机启动时，Nova可以直接从Ceph中取得镜像然后启动，中间除了VM需要从Ceph中获得启动镜像内容以外不会有多余的传输消耗。

从这里可以延伸出的结果是:OpenStack对块设备所需支持由Ceph可以完全实现并且统一好管理。

相关Patch

1. Implement extend volume functionality in Rbd(UnitedStack)

https://review.openstack.org/#/c/36415/ 给Cinder项目的Ceph RBD后备提供扩展块设备的能力

2. Add RBD supporting to libvirt for creating local volume(UnitedStack)

https://review.openstack.org/#/c/36042/ Nova的Root，Swap，Emphemeral分区增加使用Ceph RBD的选项和能力

3. Make rbd usable for ephemeral storage(Inktank)

https://review.openstack.org/#/c/46879/当使用RBD作为Nova的libvirt后备时，Nova会通过Http从Glance下载镜像到本地再上传到Ceph中，对于大镜像(Windows)来说非常浪费带宽和存储空间。这个补丁实现了当Glance与Nova使用Ceph RBD存储在同一个Ceph Pool中时，Nova会从Glance处创建一个copy-on-write镜像。这使得启动VM的时间会大大减小，不再受限于镜像的大小。

4. Added copy-on-write support for all RBD cloning(Canonical)

https://review.openstack.org/#/c/41469/主要为Cinder的Ceph RBD后备提供copy-on-write的克隆块设备能力，会大大减小克隆块设备的时间。同时，为了避免过长的镜像依赖链，这里实现了自动折叠镜像的能力。也就是当镜像链长度超过指定大小时，父子镜像之间会进行数据复制来避免依赖。