配置Ceph集群为OpenStack后端存储

配置Ceph存储为OpenStack的后端存储

1  前期配置

Ceph官网提供的配置Ceph块存储为OpenStack后端存储的文档说明链接地址：http://docs.ceph.com/docs/master/rbd/rbd-openstack/

1.1  注意点

（1）OpenStack的节点使用的Ceph客户端的版本应该跟Ceph节点使用的Ceph版本一致，不然可能会出现类似Functional not supported的问题，这里我使用的Ceph版本是0.94.10版本的。

（2）OpenStack节点的Ceph客户端访问集群的网络配置应该跟Ceph集群的前端网络在同一个网段。

（3）OpenStack节点和Ceph节点都先关闭掉防火墙，以免出现不可思议的问题。

（4）OpenStack节点和Ceph节点的时间都应该准确，尽可能时间同步。

1.2  创建存储池

ceph osd pool create volumes 128

ceph osd pool create images 128

ceph osd pool create backups 128

ceph osd pool create vms 128

1.3  安装Ceph客户端包

在运行着glance-api、cinder-volume、nova-compute或cinder-backup的主机上进行安装：

最好别使用 yum -y install python-rbd ceph这种方式，因为这种方式取得的都是最新版本的发布包，可能跟你ceph集群的ceph服务版本不一致，可以使用命令ceph --version查看ceph的版本。

OpenStack节点和Ceph节点安装的Ceph包都是使用我自己之前编译好的rpm包进行安装的，所以版本肯定是一致的。

<3>生成配置文件

在Ceph存储的管理节点上（有mon的其中一个节点即可，这里我们是使用compute1节点），将配置文件同步到OpenStack节点上。

ssh {your-openstack-server} sudo tee /etc/ceph/ceph.conf </etc/ceph/ceph.conf

1.4  配置ceph客户端认证

如果ceph启用了客户端认证，则需要为Nova、Cinder和Glance创建新用户：

ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'

ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

ceph auth get-or-create client.cinder-backup mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=backups'

把client.cinder、client.glance和client.cinder-backup的密钥环复制到适当的节点，并更改所有权：

ceph auth get-or-create client.glance | ssh {your-glance-api-server} sudo tee /etc/ceph/ceph.client.glance.keyring

ssh {your-glance-api-server} sudo chown glance:glance /etc/ceph/ceph.client.glance.keyring

ceph auth get-or-create client.cinder | ssh {your-volume-server} sudo tee /etc/ceph/ceph.client.cinder.keyring

ssh {your-cinder-volume-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring

ceph auth get-or-create client.cinder-backup | ssh {your-cinder-backup-server} sudo tee /etc/ceph/ceph.client.cinder-backup.keyring

ssh {your-cinder-backup-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder-backup.keyring

运行nova-compute的节点，其进程需要密钥环文件：

ceph auth get-or-create client.cinder | ssh {your-nova-compute-server} sudo tee /etc/ceph/ceph.client.cinder.keyring

还得把client.cinder用户的密钥存进libvirt。

libvirt进程在Cinder挂载设备时要用它访问集群。

在运行nova-compute的节点上创建一个密钥的临时副本：

ceph auth get-key client.cinder | ssh {your-compute-node} tee client.cinder.key

然后在计算节点上把密钥加进libvirt：

uuidgen

457eb676-33da-42ec-9a8c-9293d545c337

cat > secret.xml <<EOF

<secret ephemeral='no' private='no'>

<uuid>457eb676-33da-42ec-9a8c-9293d545c337</uuid>

<usage type='ceph'>

<name>client.cinder secret</name>

</usage>

</secret>

EOF

sudo virsh secret-define --file secret.xml

Secret 457eb676-33da-42ec-9a8c-9293d545c337 created

sudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 $(cat client.cinder.key)

保留密钥的 uuid ，稍后配置 nova-compute 时要用。

 

2  配置Ceph为glance镜像的后端存储

编辑/etc/glance/glance-api.conf

[glance_store]

stores = rbd

default_store = rbd

rbd_store_pool = images

rbd_store_user = glance

rbd_store_ceph_conf = /etc/ceph/ceph.conf

rbd_store_chunk_size = 8

如果你想允许用image的写时复制克隆，再添加下列内容到[DEFAULT]段下：

show_image_direct_url = True

建议把如下属性也加上，加到[default]下：

hw_scsi_model=virtio-scsi    #添加 virtio-scsi 控制器以获得更好的性能、并支持 discard 操作

hw_disk_bus=scsi             #把所有 cinder 块设备都连到这个控制器；

hw_qemu_guest_agent=yes      #启用 QEMU guest agent （访客代理）

os_require_quiesce=yes       #通过 QEMU guest agent 发送fs-freeze/thaw调用

重启glance API服务：

systemctl restart openstack-glance-api.service openstack-glance-registry.service

测试下上传镜像：

如果镜像cirros-0.3.5-x86_64-disk.img是qcow2格式的，可以先将它转换成raw格式的，因为如果要使用ceph作为后端存储，就应该将它的镜像格式转为raw：

可以使用命令qemu-img info cirros-0.3.5-x86_64-disk.img查看它是什么格式的，使用命令将它从qcow2格式转换成raw格式并保存成另外一个镜像文件：

qemu-img convert -f qcow2 -O raw cirros-0.3.5-x86_64-disk.img image.img

以下进行上传镜像操作：

. admin-openrc.sh

glance image-create --name "imagetest" --file image.img --disk-format raw --container-format bare --visibility public --progress

使用如下命令验证是否创建成功：

openstack image list

 

3  配置Ceph为Cinder卷的后端存储

OpenStack需要一个驱动和Ceph块设备交互。还得指定块设备所在的存储池名。编辑OpenStack节点上的/etc/cinder/cinder.conf,添加如下内容：

[DEFAULT]

enabled_backends = ceph

[ceph]

volume_driver = cinder.volume.drivers.rbd.RBDDriver

rbd_pool = volumes

rbd_ceph_conf = /etc/ceph/ceph.conf

rbd_flatten_volume_from_snapshot = false

rbd_max_clone_depth = 5

rbd_store_chunk_size = 4

rados_connect_timeout = -1

glance_api_version = 2

rbd_user = cinder

rbd_secret_uuid = 43f7430d-cce0-46eb-a0fc-a593e27878c2

配置cinder backup:

backup_driver = cinder.backup.drivers.ceph

backup_ceph_conf = /etc/ceph/ceph.conf

backup_ceph_user = cinder-backup

backup_ceph_chunk_size = 134217728

backup_ceph_pool = backups

backup_ceph_stripe_unit = 0

backup_ceph_stripe_count = 0

restore_discard_excess_bytes = true

rbd_user = cinder rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337

在控制节点上重启服务：

systemctl restart openstack-glance-api.service

systemctl restart openstack-cinder-volume.service

systemctl restart openstack-cinder-backup.service

在控制节点查看是否配置正常：

cinder-manage service list

以下为输出结果：

二进制 主机 域 状态 状态 已更新于 RPC 版本 对象版本 集群

cinder-backup controller nova enabled :-) 2017-11-14 01:46:36 3.5 1.21

cinder-scheduler controller nova enabled :-) 2017-11-14 01:46:36 3.5 1.21

cinder-volume controller@ceph nova enabled :-) 2017-11-14 01:46:42 3.10 1.21

 

4 配置Ceph为Nova虚拟机boot disk的后端存储

注意修改rbd_secret_uuid为你自己上面创建的uuid，可以使用该命令查看：virsh secret-list

编辑所有计算节点上的/etc/nova/nova.conf文件的[libvirt]里，添加如下内容：

images_type = rbd

images_rbd_pool = vms

images_rbd_ceph_conf = /etc/ceph/ceph.conf

rbd_user = cinder

rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337 disk_cachemodes="network=writeback"

inject_password = false

inject_key = false inject_partition = -2

live_migration_flag="VIR_MIGRATE_UNDEFINE_SOURCE,VIR_MIGRATE_PEER2PEER,VIR_MIGRATE_LIVE,VIR_MIGRATE_PERSIST_DEST,VIR_MIGRATE_TUNNELLED"

hw_disk_discard = unmap # 启用 discard 功能（注意性能）

编辑所有计算节点上的 Ceph 配置文件（/etc/ceph/ceph.conf）：

[client]

rbd cache = true

rbd cache writethrough until flush = true

rbd concurrent management ops = 20

在计算节点上重启服务：

systemctl restart openstack-nova-compute.service