使用docker部署standalone cinder

| 版权：本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。如有问题，可以邮件：wangxu198709@gmail.com

背景

OpenStack社区一直在尝试用Container技术来部署其各个组件，由此还发展出了kolla这个big tent项目，以及衍生项目kolla-ansible。

最近项目上有些调整，有了些自由时间，于是开始尝试使用container方式部署OpenStack的组件，自然是从最熟悉的Cinder开始。

惊喜的发现Cinder项目自身就有一个简单易上手的脚步，可以帮助理解以container部署Cinder的基本步骤和方式。

 [请在ROOT用户下执行下面所有的命令，主要是docker和后面的local-attach都需要root或者sudo，直接使用root会少掉很多坑]

配置环境

首先clone下来cinder的源代码：

git clone https://github.com/openstack/cinder

cd contrib/block-box/

然后就是安装相关的依赖了，如make, docker，docker-compose

安装make及相关包

sudo apt-get install build-essential

安装docker

https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-on-ubuntu-16-04

安装docker-compose

https://www.digitalocean.com/community/tutorials/how-to-install-docker-compose-on-ubuntu-16-04

接下来就是build需要的docker image了

make base

这个过程中，会clone loci-cinder项目，如果遇到不能clone这个项目，你可以把loci-cinder项目clone到本地，然后修改目录下的Makefile, 指向本地的loci-cinder就行。我就遇到这种问题，于是我做了如下修改

# git diff Makefile
diff --git a/contrib/block-box/Makefile b/contrib/block-box/Makefile
index ca173cc..ff60a56
--- a/contrib/block-box/Makefile
+++ b/contrib/block-box/Makefile
@@ -, +, @@
 CINDER_BRANCH ?= master # master, stable/ocata, refs/changes///
 NAME_PREFIX ?= ""
-PLATFORM ?= debian # ubuntu, centos
+PLATFORM ?= ubuntu # debian, centos
 TAG ?= latest

 all: base lvm devbox

 base:
-       docker build https://git.openstack.org/openstack/loci-cinder.git\#:$(PLATFORM) --tag cinder:$(TAG) --build-arg PROJECT_REF=$(CINDER_BRANCH)
+       docker build /root/containerized/loci-cinder/$(PLATFORM) --tag cinder:$(TAG) --build-arg PROJECT_REF=$(CINDER_BRANCH)

 lvm:
        docker build -t cinder-lvm -f ./docker_files/Dockerfile.cinder-lvm .

Docker 的image build好过后，马上就可以使用docker-compose命令启动cinder的相关service了。

启动docker的相关service

启动之前你要按照自己的需求，修改目录下的etc-cinder/cinder.conf 和 docker-compose.yml文件，你可以参考我的gist文件 cinder.conf 和 docker-compose.yml

docker-compose -f docker-compose.yml up -d

docker-compose up -d
Creating network "blockbox_cindernet" with driver "bridge"
Creating blockbox_mariadb_1 ...
Creating blockbox_rabbitmq_1 ...
Creating blockbox_mariadb_1
Creating blockbox_mariadb_1 ... done
Creating blockbox_rabbitmq_1 ... done
Creating blockbox_cinder-api_1 ... done
Creating blockbox_cinder-scheduler_1 ...
Creating blockbox_cinder-scheduler_1 ... done
Creating blockbox_cinder-volume_1 ...
Creating blockbox_cinder-volume_1 ... done

启动后，查看启动的container，发现cinder-api服务启动后又退出了。

docker ps

最后发现，cinder api的相关code有变动，需要在 当前目录(contrib/block-box)的 etc-cinder/cinder.conf，加入下面绿色内容，cinder-api才能启动成功，不让会因为找不到key manager而退出：

[database]
connection = mysql+pymysql://cinder:password@mariadb/cinder?charset=utf8
[key_manager]
backend = cinder.keymgr.conf_key_mgr.ConfKeyManager

更改后，重新启动所有docker containers

docker-compose -f docker-compose.yml down
docker-compose -f docker-compose.yml up -d

等一段时间，重新检查所有的docker containers

docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                                                   NAMES
67180a6e8056        cinder              "bash -c 'pip inst..."    seconds ago      Up  seconds                                                               blockbox_cinder-volume_1
d963f200be2a        cinder              "cinder-scheduler"        seconds ago      Up  seconds                                                               blockbox_cinder-scheduler_1
5166d688bbbd        cinder              "sh /init-scripts/..."    seconds ago      Up  seconds                                                               blockbox_cinder-api_1
a14757b40830        mariadb             "docker-entrypoint..."    seconds ago      Up  seconds       0.0.0.0:->/tcp                                  blockbox_mariadb_1
b23d77e10bad        rabbitmq            "docker-entrypoint..."    seconds ago      Up  seconds       /tcp, /tcp, /tcp, 0.0.0.0:->/tcp   blockbox_rabbitmq_1

所有服务都启动成功，后面使用cinder client请求cinder volume

TIPS: 可以使用下面命令查看docker里面的log。

docker logs <container id> -f 

使用cinder volume

安装cinder client

接下来，在host上新建virtual environment并在venv中安装最新的cinder client（只有最新的cinder client才有对noauth这种认证方式的支持）

# 创建venv
virtualenv pyenv

. pyenv/bin/activate
git clone https://github.com/openstack/python-cinderclient
pip install -e python-cinderclient

直接请求请求cinder api

(pyenv) peter@ubuntu16:~/pyenv$ cinder --os-auth-type=noauth --os-endpoint="http://127.0.0.1:8776/v3" --os-user-id=admin --os-tenant-id=admin list
+--------------------------------------+-----------+--------+------+-------------+----------+-------------+
| ID                                   | Status    | Name   | Size | Volume Type | Bootable | Attached to |
+--------------------------------------+-----------+--------+------+-------------+----------+-------------+
| 0fefa93d-475e-4cde--cc5666fde991 | available | peter1 |    | -           | false    |             |
+--------------------------------------+-----------+--------+------+-------------+----------+-------------+

注意上面使用了--os-auth-type-noauth,这就是让它直接请求cinder api，而不是先到keystone去认证。使用--os-endpoint=127.0.0.1:8776/v3是因为cinder-api同时暴露在了host上的这个端口上。

这样，就可以使用很多cinder的命令，比如cinder create，list，snapshot-create等等，相关的storage就可以被这个standalone的cinder来管理了。

使用local-attach

volume创建好后，这里不能给到VM直接使用，因为没有nova:)。尴尬，难道volume就不能给host用了吗？当然可以。opestack社区提供了一个cinder client的plugin，让volume可以直接attach给一个host

安装python-brick-cinderclient-ext

git clone https://github.com/openstack/python-brick-cinderclient-ext
pip install -e python-brick-cinderclient-ext/

现在我把刚才创建的volume暴露给host使用（记得在host上安装open-iscsi包）

cinder --os-auth-type=noauth --os-endpoint="http://127.0.0.1:8776/v3" --os-user-id=admin --os-tenant-id=admin local-attach 0fefa93d-475e-4cde--cc5666fde991

注意，要保证--os-user-id和--os-tenant-id使用与create volume一样的参数，否则会出现NotVolumeFound类似的error

参考文献：

https://thenewstack.io/deploying-cinder-stand-alone-storage-service/

https://gorka.eguileor.com/standalone-cinder/