kolla管理openstack容器

本文以nova-api容器为例，说明kolla如何将nova-api配置文件传入容器，容器如何启动nova-api服务并读取配置文件

注:第一部分比较无趣，二三部分会有意思一些

1. nova-api容器参数

nova-api容器定义

ansible.roles.nova.defaults.main.yml中定义了nova的所有容器及容器参数，下面的代码nova-api容器的定义，注意代码中第一条，对于所有容器kolla都有类似的定义：将/etc/kolla下的配置目录，作为volume挂载到容器内的/var/lib/kolla/config_files目录上，供容器启动时读取

  nova-api:

    container_name: "nova_api"

    group: "nova-api"

    image: "{{ nova_api_image_full }}"

    enabled: True

    privileged: True

    volumes:

	  # 将用户nova-api服务配置目录/etc/kolla/nova-api传入容器，映射为/var/lib/kolla/config_files/,并设置为只读

      - "{{ node_config_directory }}/nova-api/:{{ container_config_directory }}/:ro"

      # 容器时钟和虚拟机时钟同步

      - "/etc/localtime:/etc/localtime:ro"

      # 宿主机内核，mount给容器之后，容器可以启用宿主机未启用的内核模块

      - "/lib/modules:/lib/modules:ro"

      # openstack日志目录

      - "kolla_logs:/var/log/kolla/"

nova-api容器操作定义

ansible.roles.nova.handlers.main.yml中定义了对nova各个容器的操作及其参数，下面的代码是nova-api服务restart的参数，注意该函数的名称虽然是restart nova-api，但是action是recreate_or_restart_container，如果restart nova-api容器时，该容器不存在，restart函数会创建该容器并启动。

由于nova的服务都是无状态应用，重启容器和重新创建容器没有区别，所以kolla在handler中仅仅定义了restart or recreate操作，但是对于mariadb容器，handler把创建和重启容器分开来，handler包括中定义了start_container，recreate_or_restart_container两个操作

- name: Restart nova-api container

  vars:

    service_name: "nova-api"

    service: "{{ nova_services[service_name] }}"

    config_json: 略

    nova_conf: 略

    policy_json: 略

    nova_api_container: 略

  kolla_docker:

    action: "recreate_or_restart_container"

    common_options: "{{ docker_common_options }}"

    name: "{{ service.container_name }}"

    image: "{{ service.image }}"

    privileged: "{{ service.privileged | default(False) }}"

    volumes: "{{ service.volumes|reject('equalto', '')|list }}"

  when:

    略

nova-api容器创建

ansible.library.kolla_docker.py中定义了所有容器创建的函数 create_container

    def create_container(self):

        self.changed = True

		# 获取创建容器的volume配置等容器创建参数

        options = self.build_container_options()

		# 调用docker driver创建容器

        self.dc.create_container(**options)

    def build_container_options(self):

	   #生成volume参数

        volumes, binds = self.generate_volumes()

        return {

            'detach': self.params.get('detach'),

            'environment': self._format_env_vars(),

            'host_config': self.build_host_config(binds),

            'labels': self.params.get('labels'),

            'image': self.params.get('image'),

            'name': self.params.get('name'),

            'volumes': volumes,

            'tty': True

        }

	 def generate_volumes(self):

	    # self.params在初始化时使用1中的kolla_docker参数定义

        volumes = self.params.get('volumes')

        # 解析字符串，略

        for vol in volumes:

           #解析字符串，略

		 return vol_list, vol_dict

2. 寻找nova-api容器的启动命令

nova-api

通过上面的步骤,kolla将nova-api容器创建出来并启动，并且将宿主机上的/etc/kolla/nova-api作为volume挂载到容器的/var/lib/kolla/config_files上。容器启动时，会执行容器docker file中的CMD命令。而nova-api的dockerfile位于kolla项目（不是kolla-ansible）的docker.nova.nova-api.Dockerfile.j2,内容如下：

    # 定义父镜像为nova-base镜像

    FROM {{ namespace }}/{{ image_prefix }}nova-base:{{ tag }}

    # 作者信息，略

    # 安装nova-api服务的步骤，略

    COPY extend_start.sh /usr/local/bin/kolla_nova_extend_start

    RUN chmod 755 /usr/local/bin/kolla_nova_extend_start

    USER nova

这个dockerfile定义了一个基于nova-base的nova-api镜像，在nova-base镜像的基础上，主要做了两件事：安装nova-api服务，复制extend_start.sh文件为kolla_nova_extend_start文件。

"/usr/local/bin/" 是环境变量PATH的默认值之一，将extend_start.sht文件拷贝到这个目录后，kolla_nova_extend_start成为容器里可以直接执行的一个命令。

Dockerfile中，对容器启动时执行的命令是这个定义的CMD ["可执行命令"], 在这个dockerfile中没有定义容器启动命令CMD。

nova-base image

我们再去看一下父镜像nova-base的Dockerfile：

    FROM {{ namespace }}/{{ image_prefix }}openstack-base:{{ tag }}

    LABEL maintainer="{{ maintainer }}" name="{{ image_name }}" build-date="{{ build_date }}"

    # 安装所有nova服务通用的rpm包，如：python-keystoneclient，nova-common，etc，代码略

    # 创建/etc/nova目录并设置权限

    COPY nova_sudoers /etc/sudoers.d/kolla_nova_sudoers

    RUN chmod 750 /etc/sudoers.d \

    && chmod 440 /etc/sudoers.d/kolla_nova_sudoers

    COPY extend_start.sh /usr/local/bin/kolla_extend_start

    RUN touch /usr/local/bin/kolla_nova_extend_start \

    && chmod 755 /usr/local/bin/kolla_extend_start /usr/local/bin/kolla_nova_extend_start

在这个文件里面，kolla复制extend_start.sh生成kolla_extend_start文件。这里依然没有定义CMD。

openstack-base

我们继续看这个镜像的父镜像openstack-base的Dockerfile：

    FROM {{ namespace }}/{{ image_prefix }}base:{{ tag }}

    # 安装openstack通用rpm包，如git，gcc，eventle，代码略

    ENV PATH /var/lib/kolla/venv/bin:$PATH

    RUN {{ macros.install_pip(openstack_base_pip_packages | customizable("pip_packages")) }}

在这里kolla设置了环境变量PATH=/var/lib/kolla/venv/bin，这个目录下存放了nova-api文件，这样nova-api成为可在容器里直接执行的命令

base image

继续看父镜像base的Dockerfile:

    FROM {{ base_image }}:{{ base_distro_tag }}

    # 创建用户组

    # 配置yum或者apt的源，pip源

    COPY set_configs.py /usr/local/bin/kolla_set_configs

    COPY start.sh /usr/local/bin/kolla_start

    COPY sudoers /etc/sudoers

    COPY curlrc /root/.curlrc

    # 安装并设置dumb-init

    # 创建 /var/log/kolla 并设置权限

    # 创建/usr/local/bin/kolla_extend_start 文件并设置权限

    CMD ["kolla_start"]

可以看到这里生成了kolla_start文件，并且将容器启动命令设置为kolla_start，由于base镜像是所有kolla镜像的公共镜像，所以，几乎所有kolla容器启动时，执行的命令，都是kolla_start命令，之所以说几乎，是因为有个别镜像重写了CMD

3. 通过kolla_start启动nova-api

kolla_start是一个shell脚本，内容如下：

#!/bin/bash

set -o errexit

# 解析 /var/lib/kolla/config_files/目录下的config.json，将config.json中的command写入/command文件，将config.json中的config_files拷贝到指定目录。 /var/lib/kolla/config_files是由我们在1.1中定义的/etc/kolla/nova-api目录映射而来。

sudo -E kolla_set_configs

# 获取config.json中的command内容，对于nova-api，它的值是"nova-api"

CMD=$(cat /run_command)

ARGS=""

#执行kolla_extend_start命令，设置nova日志目录的权限，并调用kolla_nova_extend_start命令，进行判断：如果是初始化nova-api服务，执行dbsync，如果不是，什么都不做

. kolla_extend_start

#执行nova-api命令，启动该服务

echo "Running command: '${CMD}${ARGS:+ $ARGS}'"

exec ${CMD} ${ARGS}

可以看出，所有的openstack服务都按照上面的流程启动，不同的服务：

所有服务都使用/etc/kolla/服务名/config.json中command，作为服务的启动命令
所有服务都使用/etc/kolla/服务名/config.json中config_files, 作为服务的配置文件
所有服务都有相同的kolla_start脚本。这个脚本在kolla项目中存放的位置是kolla.docker.base.start.sh。这个脚本会先调用kolla_extend_start脚本, 然后执行服务启动命令。
所有同一项目的服务有相同的kolla_extend_start脚本。以nova项目为例，这个脚本在kolla项目中存放的位置是kolla.docker.nova.nova_base.extend_start.sh。所有nova容器都使用这个脚本会创建项目日志目录，设置权限，调用容器内的kolla_nova_extend_start脚本。
所有服务都有不同的kolla_项目名_extend_start脚本，以nova_api项目为例，这个脚本在kolla项目中存放的位置是kolla.docker.nova.nova_api.extend_start.sh。nova-api使用该脚本用来做服务启动前的db_sync, 垃圾清理等操作。