实用干货分享（4）- 分布式金融PaaS容器化部署实战

​

​编辑

一、学习链接

http://www.itmuch.com/docker/00-docker-lession-index/

二、安装步骤

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

sudo yum-config-manager --enable docker-ce-edge # 启用edge仓库

sudo yum-config-manager --enable docker-ce-test # 启用test仓库

sudo yum makecache fast

sudo yum install docker-ce

sudo systemctl start docker

sudo docker run hello-world

三、常用操作指令

下载镜像

镜像下载地址：hub.docker.com

或者使用docker search filebeat （搜索镜像）

​

编辑

容器重启

docker restart nginx (容器的name)

打包及启动指令

docker build -t dap/mq_server:v1

docker run --name mq_server \

--restart=always \

-p 8899:8899 \

-v /root/mq/mq/application.properties:/opt/mq/application.properties \

-d dap/mq_server:v1 \

查看容器日志

docker logs -f nginx (容器的name)

显示所有的容器（包括未运行的）

docker ps -a

进入容器内部的bash窗口

docker exec -it nginx /bin/bash

查看容器元数据，可看到挂载信息

docker inspect mysql (容器的name)

生成和加载docker镜像tar包

docker save youimages > name

docker load < yourimages

镜像重命名

docker image tag [镜像id] 新名称

查询CentOS的bash路径

[root@deploy dap-skywalking]# docker run -it centos:7.7.1908 whereis bash

bash: /usr/bin/bash

​

编辑

挂载本地时间

/ect/localtime -- 挂载本地的时间到docker容器中解决日志打印的时间格式问题

四、常见问题

运行docker容器

iptables: No chain/target/match by that name

​

编辑

执行一下 ：systemctl restart docker

​

编辑

https://blog.csdn.net/u013948858/article/details/83115388

安装docker客户端遇到的问题

​

编辑

https://www.cnblogs.com/maodot/p/7654918.html

redis 启动权限问题

更改redis 路径下的权限，也可以使用第5个问题的解决思路

chown 1000:1000

chmod 1777

https://blog.csdn.net/luozhonghua2014/article/details/80369469

文件创建权限问题

/opt/app/skywalking-apm-bin/logs/skywalking-oap-server.log

​

编辑

在启动指令中增加 ：--privileged=true （不推荐）

推荐方法：直接在Dockerfile中添加 RUN chmod -R 777 /opt/app/ 命令来修改该文件夹下的所有权限

​

编辑

ADD与COPY的区别

对于需要在外部单独修改的配置文件，推荐使用COPY指令，而不是ADD指令。

ADD指令只针对于tar包文件，指令本身有解压的功能。

五、DockerFile

mysql服务搭建

docker run --name mysql --restart=always -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.20

CREATE DATABASE IF NOT EXISTS config_server DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

CREATE DATABASE IF NOT EXISTS mq_console_new DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

使用docker命令登录容器内的mysql：

docker exec -it mysql /bin/bash

mysql -u root -p 123456

Dockerfile：自定义MySQL容器，添加自定义配置：

FROM mysql:5.7.20

RUN echo "[mysqld]" >> /etc/mysql/mysql.cnf \

&& echo "lower_case_table_names=1" >> /etc/mysql/mysql.cnf \

&& echo "character_set_server=utf8" >> /etc/mysql/mysql.cnf \

&& echo "init_connect='SET NAMES utf8'" >> /etc/mysql/mysql.cnf \

&& echo "sql_mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION" >> /etc/mysql/mysql.cnf \

&& echo "[client]" >> /etc/mysql/mysql.cnf \

&& echo "default-character-set=utf8" >> /etc/mysql/mysql.cnf

直接使用java命令启动

FROM centos:7.7.1908

MAINTAINER zhaikai

WORKDIR /usr/local

ADD jdk-8u251-linux-x64.tar.gz /usr/local

ENV JAVA_HOME=/usr/local/jdk1.8.0_251

ENV CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

ENV PATH=$JAVA_HOME/bin:$PATH

ENV LANG C.UTF-8

RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

RUN echo 'Asia/Shanghai' >/etc/timezone

WORKDIR /opt/config

ADD dap-boot-starter-config-server-1.0-SNAPSHOT.jar /opt/config/app.jar

#VOLUME application-config.yml -- 写法有些问题，还需要一些其他工作

COPY application-config.yml /opt/config/application-config.yml

#EXPOSE 8087

ENTRYPOINT ["java","-jar","/opt/config/app.jar","--spring.config.location=/opt/config/application-config.yml"]

使用启动脚本启动

FROM centos:7.7.1908

MAINTAINER zhaikai

WORKDIR /usr/local

ADD jdk-8u201-linux-x64.tar.gz /usr/local

ENV JAVA_HOME=/usr/local/jdk1.8.0_201

ENV CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

ENV PATH=$JAVA_HOME/bin:$PATH

ENV LANG C.UTF-8

RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

RUN echo 'Asia/Shanghai' >/etc/timezone

WORKDIR /opt/app

ADD batch-web.tar.gz /opt/app/

RUN chmod -R 777 /opt/app/

ENTRYPOINT ["/usr/bin/bash","-c","/opt/app/batch-web/bin/start.sh"]

下载中文语言包

日志模块需要额外下载中文语言包，用以解决配置文件中的中文无法在页面正常显示的问题。

FROM centos:7.7.1908

MAINTAINER zhaikai

WORKDIR /usr/local

ADD jdk-8u201-linux-x64.tar.gz /usr/local

ENV JAVA_HOME=/usr/local/jdk1.8.0_201

ENV CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

ENV PATH=$JAVA_HOME/bin:$PATH

RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

RUN echo 'Asia/Shanghai' >/etc/timezone

RUN yum install kde-l10n-Chinese -y

RUN yum install glibc-common -y

RUN localedef -c -f UTF-8 -i zh_CN zh_CN.utf8

#RUN export.UTF-8

#RUN echo "export.UTF-8" >> /etc/locale.conf

#ENV LANG zh_CN.UTF-8 ENV LC_ALL zh_CN.UTF-8

#RUN yum -y install kde-l10n-Chinese --nogpgcheck

#RUN yum reinstall -y glibc-common --nogpgcheck

#RUN localedef -c -f UTF-8 -i zh_CN zh_CN.utf8

#RUN yum -y groupinstall chinese-support

ENV.UTF-8

WORKDIR /opt/app

ADD logger-deploy.tar.gz /opt/app/

RUN chmod -R 777 /opt/app/

ENTRYPOINT ["/usr/bin/bash","-c","/opt/app/logger-deploy/startup.sh"]

Nginx前端代理

FROM nginx:latest

MAINTAINER zhoulei

ENV LANG C.UTF-8

RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

RUN echo 'Asia/Shanghai' >/etc/timezone

ADD config-web.tar.gz /usr/share/nginx/html

打包以及启动指令：

docker build -t dap/console:v1 .

docker run -itd \

--privileged=true \

-p 8888:80 \

--restart=always \

--name nginx \

-v /home/docker/dap-web/nginx.conf:/etc/nginx/nginx.conf \

-v /var/log/nginx/logs:/var/log/nginx \

-d dap/console:v1 \

使用域名进行动态加载

DNS配置：

containers 同一级下进行配置：

hostAliases:

- hostnames: ['域名']

ip: IP地址

​

编辑

nginx配置文件

127.0.0.1 配置域名

​

编辑

六、Skywalking

SkyWalking服务

需要配置端口映射：8090（前端）、11800（RPC）、11800（HTTP）

注意一下一定要执行SkyWalking的初始化脚本（oapServiceInit.sh），里面包含了创建ES索引的各种操作。

三个Demo

有几个关键步骤：

1、将agent包放入demo路径下

2、修改启动脚本，将IP和端口设为负载均衡的IP端口

​

编辑

3、修改jar包中zk的地址

​

编辑

4、eCas-order启动后，需要将配置文件中的8107端口进行负载均衡的配置

5、eCas-order启动后，需要该应用将日志路径挂载到filebeat指定的节点机器中的指定路径中，以便日志系统进行采集

七、容器化总结

在进行容器化部署时，可能会出现如下问题：

1. 中文语言包

由于容器中没有安装中文包，所以日志模块部署上去后，原本是中文的某些显示项，会变成乱码。解决方法见【DockerFile】章节中的【下载中文语言包】

2. 尽量保证一个容器运行一个应用

容器是docker运行的一个最小单元，往往推荐只运行一个应用。如果运行多个应用，一旦遇到问题，很难通过容器平台对错误进行定位。因为日志是多个应用杂乱无章的显示；多个应用之间的启动、以及调用可能也会出现相应的问题；容器的重新打包也会相应的变得复杂起来。所以最好的部署方式是一个容器运行一个应用。

3. nohup尽量不要使用

因为docker logs获取的是标准控制台的日志打印。nohup会影响日志的查看，影响我们对容器的启动情况进行排查。

4. VOLUME尽量不要使用

DockerFile中如果需要添加配置文件，尽量不要使用VOLUME 进行挂载。使用COPY命令即可，如果没有搞清楚文件夹和文件之间的关系，抑或没有提前处理好权限问题的话，使用VOLUME会出现很多问题。

5. 容器不断重启

如果容器不断重启，或者无法直接启动。而控制台的日志并没有给出一个明确的打印。会给异常排错带来很大的困难。解决方案就是将容器中的应用日志挂载到宿主机的指定路径下，当容器发生启动异常或者不断重启的问题时，可以在宿主机中进行日志查看。

​