docker swarm搭建tidb踩坑日记

背景

公司新项目数据量翻了一倍，每天上亿数据量的读写，传统的单库单表已经满足不了目前的需求，得考虑下分布式存储了。那用啥呢，之前有考虑用到mycat，但是一进官网，一股山寨气息扑面而来，技术群进群还收费。。。打扰了，随后阅览各种逼乎大佬的文章，tidb见吹的不错，就这个了，但部署一看文档似乎有点小麻烦，使用推荐的Ansible部署还得格式化磁盘https://pingcap.com/docs-cn/v3.0/how-to/deploy/orchestrated/ansible/，k8s又不会，那就用swarm先简单部署一套吧，没人会，没运维？。。。没事，我头铁，直接上

机器：四台（都没外网，局域网互通），ubuntu

搭建swarm集群

参考https://yeasy.gitbooks.io/docker_practice/swarm_mode/create.html

使用 docker swarm init 在管理节点初始化一个 Swarm 集群。

docker@manager:~$ docker swarm init --advertise-addr 192.168.99.100
Swarm initialized: current node (dxn1zf6l61qsb1josjja83ngz) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join \
    --token SWMTKN-1-49nj1cmql0jkz5s954yi3oex3nedyz0fb0xx14ie39trti4wxv-8vxv8rssmk743ojnwacrr2e7c \
    192.168.99.100:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

如果你的 Docker 主机有多个网卡，拥有多个 IP，必须使用 --advertise-addr 指定 IP。

分别登录其余三台机器

    docker swarm join \
    --token SWMTKN-1-49nj1cmql0jkz5s954yi3oex3nedyz0fb0xx14ie39trti4wxv-8vxv8rssmk743ojnwacrr2e7c \
    192.168.99.100:2377

这时，init的那台机器就成了leader节点，其他三成就成了worker节点

查看集群

root@tagsystem004:/tidb_data# docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
eevif6put7mqcjjqk7cjqilvm     tagsystem001        Ready               Active                                  18.09.5
utcf7oyz4y50mqvoksqm5havp     tagsystem002        Ready               Active                                  18.09.5
gxtqaz0pxyirccelnrycxveov *   tagsystem004        Ready               Active              Leader              18.09.5
v2ku133nvee0mckbd1kfgsqu8     tagsystem005        Ready               Active                                  18.09.5

查看集群服务

docker service ls

目前集群上尚无任何服务

搭建harbor

四台集群均无外网，swarm集群就得需要用到私有仓库，这里我用了harbor

搭建记录

https://www.cnblogs.com/qflyue/p/11571058.html

harbor搭建完成后需要把tidb部署所需要的镜像传到harbor (必须)

搭建完成后，记得把crt文件放到每个服务器对应目录下

下载 tidb-docker-compose

git clone https://github.com/pingcap/tidb-docker-compose.git

编辑docker-swarm.yml,将所用镜像编辑为harbor中上传的镜像（当然，有外网的话不用修改，harbor也不用搭建）

version: '3.3'

networks:
  default:
    driver: overlay
    attachable: true

services:
  pd0:
    image: pingcap/pd:latest
    ports:
      - "2379"
    volumes:
      - ./config/pd.toml:/pd.toml:ro
      - ./data:/data
      - ./logs:/logs
    command:
      - --name=pd0
      - --client-urls=http://0.0.0.0:2379
      - --peer-urls=http://0.0.0.0:2380
      - --advertise-client-urls=http://pd0:2379
      - --advertise-peer-urls=http://pd0:2380
      - --initial-cluster=pd0=http://pd0:2380,pd1=http://pd1:2380,pd2=http://pd2:2380
      - --data-dir=/data/pd0
      - --config=/pd.toml
      - --log-file=/logs/pd0.log
      - --log-level=info
  pd1:
    image: pingcap/pd:latest
    ports:
      - "2379"
    volumes:
      - ./config/pd.toml:/pd.toml:ro
      - ./data:/data
      - ./logs:/logs
    command:
      - --name=pd1
      - --client-urls=http://0.0.0.0:2379
      - --peer-urls=http://0.0.0.0:2380
      - --advertise-client-urls=http://pd1:2379
      - --advertise-peer-urls=http://pd1:2380
      - --initial-cluster=pd0=http://pd0:2380,pd1=http://pd1:2380,pd2=http://pd2:2380
      - --data-dir=/data/pd1
      - --config=/pd.toml
      - --log-file=/logs/pd1.log
  pd2:
    image: pingcap/pd:latest
    ports:
      - "2379"
    volumes:
      - ./config/pd.toml:/pd.toml:ro
      - ./data:/data
      - ./logs:/logs
    command:
      - --name=pd2
      - --client-urls=http://0.0.0.0:2379
      - --peer-urls=http://0.0.0.0:2380
      - --advertise-client-urls=http://pd2:2379
      - --advertise-peer-urls=http://pd2:2380
      - --initial-cluster=pd0=http://pd0:2380,pd1=http://pd1:2380,pd2=http://pd2:2380
      - --data-dir=/data/pd2
      - --config=/pd.toml
      - --log-file=/logs/pd2.log
  tikv:
    image: pingcap/tikv:latest
    ports:
        - target: 20160
          published: 20160
    environment:
      - TASK_SLOT={{.Task.Slot}}
    volumes:
      - ./config/tikv.toml:/tikv.toml:ro
      - ./data:/data
      - ./logs:/logs
    entrypoint: [ "/bin/sh", "-c", "/tikv-server --advertise-addr=$$HOSTNAME:20160  --addr=0.0.0.0:20160 --data-dir=/data/tikv$$TASK_SLOT --pd=pd0:2379,pd1:2379,pd2:2379 --config=/tikv.toml --log-file=/logs/tikv$$TASK_SLOT.log --log-level=info" ]
    depends_on:
      - "pd0"
      - "pd1"
      - "pd2"
    deploy:
        replicas: 3
        restart_policy:
            condition: on-failure

  tidb:
    image: pingcap/tidb:latest
    ports:
        - target: 4000
          published: 4000
        - target: 10080
          published: 10080
    environment:
      - TASK_SLOT={{.Task.Slot}}
    volumes:
      - ./config/tidb.toml:/tidb.toml:ro
      - ./logs:/logs
    entrypoint: [ "/bin/sh", "-c", "/tidb-server --store=tikv --path=pd0:2379,pd1:2379,pd2:2379 --config=/tidb.toml --log-file=/logs/tidb$$TASK_SLOT.log -L info" ]
    depends_on:
      - "tikv"
    deploy:
        replicas: 1

  tispark-master:
    image: pingcap/tispark:latest
    command:
      - /opt/spark/sbin/start-master.sh
    volumes:
      - ./config/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
    environment:
      SPARK_MASTER_PORT: 7077
      SPARK_MASTER_WEBUI_PORT: 8080
    ports:
      - "7077:7077"
      - "8080:8080"
    depends_on:
      - "tikv"
    deploy:
        replicas: 1
  tispark-slave:
    image: pingcap/tispark:latest
    command:
      - /opt/spark/sbin/start-slave.sh
      - spark://tispark-master:7077
    volumes:
      - ./config/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
    environment:
      SPARK_WORKER_WEBUI_PORT: 38081
    ports:
      - "38081:38081"
    depends_on:
      - tispark-master
    deploy:
        replicas: 1

  tidb-vision:
    image: pingcap/tidb-vision:latest
    environment:
      PD_ENDPOINT: pd0:2379
    ports:
      - "8010:8010"

  # monitors
  pushgateway:
    image: prom/pushgateway:v0.3.1
    command:
      - --log.level=error
  prometheus:
    user: root
    image: prom/prometheus:v2.2.1
    command:
      - --log.level=error
      - --storage.tsdb.path=/data/prometheus
      - --config.file=/etc/prometheus/prometheus.yml
    ports:
      - "9090:9090"
    volumes:
      - ./config/prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - ./config/pd.rules.yml:/etc/prometheus/pd.rules.yml:ro
      - ./config/tikv.rules.yml:/etc/prometheus/tikv.rules.yml:ro
      - ./config/tidb.rules.yml:/etc/prometheus/tidb.rules.yml:ro
      - ./data:/data
  grafana:
    image: grafana/grafana:6.0.1
    environment:
      GF_LOG_LEVEL: error
      GF_PATHS_PROVISIONING: /etc/grafana/provisioning
      GF_PATHS_CONFIG: /etc/grafana/grafana.ini
    volumes:
      - ./config/grafana:/etc/grafana
      - ./config/dashboards:/var/lib/grafana/dashboards
    ports:
      - "3000:3000"

　　

将项目文件传入到每个服务器相同目录下

写了个脚本，首先需配置免密登录

ssh-copy-id root@xxxx

然后将下面脚本保存为init_data.sh

cd tidb_docker_compose

vi  init_data.sh

#!/usr/bin/env bash
mkdir -p /xxx/data
mkdir -p /xxx/logs   #这里xxx根据实际配置路径修改,这是上面docker-swarm.yml volume
scp tidb_docker_compose root@xxxx #后面的xxxx是你的服务器地址
scp tidb_docker_compose root@xxxx
scp tidb_docker_compose root@xxxx
scp tidb_docker_compose root@xxxx

　

然后在每个服务器上，注释掉后面的四条scp

此时init_data文件

#!/usr/bin/env bash
mkdir -p /xxx/data
mkdir -p /xxx/logs   #这里xxx根据实际配置路径修改,这是上面docker-swarm.yml volume
# scp tidb_docker_compose root@xxxx #后面的xxxx是你的服务器地址
# scp tidb_docker_compose root@xxxx
# scp tidb_docker_compose root@xxxx
# scp tidb_docker_compose root@xxxx

执行

./init_data.sh

下一步可以愉快地启动集群了，也可能不愉快

cd tidb_docker_compose

docker stack deploy --with-registry-auth -c docker-swarm.yml tidb

查看服务启动状态

当服务启动不完全时

使用如下命令查看报错原因

# 查看服务
docker service ls

# 查看服务日志

docker service ps --no-trunc  对应服务名

docker service logs 对应服务名

journalctl -u docker.service | tail -n 50

注：出现bind error 一类的，要看看每个机器上有没有这个文件夹或者文件，每个，划重点

其他错误的话，欢迎评论在博客下方。。。。我这是部署成功后才整理的文档，可能没那么细

使用tidb

mysql -u root -P 4000 -h 主节点的ip地址

之后的使用跟mysql就并无二致了，之后需要考虑问题-------高可用，数据迁移