【拆分版】 Docker-compose构建Logstash多实例，基于7.1.0

【拆分版】Docker-compose构建Logstash多实例

写在最前

说起Logstash，这个组件并没有什么集群的概念，与其说是集群，不如说是各自去收集日志分析过滤存储到Elasticsearch中。这里做个多实例的Logstash，其实本质上只是为Logstash指定好占用的端口，输入输出的配置的挂载，如是而已。

本文配置为红框中的部分：Logstash多节点收集的数据，统统输出数据到es-tribe，让这个协调节点自己去负载均衡写入数据。

配置详见git仓库 https://github.com/hellxz/docker-logstash-multiple.git

如有疑问或本文写得有出入的地方，期望评论指定。

目录结构

├── docker-ls-multiple-down.sh

├── docker-ls-multiple-up.sh

├── logstash-01

│   ├── config

│   │   ├── logstash.conf

│   │   └── logstash.yml

│   ├── docker-compose.yml

│   └── .env

├── logstash-02

│   ├── config

│   │   ├── logstash.conf

│   │   └── logstash.yml

│   ├── docker-compose.yml

│   └── .env

└── logstash-03

    ├── config

    │   ├── logstash.conf

    │   └── logstash.yml

    ├── docker-compose.yml

    └── .env

文件说明

以logstash-01举例说明

.env为docker-compose.yml提供了Logstash配置文件目录的位置，如果不放置到其他位置，无需更改

# .env file for docker-compose default. please be careful.

# logstash config dir mount set. change inside dir config file to change logstash cluster settings.

# default use relation path. don't change if you don't know what means.

LOGSTASH_CONFIG_DIR=./config

docker-compose.yml 为docker-compose的配置文件，这里只读取了.env的配置文件的路径，并把路径下的logstash.conf挂载到容器中logstash目录下pipeline/logstash.conf，挂载logstash.yml到logstash目录下config/logstash.yml

version: "3"

services:

    logstash-1:

        image: logstash:7.1.0

        container_name: logstash-1

        volumes:

            - ${LOGSTASH_CONFIG_DIR}/logstash.conf:/usr/share/logstash/pipeline/logstash.conf:rw

            - ${LOGSTASH_CONFIG_DIR}/logstash.yml:/usr/share/logstash/config/logstash.yml:rw

        network_mode: "host"

logstash.conf为模板文件，输入输出以及配置都可以在这里修改

input {     #输入

  kafka {	#使用kafka方式输入

    bootstrap_servers => "kafka1:9092,kafka2:9093,kafka3:9094" #kafka集群节点列表

    topics => ["all_logs"] #订阅名为all_logs的topic

    group_id => "logstash" #设置组为logstash

    codec => json #转换为json

  }

}

filter { #过滤分词等都在这里配置，暂时未配置

}

output {     #输出

  elasticsearch { #输出到es

    hosts => ["10.2.114.110:9204"] #es的路径

    index => "all-logs-%{+YYYY.MM.dd}" #输出到es的索引名称，这里是每天一个索引

    #user => "elastic"

    #password => "changeme"

  }

  stdout {

    codec => rubydebug

  }

}

此处设置并不是本文中的重点，有兴趣和需要请参考其它文章的相关配置

logstash.yml 为logstash的配置文件，只写了些与集群相关的，还有更多请参考其它文章.

# set now host ip to http.host

http.host: 10.2.114.110

# set the es-tribe-node host. let logstash monitor the es.

xpack.monitoring.elasticsearch.hosts:

- http://10.2.114.110:9204

# enable or disable the logstash monitoring the es.

xpack.monitoring.enabled: true

这里没有指定Logstash启动时的端口号，Logstash默认端口为9600，多实例在同主机时，会自动分配9600后的端口

另外两个脚本文件，仅在使用同一台主机时使用，便捷启动/关闭多节点Logstash

使用说明

需要确保多台主机均能正常ping通
确保Zookeeper集群与Kafka集群已经启动，并且Logstash订阅的borkers的列表能对得起来
确保Elasticsearch集群正常启动
宿主机/etc/hosts添加kafka1、kafka2、kafka3映射到对应的kafka所在的宿主机ip
修改每个Logstash目录下的config/logstash.conf中的输出es部分的ip到es-tribe对应的宿主机ip
修改每个Logstash目录下的config/logstash.yml中的http.host为当前宿主机ip, 修改xpack.monitoring.elasticsearch.hosts为当前es-tribe宿主机ip与port
进入每个Logstash目录执行docker-compose up -d以启动集群，执行docker-compose down以关闭集群

本文系原创文章，谢绝转载