CentOS7下安装ELK三件套

ELK用于分布式收集，然后elasticsearch用于分析数据，在Kibana中可以查看数据、报表。

目前公司日志数据量暂时不使用elasticsearch集群，只是用的elasticsearch单机模式。

机器环境

以下软件都是基于5.6

elasticsearch+Kibana：172.16.88.56

logstash：172.16.88.99

在每台机器上执行如下操作：

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

vim /etc/yum.repos.d/logstash.repo

[logstash-5.x]
name=Elastic repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

172.16.88.56安装elasticsearch Kibana

yum install -y elasticsearch kibana

配置 elasticsearch kibana 对应的配置文件

elasticsearch：/etc/elasticsearch/elasticsearch.yml
kibana：/etc/kibana/kibana.yml

其中：

elasticsearch：

network.host: 172.16.88.56 #服务器IP
http.port: 9200 #对应的端口
path.data: /home/elasticsearch

说明

network.host 服务器IP。

http.port 对应的端口。

path.data 数据保存的位置。

如果改这个data需要把/var/lib/elasticsearch/* 复制到/home/elasticsearch 目录下

同时注意/home/elasticsearch的权限 elasticsearch:elasticsearch 否则会报错

kibana：

server.port: 5601
server.host: "172.16.88.56"
elasticsearch.url: "http://172.16.88.56:9200"

说明

指定服务器地址与kibana可访问的接口以及搜索引擎的地址与接口

启动 elasticsearch kibana

service elasticsearch start
chkconfig elasticsearch  on
service kibana on
chkconfig kibana on

172.16.88.99安装 logstash

yum install -y logstash

配置 logstash 对应的配置文件

logstash：/etc/logstash/logstash.yml

172.16.88.99安装logstash

logstash：

pipeline.workers: 4
pipeline.output.workers: 2
pipeline.batch.size: 1024

说明

修改的logstash工作进程数与输出的进程数，以及批处理的数量，依照服务器性能以及filebeat端是否报错进行相应的报错，

如果太小 filebeat总是报超时。

其他的配置比如 连接elasticsearch在后边进行说明。

调试模式下执行：

 /usr/share/logstash/bin/logstash --config.reload.automatic -f /etc/logstash/conf.d #不用停止服务，自动加载配置文件

生产环境:

service logstash start
chkconfig logstash on