安装EKL

elasticsearch

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

 

/etc/yum.repos.d/elasticsearch.repo:

[elasticsearch-6.x]

 name=Elasticsearch repository for .x packages
 baseurl=https://artifacts.elastic.co/packages/6.x/yum
 gpgcheck=
 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
 enabled=
 autorefresh=
 type=rpm-md

配置/etc/elasticsearch/elasticsearch.yml

修改：network.host: 0.0.0.0

这个改动用于地址绑定，可以实现监控多网卡（内网+外网）同一个端口，如果有需求得话。

验证：curl localhost:9200

 

Logstash

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

 

/etc/yum.repos.d/logstash.repo:

 [logstash-.x]
 name=Elastic repository for .x packages
 baseurl=https://artifacts.elastic.co/packages/6.x/yum
 gpgcheck=
 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
 enabled=
 autorefresh=
 type=rpm-md

 

/etc/logstash/conf.d/fb-es.conf

input {
   beats {
      port =>
      ssl  => false
      client_inactivity_timeout =>
   }
}
filter {
    grok {
        match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"}
       remove_field => ["message"]
    }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-%{+YYYY.MM.dd}"
    document_type => "nginx"
   }
 }

注意，我在配置match的时候，是因为我使用Ngnix的日志内容：

55.3.244.1 GET /index.html 15824 0.043

其他日志内容要根据自己的日志格式来设定。

 验证：访问curl localhost:9600

kibana

 

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

/etc/yum.repos.d/kibana.repo:

 [kibana-.x]
 name=Kibana repository for .x packages
 baseurl=https://artifacts.elastic.co/packages/6.x/yum
 gpgcheck=
 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
 enabled=
 autorefresh=
 type=rpm-md

/etc/kibana/kibana.yml

配置：server.host: "0.0.0.0"

另外注意需要在kibana的management面板中配置索引“Index Pattern”，只有这样才能够通过kibana的Discovery面板来监控到各个索引的情况。

验证：通过网页端访问http://ip:5601

说明：ELK如果采用这种rpm包（yum）安装方式。默认配置文件在/etc/XX下面（XX代表elasticsearch/ logstash/ kibana）；运行文件在/usr/share/XX下面。

注：看到这里，其实仔细看你会官方教程给的yum源其实都是一个；我们是不是只需要写好一个其他就OK呢？其实可以，但是对于新版本这样搞是否可以就不得而知了。

 

filebeat

 curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-x86_64.rpm
 sudo rpm -vi filebeat-6.3.-x86_64.rpm

在/etc/filebeats文件夹下，编辑filebeats.yml，定义要采集（input）的文件信息：

filebeat.inputs:

- type: log

enabled: true

paths:

- /var/log/test.log　　# 这里可以设置通配符，例如：*.log

同文件，配置输出（output）目的地，可以配置是es或者logstash（注意其他不要的输入配置需要最好注释掉）：

output.elasticsearch:

hosts: ["myEShost:9200"]

或者

output.logstash:

hosts: ["logstash_ip:5044"]

 

验证&测试：

在部署了filebeat的机器上面，执行下面的命令：

 echo "55.3.244.1 GET /index.html 15824 0.043" >> /var/log/test.log  

此时通过kibana或者head插件既可以看到索引的文档数有增加；

关于head插件，github地址：https://github.com/mobz/elasticsearch-head；注意可以作为chrome的插件来部署，比较方便；当然也可以搭建一个站点。

 

问题：

　　发现外网访问不了，原来需要设置监听主机的IP为0.0.0.0；eslasticsearch以及kibana很容就解决了这个问题；但是logstash上面就卡住了。5044端口无法访问；后来配置为http.host: "0.0.0.0"，问题解决

 

　　io.netty.handler.codec.DecoderException: org.logstash.beats.BeatsParser$InvalidFrameProtocolException: Invalid Frame Type, received: 84

　　感觉上就是logstash和Filebeat什么没有配对上。这个问题其实并不知道怎么解决的，反正按照上面的配置之后，就解决了。

 

　　Failed to publish events caused by: read tcp 172.17.0.2:59030->52.50.63.141:5000: read: connection reset by peer

　　再后来就是通过kibana看不到数据，因为看日志一直发现一个异常“logstash filebeat connection reset by peer”。

　　发现这个异常其实可以忽略；因为本来就是好用的，早就插入到了es里面了；只不过我当时是在kibana里面看到了数据没有展示，但是其实你通过head来进行查看的时候，你就会发现其实已经插入到里面了。head这个插件还要感谢迟永刚，是他和我闲聊的时候提到了这个组件。搞了一天半，终于发现问题原来就是他妈的kibana不好用。Kibana不好用是因为没有配置Kibana的索引类型，因为我后来的索引类型都是nginx做开头的（在logstash里面配置的），需要配置一个nginx-*的索引，配置之后，即可以在discovery里面看到了。

 

 

 

参考

https://www.elastic.co/guide/index.html 注意这个是elasticsearch技术栈文档的入口；即顶部菜单的“learn”一项

https://www.elastic.co/guide/en/elasticsearch/reference/current/rpm.html

https://www.elastic.co/guide/en/logstash/current/installing-logstash.html

https://www.elastic.co/guide/en/kibana/current/rpm.html

http://blog.51cto.com/seekerwolf/2106509

https://www.cnblogs.com/spec-dog/p/6235866.html