elasticsearch kibana logstash(ELK)的安装集成应用

官网关于kibana的学习指导网址是：https://www.elastic.co/guide/en/kibana/current/index.html

　　Kibana是一个开源的分析和可视化平台，设计用于Elasticsearch。使用Kibana搜索、查看和与存储在Elasticsearch索引中的数据交互。您可以轻松地执行高级数据分析并在各种图表、表和映射中可视化数据。

　　Kibana使理解大量数据变得容易。它简单的、基于浏览器的界面使您能够快速创建和共享动态仪表板，实时显示对Elasticsearch查询的更改。

kibana的安装需要依赖elasticsearch,所以需要先安装它，

rpm -ivh elasticsearch-6.4.1.rpm

然后查看状态及安装情况

修改配置文件

在在 Linux 环境中，elasticsearch 不允许以 root 权限来运行！所以需要创建一个非root用户，以非root用户来起es

rpm安装包位于、usr/share/elasticsearch/下，应采用下列授权

刚开始访问还是不行，然后一顿乱捣鼓，感觉也没有增加什么，最后突然刷新一下，好了，先用着，后面再整理一下

然后在test用户上查看一下运行状态

然后在通过test用户起来停止服务测试外网连接，都有爆红，但是都正常了

然后停掉test用户的服务，切回到root下开启服务，再次尝试外网连接，多次刷新后，也是OK的，说明这一版本不需要通过用户启动服务也可以，只是连接虚拟机的时候网络较差，所以，多刷新几次。

外网访问：

结论：这一版本不需要通过用户启动服务也可以，只是连接虚拟机的时候网络较差，所以，多刷新几次。

kibana的安装（安装需要Elasticsearch的支持，所以要先安装Elasticsearch）

　　我们直接根据官网来安装，采用rpm的方式，简单直接，https://www.elastic.co/guide/en/kibana/current/rpm.html

下载后，安装，启动，停止等

启动，直接输入网址192.168.135.129：5601不能访问，关闭防火墙也不行，需要设置/etc/kibana/kibana.yml。如下放开一些配置，修改一些配置

然后登陆外网，多刷新几次，本博主网络比较慢，输入网址http://192.168.135.129:5601

OK！

最后安装logstash

创建配置文件

内容格式如下主要有输入，过滤和输出三部分：

 input {

     stdin {}
 }

 filter {

     grok {

         patterns_dir => ["/home/keepgostudio/download/logstash-5.2.0/patterns"]

         match => {

             "message" => ["%{PARAMS_APACHELOG}", "%{NO_PARAMS_APACHELOG}"]

         }

         remove_field => ["host", "timestamp", "httpversion", "@version"]

     }

     kv {

         source => "params"

         field_split => "&?"

     }

     geoip {

         source => "ip"

         fields => ["country_name", "region_name", "city_name", "latitude", "longitude"]

         target => "location"
 }

 output {

     elasticsearch {

         hosts => ["192.168.135.129:9200"]

         index => "logstash-test-%{type}-%{host}"

     }

 }

运行

运行时采用的配置文件：input { stdin { } } output { stdout {} }

===========================================================分割线==========================================================================

用tar包的方式安装并进行总结

一、依赖jdk8,下载安装不多述

二、分别下载elasticsearch，logstash，kibana的相关tar包，直接复制地址wget 方式下载直接方便，没有wget命令则需要先yum -y install wget,比如（地址在网络资源的tar包上右键复制的链接）

　　wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.1.tar.gz

　　wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.1-linux-x86_64.tar.gz

　　wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.1.tar.gz

三、先安装elasticsearch,直接解压tar即可，其他两个一样，解压即可用，非常简单。

　　解压命令 tar -zxvf tar包名字

　　修改配置文件端口号和address

　　直接在解压包bin下root运行会报错，然后根据网上创建test的用户组，及test的用户，然后授权，在运行，又是各种报错，大概是内存不行什么的，参考网上的进行排错，

https://blog.csdn.net/liangzhao_jay/article/details/56840941

https://blog.csdn.net/seasion_pu/article/details/82262651

https://blog.csdn.net/feng12345zi/article/details/80367907

最终配置如下：

vi  /etc/security/limits.conf

/etc/sysctl.conf

然后执行sysctl -p

在用户下重启elasticsearch

最后运行成功

打开另一个终端验证

关闭防火墙，在外网验证，OK！

四、解压kibana后修改完配置的端口，address和elasticsearch地址后

直接运行 /bin/kibana即可

五、解压logstash

在bin目录下创建一个conf文件

示例的文件如下：

启动：./logstash -f logstash.conf后

加个总结，总体上来看比较容易，主要是elasticsearch配置有一些坑存在

坑所在就是：1.需要用非root的授权用户启动

　　　　　　2.内存相关的配置： vi  /etc/security/limits.conf还有就是/etc/sysctl.conf，配置好sysctl -p执行一下

　　　　　　3.kibana和logstash的tar包解压配置文件相应变动

　　　　　　4.rpm和tar两种方式相比个人感觉还是tar包安装更方便

==============================================================插件分割线================================================================================

想把插件补充上，head插件参考下面安装（本博主没安装成功，暂时不安了）

wget https://github.com/mobz/elasticsearch-head/archive/master.zip

解压 unzip,如果没有该命令安装一下 yum -y install unzip

解压：unzip maseter.zip

该插件的安装需要依赖node.js,所以先要安装node.js,可以参考：https://www.cnblogs.com/liuqi/p/6483317.html

wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xz

#  tar xvf node-v8.12.0-linux-x64.tar.xz

确认一下nodejs下bin目录是否有node 和npm文件，如果有执行软连接，如果没有重新下载执行上边步骤；