ELK-logstash基本用法

一：logstash介绍

Logstash在elk系统中为数据存储，报表查询和日志解析创建了一个功能强大的管道链。Logstash提供了多种多样的 input,filters,codecs和output组件，logstash由以下三部分组成

 

input数据输入端，可以接收来自任何地方的源数据

1：file：从文件中读取

2：syslog：监听在514端口的系统日志信息，并解析成RFC3164格式

3：redis：从redis-server list 中获取

4：beat：接收来自Filebeat的事件

 

filter数据中转层，主要进行格式处理，数据类型转换、数据过滤、字段添加，修改等，主要用做过滤

1：grok: 通过正则解析和结构化任何文本。Grok 目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式，满足大部分需求。

2：mutate: 在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段。

3：drop: 完全丢弃事件，如debug事件。

4：clone: 复制事件，可能添加或者删除字段。

5：geoip: 添加有关IP地址地理位置信息。

 

output是logstash工作的最后一个阶段，负责将数据输出到指定位置，兼容大多数应用

1：elasticsearch: 发送事件数据到 Elasticsearch，便于查询，分析，绘图。

2：file: 将事件数据写入到磁盘文件上。

3：mongodb:将事件数据发送至高性能NoSQL mongodb，便于永久存储，查询，分析，大数据分片。

4：redis:将数据发送至redis-server，常用于中间层暂时缓存。

5：graphite: 发送事件数据到graphite

6：statsd: 发送事件数据到 statsd。

 

二：logstash启动方式

logstash分别由-e和-f两种启动方式

-e：用来快速测试不用修改配置文件，一般用来调试！

-f ：指定配置文件启动，需要把基本配置写入文件中启动，这里比较内容比较复杂，涉及到如何采集、过滤以及输出

 

1：下面进行-e启动方式演示

[root@localhost ~]# logstash -e  "input {stdin {} } output {stdout {}  }"

hell ghs     //输入字符信息

 

Sending Logstash's logs to /usr/local/elk/logstash/logs which is now configured via log4j2.properties

The stdin plugin is now waiting for input:

[2017-11-24T19:15:06,655][INFO ][logstash.agent           ] Pipelines running {:count=>1, :pipelines=>["main"]}

2017-11-24T11:15:06.704Z localhost.localdomain hell ghs     //这里显示的上面输入的字符串

 

##stdin {} ：表示标准输入，stdout {} ：表示标准输出

 

2：-f 配置文件启动方式

编辑一个配置文件，指定输入输出

[root@localhost ~]# vim ceshi.conf

input {

   stdin {}

 }

output{

    stdout {

        codec => rubydebug {}

}

}

 

## codec

 

执行配置文件

[root@localhost ~]# logstash -f test.conf

hell ghs          //输入字符串

{

      "@version" => "1",

          "host" => "localhost.localdomain",

    "@timestamp" => 2017-11-24T12:16:43.086Z,

       "message" => "hell ghs"

}

 

 

1：编写一个过滤系统日志的配置文件

[root@localhost ~]# vim messages.conf

input {

     file{

        path => "/var/log/messages"

        type => "syslog"

      }

 }

output {

    stdout { codec => rubydebug }

}

##path指定的是过滤日志的文件路径，type指定类型，自定义，主要做区分！

 

2：执行文件，显示过滤的日志结果

[root@localhost ~]# logstash -f messages.conf

{

      "@version" => "1",

          "host" => "localhost.localdomain",

          "path" => "/var/log/messages",

    "@timestamp" => 2017-11-24T11:01:02.189Z,

       "message" => "Nov 24 19:01:01 localhost systemd: Starting Session 11 of user root.",

          "type" => "syslog"

}

 

三：输出到elasticsearch，在kibana形成WEB图形方式

1：编写一个配置文件，让日志输出到elasticsearch通过kibana生成WEB图形！

[root@localhost ~]# vim  test.conf    ##配置文件名字自定义

input {

 file {

       path => "/var/log/messages"     //定义日志文件路径

       type => "test"                             //定义日志类型

       stat_interval => 1

       start_position => "beginning"

}

}

 

output{

     elasticsearch {

        hosts => ["192.168.1.200:9200"]       //定义需要输出到elasticsearch的ip和端口

        index => "test-%{+YYYY.MM.dd}"    //定义索引的名字，名字为test

}

}

 

2：执行配置文件

[root@localhost ~]# logstash -f test.conf -d

执行之后，在kibana的WEB页面Index pattern添加索引的名称，就可以Discover会形成以下日志输出的信息