利用Logstash plugins做更多的事情

1. 引言

之前一篇文章《Logstash 介绍及linux下部署》，我们实现了logstash的安装以及简单的控制台标准输入输出测试，那么logstash能不能做更多的事情呢？答案是肯定的，logstash就是为了处理日志数据而生的。一个最直接的应用是，我们从事web开发，将应用放到apache中，apache会生成大量的访问日志，那么如何实现对大量访问日志的搜集、处理、分析呢？logstash里面各种优秀的插件可以帮我们做这些事情。

2. logstash插件管理

在logstash的目录下，通过命令：

bin/logstash-plugin -h

我们可以看到logstash plugin管理的命令帮助

Usage:

    bin/logstash-plugin [OPTIONS] SUBCOMMAND [ARG] ...

Parameters:

    SUBCOMMAND                    subcommand

    [ARG] ...                     subcommand arguments

Subcommands:

    list                          List all installed Logstash plugins

    install                       Install a Logstash plugin

    remove                        Remove a Logstash plugin

    update                        Update a plugin

    pack                          Package currently installed plugins, Deprecated: Please use prepare-offline-pack instead

    unpack                        Unpack packaged plugins, Deprecated: Please use prepare-offline-pack instead

    generate                      Create the foundation for a new plugin

    uninstall                     Uninstall a plugin. Deprecated: Please use remove instead

    prepare-offline-pack          Create an archive of specified plugins to use for offline installation

Options:

    -h, --help                    print help

比较常用的有：

bin/logstash-plugin list                    #查看已安装插件列表

bin/logstash-plugin install plugin_name     #安装插件

bin/logstash-plugin update plugin_name      #卸载插件

bin/logstash-plugin uninstall plugin_name   #卸载插件

我们通过list命令查看插件列表时候，无非下列三种类型的插件：

logstash-codec-*    #编码解码插件

logstash-filter-*   #数据处理插件

logstash-input-*    #输入插件

logstash-output-*   #输出插件

3. 利用logstash-filter-grok完成Apache访问日志处理

logstash 给我们提供了很多插件，上一篇文章中也提到了Grok 目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化 ，那么我们今天就用Grok来处理apache的访问日志。

为了说明该插件的作用，一切从简，我们只是从标准输入输入一条Apache的访问日志，然后通过grok插件处理，然后输出到控制台。

3.1 新建配置文件apache.conf

input {

    stdin {}

}

filter {

    grok {

        match => { "message" => "%{COMBINEDAPACHELOG}"}

    }

}

output {

    stdout{codec=>rubydebug}

}

3.2 启动logstash

bin/logstash -f tomcat.conf

3.3 测试数据

测试数据为：

83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-search.png HTTP/1.1" 200 203023 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"

等待logstash启动完成后，我们输入测试数据到控制台中，看到logstash的输出如下：

{

        "request" => "/presentations/logstash-monitorama-2013/images/kibana-search.png",

          "agent" => "\"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36\"",

           "auth" => "-",

          "ident" => "-",

           "verb" => "GET",

        "message" => "Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36\"83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] \"GET /presentations/logstash-monitorama-2013/images/kibana-search.png HTTP/1.1\" 200 203023 \"http://semicomplete.com/presentations/logstash-monitorama-2013/\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36\"",

       "referrer" => "\"http://semicomplete.com/presentations/logstash-monitorama-2013/\"",

     "@timestamp" => 2017-09-15T08:17:55.133Z,

       "response" => "200",

          "bytes" => "203023",

       "clientip" => "83.149.9.216",

       "@version" => "1",

           "host" => "yangyue",

    "httpversion" => "1.1",

      "timestamp" => "04/Jan/2015:05:13:42 +0000"

}

截图如下：

从处理结果我们可以看到，referrer、时间、请求ip、相应状态码等都被切割出来了，这非常方便我们之后使用ElasticSearch进行搜索。当然，logstash还有很多其他优秀的插件，大家可以多试试。比如从kafka中接收输入，数据定向到ElasticSearch或kafka中等，这些插件可以帮助我们省去很多麻烦，我们后面再聊。