Logstash学习系列之插件介绍

Logstash插件获取方式

插件获取地址：
https://github.com/logstash-plugins 

在线安装:
/plugin install  logstash-input-jdbc

升级插件：
/plugin update logstash-input-jdbc

卸载插件：
/plugin uninstall  logstash-input-jdbc

淘宝源地址： https://ruby.taobao.org

Logstash插件分类

• inputs 输入
• codecs 解码
• filters 过滤
• outputs 输出

Logstash_input插件

stdin标准输入

可用参数

参数               Input Type                Required        Default Value
add_field            hash                      No                 {}
codec                codec                     NO                 "line"
tags                 array                     NO
type                 string                    NO

file文件输入

可用参数

input {
    file {
        #file插件的参数
        codec=>...                        #可选项                codec,         默认是plain,可通过这个参数设置编码方式
        discover_interval=>...            #可选项                number,        logstash没隔多久去检查一次被监听的path下是否有新文件,默认值是15秒
        exclude=>...                      #可选项                array,         不想被监听的文件可以排除出去,这里跟path一样支持glob展开
        sincedb_path=>...                 #可选项                string,        如果你不想用默认的$HOME/.sincedb,可以通过这个配置定义sincedb文件到其他位置
        stat_interval...                  #可选项                number,        logstash没隔多久检查一次被监听文件状态(是否有更新),默认是1秒
        start_position...                 #可选项                string,        logstash从什么位置开始读取文件数据,默认是结束位置,也就是说logstash进程会以类似tial -f的形式运行.如果你是要导入一个完整的文件,把这个设定可以改成"beginning",logstash进程就会从文件开头读取,有点类似cat
        path=>...                         #必选项                array,         处理的文件的路径,可以定义多个路径
        tags=>...                         #可选项                array,         在数据处理的过程中,由具体的插件来添加或者删除的标记
        type=>...                         #可选项                string,        自定义将要处理事件类型,可以自己随便定义,比如处理的是linux的系统日志,可以定义为"syslog"
    }
}

实例1:过滤nginx的访问日志和错误日志

配置文件

[root@ELK-STACK logstash-1.5.5]# cat conf/test1.conf
input {
    file {
        path => ["/var/log/nginx/access.log"]
        type => "accesslog"
        start_position => "beginning"
        }
    file {
        path => ["/var/log/nginx/error.log"]
        type => "errorlog"
        start_position => "beginning"
        }
    }
output {
    stdout{}
    }

测试

[root@ELK-STACK logstash-1.5.5]# ./bin/logstash -f conf/test1.conf
Logstash startup completed
2017-02-23T08:00:25.757Z 0.0.0.0 2017/02/23 12:14:01 [error] 2145#0: *47 open() "/usr/share/nginx/html/zabbix" failed (2: No such file or directory), client: 172.16.2.64, server: _, request: "GET /zabbix HTTP/1.1", host: "172.16.1.225"
2017-02-23T08:00:25.757Z 0.0.0.0 172.16.2.64 - - [23/Feb/2017:12:14:01 +0800] "GET /zabbix HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" "-"
2017-02-23T08:01:09.785Z 0.0.0.0 172.16.2.64 - - [23/Feb/2017:16:01:09 +0800] "GET / HTTP/1.1" 200 3700 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12) AppleWebKit/602.1.50 (KHTML, like Gecko) Version/10.0 Safari/602.1.50" "-"

TCP/UDP输入

TCP

语法格式

input {
    tcp {
        #tcp插件的参数                           类型            默认值
        add_field=>...            #可选项        hash           {}
        codec=>...                #可选项                       plain
        data_timeout=>...        #可选项         Number         1
        host=>...                #可选项                        0.0.0.0
        mode=>...                #可选项                       值是["server","client"]其中之一,默认是server
        port=>...                #必填项         number        端口号,需要和另一端匹配
        ssl_cacert=>...            #可选项
        ssl_cert=>...            #可选项
        ssl_enable...            #可选项
        ssk_key=>...            #可选项
        ssl_key_passphrase=>...    #可选项
        ssl_verify...            #可选项
        tags=>...                #可选项         array
        type=>...                #可选项         string
    }
}

UDP

语法格式

input {
    udp {
        #可用参数  
                                                                 #默认值
        add_field=>...            #hash类型            #可选项      默认{}
        host=>...                #string类型           #可选项      默认0.0.0.0
        port=>...                #number类型           #必填项      端口号,需要和另一端匹配
        tags=>...                #array类型            #必填项
        type=>...                #string类型           #可选项
        workers=>...            #number类型            #默认2
    }
}

Logstash_codec插件

介绍: codec:编码,解码(json,msgpack,edn)

放置位置: input{}和output()字段里的任何插件里(比如说input里file插件里 input{file{codec=>json}})

codec插件之plain

介绍:plain是一个空的解析器，它可以让用户自己指定格式

codec之json

介绍

• 如果输入到logstash的内容是json格式,可以在input字段加入codec=>json来进行解析
• 如果想让logstash输出为json格式,可以在output字段加入codec=>json

语法格式: codec=> json

实例1:输出json化

配置文件

[root@ELK-STACK logstash-1.5.5]# cat conf/json.conf
input {
    stdin {
        }
    }
output {
    stdout {
        codec => json
        }
    }

测试

[root@ELK-STACK logstash-1.5.5]# ./bin/logstash -f conf/json.conf
Logstash startup completed             #等待logstash启动成功
hello.world                            #输入一个字符串的hello.world
{"message":"hello.world","@version":"1","@timestamp":"2017-02-24T09:01:11.425Z","host":"0.0.0.0"}  #可以看到输入是以json化的格式输出的

codec之json_lines

介绍: 如果你的json文件比较长,需要换行的话,那么久得用到json_lines了

codec之rubydebug

介绍: rubydebug将采用Ruby Awsome Print库来解析日志

实例1:通过rubydebug输出键值对

配置文件

 cat conf/rubydebug.conf
input {
    stdin {
        codec => json       #输入为json格式,所以用codec=>json来解析
        }

    }

output {
    stdout {
        codec =>rubydebug  #让输出的格式为rubydebug模式,就是把键值对输出
        }
    }

测试

[root@ELK-STACK logstash-1.5.5]# ./bin/logstash -f conf/rubydebug.conf
Logstash startup completed
{"bookname":"elk stack"}             #这是输入的键值对
{
      "bookname" => "elk stack",    #这是以rubydebug的模式输出键值对
      "@version" => "1",            #这是以rubydebug的模式输出键值对
    "@timestamp" => "2017-02-24T09:29:50.777Z",
          "host" => "0.0.0.0"
}
{"bookname":"elk stack","price":29}           #这是输入的键值对
{
      "bookname" => "elk stack",               #这是以rubydebug的模式输出键值对
         "price" => 29,                        #这是以rubydebug的模式输出键值对
      "@version" => "1",
    "@timestamp" => "2017-02-24T09:31:08.224Z",
          "host" => "0.0.0.0"
}

codec之multiline

介绍: 有些时候，应用程序调试日志会包含非常丰富的内容，为一个事件打印出很多行内容。这种日志通常都很难通过命令行解析的方式做分析;而 logstash 正为此准备好了 codec/multiline 插件

语法格式

input {
    stdin {
        codec =>multiline {
            charset=>...          #可选                      字符编码
            max_bytes=>...        #可选     bytes类型            设置最大的字节数
            max_lines=>...        #可选     number类型           设置最大的行数,默认是500行
            multiline_tag...      #可选     string类型           设置一个事件标签,默认是multiline
            pattern=>...          #必选     string类型           设置匹配的正则表达式
            patterns_dir=>...     #可选     array类型           可以设置多个正则表达式
            negate=>...           #可选     boolean类型         设置true是向前匹配,设置false向后匹配,默认是FALSE
            what=>...             #必选                        设置未匹配的内容是向前合并还是先后合并,previous,next两个值选择
        }
    }

}

Logstash_filter插件

json filter

介绍:如果数据格式是json,那么可以通过它把数据解析成你想要的数据结构

语法格式

filter {
    json {
        add_field=>...            #可选项         #hash          添加属性,默认{}
        add_tag=>...              #可选项         #array          添加标识,默认{}
        remove_field=>...         #可选项         #array         删除属性,默认{}
        remove_tag=>...            #可选项         #array         删除标识,默认{}
        source=>...                #必选项         #string       指定来源数据
        target=>...                #可选项         #string        定义将要解析的目标字段
    }
}

实例1:解析json数据

配置文件

vim conf/filter_json.conf
 input {
     stdin {
         }
     }
 filter {
     json {
         source => "message"
         target => "content"
         }
     }
 output {
         stdout {
             codec=>rubydebug
             }
     }

测试

[root@ELK-STACK logstash-1.5.5]# ./bin/logstash -f conf/filter_json.conf
Logstash startup completed
{"name":"zhai","age":12}       #输入被解析的值
{
       "message" => "{\"name\":\"zhai\",\"age\":12}",
      "@version" => "1",
    "@timestamp" => "2017-02-27T08:31:13.193Z",
          "host" => "0.0.0.0",
       "content" => {
        "name" => "zhai",   #这里就是json字段里的name
         "age" => 12        #这里就是json字段里的age
    }
}

grok filter

介绍

• grok是目前logstash里最好的一种解析各种非结构化的日志数据的工具
• grok可以过滤日志中你想要的字段
• 官方patterns地址:https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
• 测试grok匹配规则的网址:grokdebug.herokuapp.com

可用参数

filter {
    grok {
        match=>...        #可选项        写匹配规则
    }
}

kv filter

介绍: 通过指定一个分隔符,截取key,value

Logstash_output插件

介绍: logstash output就是如何让数据经过logstash的解析和处理后,把结果输出

输出到file

可用参数

path => "/root/access_result"                 #结果输出到文件里
path => "/root/%{+YYYY.MM.dd}-%{host}-access" #结果输出到文件里,以时间命名文件
message_format => "%{ip}"                      #只输出filter过滤出来的指定字段

输出到elasticsearch

• elasticsearch就是数据库
• 把logstash解析过滤的结果输出到elasticsearch里

实例1:输出到elasticsearch

output {
    elasticsearch {
        host => "172.16.1.225"             #elasticsearch的地址,或者cluster=>"ClusterName"
        protocol =>"http"
        index=>"test_output-%{type}-%{+YYYY.MM.dd}"    #在elasticsearch里创建索引,索引名称设置,type就是document_type的值,test_output-nginx-2017-02-28
        document_type=>"nginx"
        worker=>5
    }
}