Grok(正则捕获)、Dissect(切分):

grok使用正则匹配来提取非结构化日志数并据解析为结构化和可查询的内容。

dissect使用多种定界符(非数字和字母的符号,split只能一次只能使用一种定界符)来提取非结构化日志数据。

dissect与grok的不同之处在于它不使用正则表达式并且速度更快。当数据可靠地重复时,解析很有效。当文本结构因行而异时,grok是更好的选择。当线路的一部分可靠重复时,您可以同时使用dissect和grok作为混合用例。dissect过滤可以解构重复行的部分。grok过滤可以处理剩余的字段值,具有更多的正则表达式可预测。

自定义格式:

(?<field_name>the pattern here)

示例:

[root@node2006 logstash]# bin/logstash -e 'input{stdin{}}filter{grok{match => {"message" => "(?<request_time>\d+\.\d+)" }}}output{stdout{codec=>rubydebug}}'     #匹配带有小数点的数字,这里得到的字段值是字符串类型。logstash中只有三种类型,string,integer,float。如果不指定类型,默认string
123.456
...
{
"message" => "123.456",
"host" => "node2006",
"request_time" => "123.456",
"@version" => "1",
"@timestamp" => 2019-01-25T06:43:37.948Z
}

上面的示例是匹配一个字段。如果为了匹配一行web日志,将全部写在一行,而且一行过多时就显的乱了。

还好官方提供了大量的已经写好的正则规则,只需要调用即可。官方调试地址:http://grokdebug.herokuapp.com/

如果需要自己配置相应的正则规则时,建议把所有的grok表达式统一写入到patterns目录下某个有意义名称的文件里,并在grok中使用patterns_dir参数调用即可。这样就可管理了。

标准格式:

%{SYNTAX:SEMANTIC}

SYNTAX是与您的文本匹配的模式名称,正则表达式也在patterns目录下某个文件里的简称

SEMANTIC是您为匹配的文本提供的标识符,也就是获取跟据SYNTAX获取到的数据的key,获取到的数据就是value

```
[root@node2006 logstash]# head -n 3 ./vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns #logstash自带的正则表达式就都存放在此文件里,USERNAME就是SYNTAX,[a-zA-Z0-9._-]+就是正则表达式
USERNAME [a-zA-Z0-9._-]+
USER %{USERNAME}
EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+
[root@node2006 logstash]#
```

示例:

[root@node2006 logstash]# cat text.conf
input {
stdin {
}
} filter {
grok {
match => {
"message" => "\[%{TIMESTAMP_ISO8601:time}\]\|%{IP:remote_addr}\|%{WORD:request_method} %{URIPATHPARAM:request_uri} HTTP/%{NUMBER:httpversion}\|%{NUMBER:status}"
}
}
}
output {
stdout{
codec => rubydebug
}
} [root@node2006 logstash]# bin/logstash -f text.conf #执行配置文件,并提供数据,根据配置文件中配置的解析数据。
[2018-12-12T10:11:38+08:00]|218.94.48.186|POST /siteapp/users/findUserInfoById HTTP/1.1|200
...
{
"host" => "node2006",
"httpversion" => "1.1",
"time" => "2018-12-12T10:11:38+08:00",
"@version" => "1",
"@timestamp" => 2019-01-26T06:25:35.801Z,
"request_uri" => "/siteapp/users/findUserInfoById",
"remote_addr" => "218.94.48.186",
"request_method" => "POST",
"status" => "200",
"message" => "[2018-12-12T10:11:38+08:00]|218.94.48.186|POST /siteapp/users/findUserInfoById HTTP/1.1|200"
}

上述解析出来的数据,"message"明显是重复的数据耗费存储,且如"status"等数据类型应该是数字,方便科学计算。

使用dissect插件实现与grok同样效果:

[root@node2006 logstash]# cat text.conf
input {
stdin {}
}
filter {
dissect {
mapping => {
"message" => "[%{time}]|%{remote_addr}|%{verb} %{request} HTTP/%{httpversion}|%{status}"
}
}
}
output {
stdout{
codec => rubydebug
}
} [root@node2006 logstash]# bin/logstash -f text.conf
Sending Logstash logs to /usr/local/pkg/logstash/logs which is now configured via log4j2.properties
{
"remote_addr" => "218.94.48.186",
"status" => "200",
"request" => "/siteapp/users/findUserInfoById",
"@timestamp" => 2019-01-26T07:40:31.354Z,
"time" => "2018-12-12T10:11:38+08:00",
"httpversion" => "1.1",
"@version" => "1",
"verb" => "POST",
"message" => "[2018-12-12T10:11:38+08:00]|218.94.48.186|POST /siteapp/users/findUserInfoById HTTP/1.1|200",
"host" => "node2006"
}

常用配置选项:

参数 输入类型 默认值 解释
keep_on_match boole false 如果为true,将空捕获保留为事件字段
match hash {} 定义映射位置
overwrite array [] 覆盖已存在的字段中的值,目的是保留最重要的字段
patterns_dir array [] Logstash默认带有一堆模式,当这些模式不适合你时,您自己增加正则匹配时,就可将正则写在此参数的目录下的所有文件
patterns_files_glob string * 选择patterns_dir指定的目录中的某个模式文件
tag_on_failure array ["_grokparsefailure"] 没有成功匹配时,将些值附加到字段

下面提供一个对nginx日志的完整配置示例:

[root@node2006 logstash]# cat text.conf
input {
file {
path => "/tmp/text.log"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
grok {
match => {
patterns_dir => ["/usr/local/pkg/logstash/patterns"]
"message" => "%{STANDARDNGINXLOG}"
}
remove_field => ["message"]
}
mutate {
convert => {
"httpversion" => "float"
"response" => "integer"
"bytes" => "integer"
}
}
}
output {
stdout{
codec => rubydebug
}
} [root@node2006 logstash]# cat patterns/nginx #查看统一管理的正则匹配
STANDARDNGINXLOG %{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-)
[root@node2006 logstash]# [root@node2006 logstash]# cat /tmp/text.log #这里存放了一条nginx标准日志
192.168.2.55 - - [24/Jan/2019:12:25:04 -0500] "GET / HTTP/1.1" 200 985 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36" "-"
[root@node2006 logstash]# [root@node2006 logstash]# bin/logstash -f text.conf #可以看到相应的几个字段类型已经修改成功,且将不需要message字段删除了。
{
"auth" => "-",
"bytes" => 985,
"host" => "node2006",
"response" => 200,
"request" => "/",
"timestamp" => "24/Jan/2019:12:25:04 -0500",
"httpversion" => 1.1,
"clientip" => "192.168.2.55",
"@timestamp" => 2019-01-26T12:29:42.429Z,
"ident" => "-",
"@version" => "1",
"verb" => "GET",
"path" => "/tmp/text.log"
}

filter-grok,dissect匹配数据的更多相关文章

  1. logstash filter grok 用法

    在elk+filebeat都安装好,且明白了基本流程后,主要的就是写logstash的filter了,以此来解析特定格式的日志 logstash的filter是用插件实现的,grok是其中一个,用来解 ...

  2. 使用Logstash filter grok过滤日志文件

    Logstash提供了一系列filter过滤plugin来处理收集到的log event,根据log event的特征去切分所需要的字段,方便kibana做visualize和dashboard的da ...

  3. ELK basic---http://udn.yyuap.com/doc/logstash-best-practice-cn/filter/grok.html

    http://blog.csdn.net/lgnlgn/article/details/8053626 elasticsearch学习入门 input {stdin{}}filter { grok { ...

  4. logstash grok 分割匹配日志

    使用logstash的时候,为了更细致的切割日志,会写一些正则表达式. 使用方法 input { file { type => "billin" path => &qu ...

  5. logstash的grok正则匹配规则文件

    文件路径:logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.1.0/patterns/grok-patterns 在线调试g ...

  6. C#简单爬取数据(.NET使用HTML解析器ESoup和正则两种方式匹配数据)

    一.获取数据 想弄一个数据库,由于需要一些人名,所以就去百度一下,然后发现了360图书馆中有很多人名 然后就像去复制一下,发现复制不了,需要登陆 此时f12查看源码是可以复制的,不过就算可以复制想要插 ...

  7. Servlet和Filter的url匹配以及url-pattern详解 及 filter 循环问题的解决

    Servlet和filter是J2EE开发中常用的技术,使用方便,配置简单,老少皆宜.估计大多数朋友都是直接配置用,也没有关心过具体的细节,今天遇到一个问题,上网查了servlet的规范才发现,ser ...

  8. models语言中filter和all取数据有什么区别

    转自:http://www.bubuko.com/infodetail-1882394.html rs=Person.objects.all() all返回的是QuerySet对象,程序并没有真的在数 ...

  9. dubbox ExceptionMapper Filter request response 数据获取 数据传递

    dubbx虽然是基于jboss的resteasy实现restfull,但是对resteasy原生的配置却不支持(可能是考虑到dubbo本事的设计模式及实现难度,但是和大部分framework的设计风格 ...

随机推荐

  1. 牛客NOIP暑期七天营-提高组1

    牛客NOIP暑期七天营-提高组1 链接 A 边权可为0就排序建一条链子. 但是边权不为0 除了第一个有0的不行. x连向上一个比他小的数. 期间判断有无解. #include <bits/std ...

  2. 使用PostMan进行压力/性能测试

    1. 2. 3. 4.查看结果/导出结果

  3. bfc与浮动元素的关系

    首先说明两个特性: 1,浮动元素兄弟元素的布局规则 当html中存在浮动元素时,其兄弟元素的布局遵循如下规则: (1)块级元素的渲染无视浮动元素 (2)文本内容或者是行内元素的渲染会考虑到浮动元素的存 ...

  4. html声明charset="utf-8"后,浏览器访问中文依旧乱码(绝对有效)

        1.情景展示 html文件已经声明字符集为UTF-8,但是浏览器访问依旧乱码. 标题和页面内容都是乱码,这是怎么回事? 2.原因分析  charset="UTF-8"是让浏 ...

  5. Java通过poi创建Excel文件并分页追加数据

    以下的main函数,先生成一个excel文件,并设置sheet的名称,设置excel头:而后,以分页的方式,向文件中追加数据 maven依赖 <dependency> <groupI ...

  6. SpringMvc通过controller上传文件代码示例

    上传文件这个功能用的比较多,不难,但是每次写都很别扭.记录在此,以备以后copy用. package com.**.**.**.web.api; import io.swagger.annotatio ...

  7. bolt继承关系和区别

    先上个图:  具体区别: IRichBolt/IBasicBolt 区别IRichBolt和IBasicBolt IRichBolt继承自IBolt和IComponent.IBasicBolt继承自I ...

  8. 【转帖】 PM RD QA OP

    From 百度知道 一.PM: Product Manager,产品经理,又称品牌经理(Brand Manager).举凡产品从创意到上市,所有相关的研发.调研.生产.编预算.广告.促销活动等等,都由 ...

  9. Unary模式下客户端创建 default-executor 和 resolver-executor 线程和从启动到执行grpc_connector_connect的主要流程

    (原创)C/C/1.25.0-dev grpc-c/8.0.0, 使用的例子是自带的例子GreeterClient 创建 default-executor 和 resolver-executor 线程 ...

  10. setInterval的使用

    可以通过设置标识,判断方法是否执行完 var interval = setInterval(function () { if( flag > 0 ){ clearInterval(interva ...