elk示例-精简版

作者：Danbo 2016-03-09

1.Grok正则捕获

input {stdin{}}
filter {
    grok {
        match => {
            "message" => "\s+(?<request_time>\d+(?:\.\d+)?)\s+"
        }
    }
}
output {stdout{ codec => rubydebug  }}

运行logstash输出结果如下：

[root@centos-linux logstash]# bin/logstash -f conf/grok.conf
Logstash startup completed
begin 123.456 end
{
         "message" => "begin 123.456 end",
        "@version" => "",
      "@timestamp" => "2016-03-09T12:30:58.976Z",
            "host" => "centos-linux.shared",
    "request_time" => "123.456"
}

不过这里request_time应该是数值而不是字符串。

grok表达式的打印复制格式的完整语法是下面这样的：

%{PATTERN_NAME:capture_name:data_type}

date_type 目前只支持两个值：int 和 float。

我们将配置修改成下面这样：

input {stdin{}}
filter {
    grok {
        match => {
            "message" => "%{WORD} %{NUMBER:request_time:float} %{WORD}"
        }
    }
}
output {stdout{ codec => rubydebug  }}

运行结果如下：

[root@centos-linux logstash]# bin/logstash -f conf/grok1.conf
Logstash startup completed
begin 123.456 end
{
         "message" => "begin 123.456 end",
        "@version" => "",
      "@timestamp" => "2016-03-09T12:46:29.913Z",
            "host" => "centos-linux.shared",
    "request_time" => 123.456

此时request_time 变成数值类型了。

实际运用中，我们需要处理各种各样的日志文件，如果都是在配置文件里各自写一行自己的表达式，就完全不可管理了。我们建议把所有的grok表达式统一写入到一个地方。然后用filter/grok的patterns_dir 选项来指明。

重点：如果你把"message"里所有的信息都grok到不同的字段了，数据数值上就相当于是重复复制存储了两份。所以你可以用remove_field 参数来删除掉message字段，或者用overwrite参数来重写默认的message字段，只保留最重要的部分。

重写参数示例：

input { stdin {} }
filter {
    grok {
        patterns_dir => "/path/to/your/own/patterns"
        match => {
            "message" => "%{SYSLOGBASE} %{DATA:message}"
        }
        overwrite => ["message"]
    }
}

2.多项选择

在和codec/multiline搭配使用的时候，需要注意一个问题，grok正则和普通正则一样，默认是不支持匹配回车换行的。就像你需要 =~ //m一样也需要单独指定，具体写法是在表达式开始位置加上(?m)标记。

具体如下所示：

match => {
    "message" => "(?m)\s+(?<reuqest_time>\d+(?:\.\d+)?)\s+"
}

有时我们会碰上一个日志有多种可能格式的情况。这时候要写成单一正则就比较困难，或者全用| 隔开比较丑陋。

实际上logstash/filters/grok插件的match参数应该接受的是一个Hash值。但是因为早期的logstash语法中Hash值也是用数组这种方式书写的，因此我们传递Array值给match参数也是可以的，我们这里是可以传递多个正则来匹配同一个字段：

match => [
    "message", "(?<request_time>\d(?:\.\d+)?)",
    "message", "%{SYSLOGBASE} %{DATA:message}",
    "message", "(?m)%{WORD}"
]

logstash会按照这个定义次序以此尝试匹配，到匹配成功为止。虽说效果跟用 | 大大的正则是一样的，但是阅读性提高了很多。

3.GeoIP地址查询归类

GeoIP是最常见的免费IP地址归类查询库。GeoIP库可以根据IP地址提供对应的地域信息，包括国别、省市、经纬度等，对于可视化地图和区域统计非常有用。

配置信息：

[root@centos-linux logstash]# cat conf/geoip.conf
input {stdin{}}
filter {
    geoip {
        source => "message"
}
}
output {stdout { codec => rubydebug }}

运行结果：

[root@centos-linux logstash]# bin/logstash -f conf/geoip.conf
Logstash startup completed
114.114.114.114
{
"message" => "114.114.114.114",
"@version" => "1",
"@timestamp" => "2016-03-09T13:57:36.182Z",
"host" => "centos-linux.shared",
"geoip" => {
"ip" => "114.114.114.114",
"country_code2" => "CN",
"country_code3" => "CHN",
"country_name" => "China",
"continent_code" => "AS",
"region_name" => "19",
"city_name" => "Chaoyang",
"latitude" => 41.5703,
"longitude" => 120.45859999999999,
"timezone" => "Asia/Harbin",
"real_region_name" => "Liaoning",
"location" => [
[0] 120.45859999999999,
[1] 41.5703
]
}
}

GeoIP库数据较多，如果你不需要这么多内容，可以通过fields选项指定自己所需要的。

注意geoip库内只存有公网上的IP信息，查询不到内网结果的，会直接返回null，

4.Key-Value切分

在很多情况下，日志内容本身都是一个类似于key-value的格式，但是格式具体的样式确实多样的。Logstash提供 filters/kv 插件，帮助处理不同样式的key-value日志，变成实际的LogStash::Event数据。

配置示例：

Nginx访问日志中的$request，通过这段配置，可以详细切分成method，url_path，verb，url_a，url_b

我们看kv { } 这个字段。

上例即表示，除了url_uid 和 url_cip 两个字段以外，其他url_* 都不保留。

5.数据修改（Mutate）

数据类型转化：(可以设置的转换类型包括：“integer”，“float”，“sting”)

filter {
    mutate {
        convert => ["request_time", "float"]
    }
}

注意：mutate除了转换简单的字符值，还支持对数组类型的字段进行转换，即将["1", "2"]转换成[1,2]。但不支持对哈希类型字段做类似处理。

字符串处理

-gsub

仅对字符串类型字段有效

input { stdin { } }

filter {
    mutate {
        gsub => ["message", "[\\?#]", "_"]
    }
}

output {
    stdout { codec => rubydebug }
}

运行结果如下:

fight?for?you
{
       "message" => "fight_for_you",
      "@version" => "",
    "@timestamp" => "2016-03-12T07:05:30.419Z",
          "host" => "cen

-split

input { stdin { } }

filter {
    mutate {
        split => ["message", "|"]
    }
}

output { stdout { codec => rubydebug } }

随意输入一串以 | 分隔的字符，比如“123|321|abc|??!”，可以看到如下输出：

||abc|??!
{
       "message" => [
        [] "",
        [] "",
        [] "abc",
        [] "??!"
    ],
      "@version" => "",
    "@timestamp" => "2016-03-12T07:10:26.352Z",
          "host" => "centos-linux.shared"
}

-join

仅对数组类型字段有效，我们在之前已经用split割切的基础再join回去。配置改成：

input { stdin { } }

filter {
    mutate {
        split => ["message", "|"]
    }
    mutate {
        join => ["message", ","]
    }
}

output { stdout { codec => rubydebug } }

filter区段之内，是顺序执行，我们看到最后的输出结果是：

||abc|??!
{
       "message" => "123,321,abc,??!",
      "@version" => "",
    "@timestamp" => "2016-03-12T07:18:32.835Z",
          "host" => "centos-linux.shared"
}

-merge

合并两个数组或者哈希字段。依然在之前的split基础上继续：

input { stdin { } }

filter {
    mutate {
        split => ["message", "|"]
    }
    mutate {
        merge => ["message", "message"]
    }
}

output { stdout { codec => rubydebug } }

当我们输入123|321|abc|??!*=123 之后我们会看到输出：

||abc|??!*=
{
       "message" => [
        [] "",
        [] "",
        [] "abc",
        [] "??!*=123",
        [] "",
        [] "",
        [] "abc",
        [] "??!*=123"
    ],
      "@version" => "",
    "@timestamp" => "2016-03-12T07:27:34.886Z",
          "host" => "centos-linux.shared"
}

如果src字段是字符串，会自动先转换成一个单元素的数组再合并

如果把上一示例中的来源字段改成“host”

运行结果如下所示：

||abc|??!
{
       "message" => [
        [] "",
        [] "",
        [] "abc",
        [] "??!",
        [] "centos-linux.shared"
    ],
      "@version" => "",
    "@timestamp" => "2016-03-12T07:32:16.231Z",
          "host" => "centos-linux.shared"
}

看到目的字段“message”确实多了一个元素，但是来源字段"host"本身也由字符串变成数组类型了。

字段处理

-rename

顾名思义重命名某个字段，如果目的字段已经存在，会被覆盖掉：

filter {
    mutate {
        rename => ["syslog_host", "host"]
    }
}

-update

更新某个字段的内容。如果字段不存在，不会新建。

-replace

作用和update类似，但是当字段不存在的时候，它会起到add_field 参数一样的，自动添加新的字段。

6.split拆分事件

我们上章通过multiline插件将多行数据合并进一个事件里，那么反过来，也可以把一行数据，拆分成多个事件。这就是split插件。

配置示例:

input { stdin { } }

filter {
    split {
        field => "message"
        terminator => "#"
    }
}

output { stdout { codec => rubydebug } }

输入fuck#you#man 运行结果如下所示：

fuck#you#man
{
       "message" => "fuck",
      "@version" => "",
    "@timestamp" => "2016-03-12T16:31:05.564Z",
          "host" => "centos-linux.shared"
}
{
       "message" => "you",
      "@version" => "",
    "@timestamp" => "2016-03-12T16:31:05.564Z",
          "host" => "centos-linux.shared"
}
{
       "message" => "man",
      "@version" => "",
    "@timestamp" => "2016-03-12T16:31:05.564Z",
          "host" => "centos-linux.shared"
}

重要提示

split插件中使用的是yield功能，其结果是split 出来的新事件，会直接结束其在filter阶段历程，也就是说写在split后面的其他filter插件都不起作用，进入output阶段。所以，一定要保证split配置写在全部filter配置的最后。

7.保存进Elasticsearch

Logstash可以试用不同的协议实现完成将数据写入Elasticsearch的工作。在不同时期，也有不同的插件实现方式。

P74

**************