nginx 之 grok 过滤

简介

  前面我们的nginx日志编码使用的json，logstash直接输入预定义好的 JSON 数据，这样就可以省略掉 filter/grok 配置,但是在我们的生产环境中，日志格式往往使用的是普通的格式，因此就不得不使用logstash的filter/grok进行过滤，下面我们就来讲下如何配置。

配置

1.nginx日志格式 
为了帮助我们有效的理解grok的正则表达式，因此在这我们将日志格式定义的复杂一些，基本是各个使用的字段都涉及到了，google上好多都是套用的默认格式，我费好大劲才弄明白。

log_format main '$time_local - $upstream_addr $server_addr:$server_port '
                '$request_method $uri $args '
                '- $remote_addr $server_protocol [$http_user_agent] [$http_cookie] $http_referer '
                '$host $status 0 0 $bytes_sent $request_length 0'
                '"$upstream_cache_status" $request_time $upstream_response_time';

• 1
• 2
• 3
• 4
• 5

对应的日志如下：

08/Jan/2016:08:27:43 +0800 - 10.10.6.212:8088 10.10.6.110:80 GET /vvv/test/stat/index proptype=11&level=2&srtype=2&city=dz&region=XJ&begindate=2016-01-08&enddate=2016-01-08&apiKey=c2c959b203d669a9a21861379cb4523c&test=2 - 10.10.6.10 HTTP/1.1 [Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.99 Safari/537.36] [JSESSIONID=kq3v6xi2b74j1a9yxvfvcq131] http://10.10.6.110/test www.test.com 200 0 0 485 209 0"-" 1.642 1.642

• 1

2.编写正则表达式 
logstash中默认存在一部分正则表达式来让我们套用，在如下的文件中我们可以看到：

ls /usr/local/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.2/patterns
aws  bacula  bro  exim  firewalls  grok-patterns  haproxy  java  junos  linux-syslog  mcollective  mcollective-patterns  mongodb  nagios  postgresql  rails  redis  ruby

• 1
• 2
• 3

其中最基本的定义是在grok-patterns中，但是某些正则不适合我们的nginx字段，此时就需要我们来自定义,然后grok通过patterns_dir来调用即可。 
另外，我们可以通过http://grokconstructor.appspot.com/do/match或http://grokdebug.herokuapp.com/这两个站点来查看我们的正则是否正确。（ps:个人觉得第一个好用）

下面我们来通过分解日志中的各个字段来一一对应下正则：

nginx日志字段定义	nginx访问字段	正则表达式
$time_local	08/Jan/2016:08:27:43 +0800	%{HTTPDATE:timestamp}
-	-	-
$upstream_addr	10.10.6.212:8088	%{HOSTPORT:upstream}
serveraddr:server_port	10.10.6.110:80	%{HOSTPORT:request_server}
$request_method	GET	%{WORD:request_method}
$uri	/vvv/test/stat/index	%{URIPATH:uri}
$args	proptype=11&level=2&srtype=2&city=dz&region=XJ&begindate=2016-01-08&enddate=2016-01-08&apiKey=c2c959b203d669a9a21861379cb4523c&test=2	%{URIPARAM1:args}
-	-	-
$remote_addr	10.10.6.10	%{IP:clientip}
$server_protocol	HTTP/1.1	HTTP/%{NUMBER:httpversion}
[$http_user_agent]	[Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.99 Safari/537.36]	\ [%{GREEDYDATA:agent}\ ]
[$http_cookie]	[JSESSIONID=kq3v6xi2b74j1a9yxvfvcq131]	\ [%{GREEDYDATA:cookie}\ ]
$http_referer	http://10.10.6.110/test	(?:%{URI:referrer}|-)
$host	www.test.com	%{HOSTNAME:domain}
$status	200	%{NUMBER:status:int}
0	0	0
0	0	0
$bytes_sent	485	%{NUMBER:body_sent:int}
$request_length	209	%{NUMBER:request_length:int}
0”$upstream_cache_status”	0”-“	0\”-\”
$request_time	1.642	%{NUMBER:request_time:float}
$upstream_response_time	1.642	%{NUMBER:response_time:float}

ok，我们nginx日志的所有字段都已经定义完毕，我们可以到http://grokconstructor.appspot.com/do/match看下是否有问题： 

注意要点： 
(1)上图中URIPARAM1 [A-Za-z0-9$.+!‘|(){},~@#%&/=:;_?-[]]是我们自定义的个一个正则，由%{URIPARAM1:args}调用， 
它和默认正则库/usr/local/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.2/patterns/grok-patterns中的URIPARAM \?[A-Za-z0-9$.+!‘|(){},~@#%&/=:;_?-[]<>]是不一样的，可以看到默认的URIPARAM是以？开头，我们自定义的URIPARAM1而不是，也可通过https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns查看(这个规则是更新的，可能由于版本的问题和你使用的不一样)，正是由于这点差别导致我们在使用默认正则会出现“Longest prefix that matches”的提示，“after matche”会显示日志中未匹配的剩余内容，如下图：
 
也就是说我们的匹配是异常的，一旦有这样的提示，就说明我们的正则有问题。

(2)httpuseragent字段和http_cookie字段使用http://grokdebug.herokuapp.com/patterns#中“nginx-access”生成的规则“%{QS:agent}”以及类似“%{QS:cookie}”也会出现“Longest prefix that matches”提示，因此这两个正则是不正确的，我就使用了%{GREEDYDATA:agent}和%{GREEDYDATA:cookie}，在/usr/local/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.2/patterns/grok-patterns或https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns我们可以查到“GREEDYDATA .*”，匹配的所有字符，注意和“QS %{QUOTEDSTRING}”的区别。 
(3)?:%{URI:referrer}|-)正则表示如果$referer字段为空，则用-表示，若不为空则显示referer的内容，经测试如果直接设置成%{URI:referrer}，过滤时当referer为空时，导致grokfailure，因此需要注意此字段的正则表达式。

某些字段为“-”，可能导致grokfailure，此时我们可以通过(?:%{XX:XX}|-)的方式进行匹配，即为空时显示“-”。

(4)可能你想知道所有的正则是如何定义的，我们可以查看https://github.com/kkos/oniguruma/blob/master/doc/RE 
3.logstash调用 
(1)在logstash中定义正则目录并定义规则

mkdir -p /usr/local/logstash/patterns
vim /usr/local/logstash/patterns/nginx
URIPARAM1 [A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?\-\[\]]*
NGINXACCESS %{HTTPDATE:timestamp} - %{HOSTPORT:upstream} %{HOSTPORT:request_server} %{WORD:request_method} %{URIPATH:uri} %{URIPARAM1:args} - %{IP:clientip} HTTP/%{NUMBER:httpversion} \[%{GREEDYDATA:agent}\] \[%{GREEDYDATA:cookie}\] %{URI:referer} %{HOSTNAME:host} %{NUMBER:status:int} 0 0 %{NUMBER:body_sent:int} %{NUMBER:request_length:int} 0\"-\" %{NUMBER:request_time:float} %{NUMBER:response_time:float}

• 1
• 2
• 3
• 4

其中URIPARAM1是我们自定义的部分，而NGINXACCESS也是我们自定的正则，其中又调用了URIPARAM1。

(2)配置文件logstash.conf

input {
        file {
                path => "/data/nginx/logs/api.creprice.log"
                type => "nginx-access"
                start_position => "beginning"
                sincedb_path => "/usr/local/logstash/sincedb"
        }
}
filter {
        if [type] == "nginx-access" {
                grok {
                        patterns_dir => "/usr/local/logstash/patterns"
                        match => {
                                "message" => "%{NGINXACCESS}"
                        }
                }
                date {
                        match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
                        }
        }
}
output {
        if [type] == "nginx-access" {
                elasticsearch {
                        hosts => ["10.10.10.16:9200"]
                        manage_template => true
                        index => "logstash-nginx-access-%{+YYYY-MM}"
                }
        }

}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31

其中：patterns_dir定义的是我们自定义的正则存放目录

(3)重启logstash，查看kibana，我们的字段就显示出来了，如果我们的字段前面是？，请刷新下我们的“Setting”——“indices”——“Index Patterns”——“logstash-nginx-access-%{+YYYY-MM}”即可。

总结

通过上面对正则的了解，即使是在复杂的日志，我们只要对应规则也可以一一解开，下面的工作就是让我们应用到生产环境吧。