ELK日志管理之——logstash配置语法

Logstash 设计了自己的 DSL —— 有点像 Puppet 的 DSL，或许因为都是用 Ruby 语言写的吧 —— 包括有区域，注释，数据类型(布尔值，字符串，数值，数组，哈希)，条件判断，字段引用等。

一、基本语法组成

logstash.conf配置文件里至少需要有input和output两个部分构成

input {
    #输入
}
filter {
    #过滤匹配
}
output {
    #输出
}

1、input配置

1.1、file{}（文件读取）

监听文件变化，记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位（也就是时间戳）

input {

    file {

        path => ["/var/log/access.log", "/var/log/message"]      #监听文件路径
        type => "system_log"                                     #定义事件类型
        start_position => "beginning"                             #检查时间戳
    }

}

参数说明：

exclude ：排除掉不想被监听的文件

stat_interval ：logstash 每隔多久检查一次被监听文件状态（是否有更新），默认是 1 秒。

start_position ：logstash 默认是从结束位置开始读取文件数据，也就是说 logstash 进程会以类似 tail -f 的形式运行。如果你是要导入原有数据，把这个设定改成 “beginning”，logstash 进程就按时间戳记录的地方开始读取，如果没有时间戳则从头开始读取，有点类似cat，但是读到最后一行不会终止，而是继续变成 tail -f。

1.2、codec（定义编码类型）

优化建议：直接输入预定义好的 JSON 数据，这样就可以省略掉 filter/grok 配置，从而减轻过滤器 logstash 的 CPU 负载消耗；具体操作如下：

1.2.1、修改nginx配置文件，添加如下

logformat json '{"@timestamp":"$time_iso8601",'

               '"@version":"1",'

               '"host":"$server_addr",'

               '"client":"$remote_addr",'

               '"size":$body_bytes_sent,'

               '"responsetime":$request_time,'      #$request_time没有双引号表明该值为int类型
               '"domain":"$host",'

               '"url":"$uri",'

               '"status":"$status"}';

access_log /var/log/nginx/access.log_json json;

1.2.2、重启 nginx 应用，然后修改input/file 区段配置成下面这样

input {

    file {

        path => "/var/log/nginx/access.log_json""

        codec => "json"

    }

}

2、filter过滤器配置

2.1、data（时间处理）

用来转换日志记录中的时间字符串，变成LogStash::Timestamp 对象，然后转存到 @timestamp 字段里。

注意：因为在稍后的 outputs/elasticsearch 中index常用的 %{+YYYY.MM.dd} 这种写法必须读取 @timestamp数据，所以一定不要直接删掉这个字段保留自己的时间字段，而是应该用 filters/date 转换后删除自己的字段！至于elasticsearch 中index使用 %{+YYYY.MM.dd}这种写法的原因后面会说明。

filter {

    grok {

        match => ["message", "%{HTTPDATE:logdate}"]

    }

    date {

        match => ["logdate", "dd/MMM/yyyy:HH:mm:ss Z"]

    }

}

2.2、grok （正则匹配）

filter {

     grok {
         match => [ "message",  "\s+(?<status>\d+?)\s+" ]        #跟python的正则有点差别
     }
}

优化建议：如果把 “message” 里所有的信息都 grok 到不同的字段了，数据实质上就相当于是重复存储了两份。所以可以用 remove_field 参数来删除掉 message 字段，或者用 overwrite 参数来重写默认的 message 字段，只保留最重要的部分。

filter {

    grok {

        patterns_dir => "/path/to/your/own/patterns"

        match => {

            "message" => "%{SYSLOGBASE} %{DATA:message}"

        }

        overwrite => ["message"]

    }

}

filter {

    grok {

        match => ["message", "%{HTTPDATE:logdate}"]

      remove_field => ["logdate"]

    }

}

2.3、GeoIP （地址查询归类）

GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等，对于可视化地图和区域统计非常有用。

filter {
        geoip {
            source => "clientip"
            database => "/etc/logstash/GeoLiteCity.dat"       #需去官网下载ip库放到本地
        }
}

filter {

        geoip {

            source => "message"               #如果能联网可查询在线ip库
        }
}   

注：geoip 插件的 “source” 字段可以是任一处理后的字段，比如 “clientip”，但是字段内容却需要小心！geoip 库内只存有公共网络上的 IP 信息，查询不到结果的，会直接返回 null，而 logstash 的 geoip 插件对 null 结果的处理是：不生成对应的 geoip.字段。

所以在测试时，如果使用了诸如 127.0.0.1, 172.16.0.1, 182.168.0.1, 10.0.0.1 等内网地址，会发现没有对应输出！

GeoIP 库数据较多，如果不需要这么多内容，可以通过 fields 选项指定自己所需要的。下例为全部可选内容

filter {

    geoip {

        fields => ["city_name", "continent_code", "country_code2", "country_code3", "country_name", "dma_code", "ip", "latitude", "longitude", "postal_code", "region_name", "timezone"]

    }

}