logstash 配置文件实例

这个配置文件记不起来是从那个地方下载的来的了，感谢那位无私的朋友

input {
  beats {            #shipper 端用的是 filebeat，所以用这个插件
    port => 510        #开510端口，shipper 端发到 这里
  }
  beats {
    port => 511
    codec => json    #原始日志是json格式，这里指定json格式，就可以解析好日志，下面filter 就不用写grok表达式了
  }
  tcp {                #shipper用rsyslog，不像filebeat会自带元数据，所以用tcp开个端口就好
    port => 512
    type => commamd    #增加个字段，以此来查找此类型日志
  }
  tcp {
    port => 513
    type => win_event
    codec => multiline {    #win的event日志，是多行的，用多行插件来做全合并
      pattern => "^%{NGINXERR_DATE}"    #这个正则变量，是一种时间日期格式，就是说日志以这种日期开头，后面的都算一条日志
      negate => true
      what => "previous"
    }
  }
}

filter {
  if [input_type] == "log" {    #判断值，filebeat 的元数据（即是每一条日志都会附带上的数据）就有这个字段。
  ruby {    #ruby插件，下面init 是声明有多少个字段。code 是声明 使用什么分隔符，分隔出每一个字段的值。要搞这个，前提是你的日志格式，指定生成以XXX符号为间隔啦
    init => "@kname = ['http_x_forwarded_for','timestamp','request','status ','body_bytes_sent','http_referer','http_user_agent','remote_addr','http_head','upstream_addr','request_time','upstream_response_time']"
    code => "new_event = LogStash::Event.new(Hash[@kname.zip(event['message'].split('|'))]); new_event.remove('@timestamp');event.append(new_event)"
  }
  if [request] {    #还是判断，这是上面分好的字段，这里对request字段再分割一下
    ruby {            #同上啦
      init => "@kname = ['method','URL','verb']"
      code => "new_event = LogStash::Event.new(Hash[@kname.zip(event['request'].split(' '))]); new_event.remove('@timestamp');event.append(new_event)"
    }
  }
  if [URL] {        #跟上面的request判断 一个意思，就是要把一个字段，分的更细的方便日志分析
    ruby {
      init => "@kname = ['uri','url_args']"
      code => "new_event = LogStash::Event.new(Hash[@kname.zip(event['URL'].split('?'))]); new_event.remove('@timestamp');event.append(new_event)"
      remove_field => ["request","message","URL"]    #这是每一个插件都有的命令，把多余的字段移除掉吧。
        }
  }

mutate {        #匹配插件，常用的
    convert => [    #转换，上面切割好字段，就像数据库表一样，都是str类型，下面就是把字段转换成对应的类型。举例：值是 - ，也会被转成0 。多个值的会变成数组。
      "body_bytes_sent" , "integer",
      "request_time", "float",
      "upstream_response_time", "float"
    ]
  }
  date {    #时间插件
    match => ["timestamp" , "ISO8601"]    #timestamp这个字段是日志里带的那个时间，而@timestamp 这个是默认的时间（此描述不准），通常我们多用这个@timestamp画图作为时间轴。ISO8601就是一种时间格式。详见搜下logstash N级目录下grok-patterns文件
  }
}

if [input_type] == "test" {
    mutate {split => ["ups_resp_time", ","]}    #就是一个字段可能有多个值。用逗号隔开。
    mutate {convert => ["ups_resp_time", "float"]} #然后再转成浮点型
    mutate {convert => ["request_time", "float"]}
    date {match => ["timestamp","ISO8601"]}
  }

if [type] == "commad" {    #这是一条别的日志，下面就是grok 解析日志的写法。日志长这样：2016-06-17 08:42:59 ## root@/dev/pts/1 ---> 121.33.26.18 51101 120.26.13.18 22 ##  snmpnetstat -V
    grok {  match => {"message" => "%{NGINXERR_DATE:log_timestamp} %{NOTSPACE:xx} %{USERNAME:user}@%{NOTSPACE:tty} %{NOTSPACE:xxx} %{IPV4:chient_ip} %{NUMBER:client_port} %{IPV4:server_ip} %{NUMBER:server_port} %{NOTSPACE:xxxx} %{GREEDYDATA:command}"}
      remove_field => ['xx']
      remove_field => ['xxx']
      remove_field => ['xxxx']
      remove_field => ['message']  }
    date { match => ["log_timestamp" , "yyyy-MM-dd HH:mm:ss"] }
  }

if [type] == "win_event" {    #在input模块那里，已用多行插件处理了。这里当成一行写grok就好。
    grok {
      match => {"message" => "%{NGINXERR_DATE:winlog_timestamp} %{NOTSPACE:win_hostname} %{NOTSPACE:Level} %{NUMBER:event_id} %{GREEDYDATA:event}" }
      remove_field => ['message']
    }
    date {
      match => ["winlog_timestamp" , "yyyy-MM-dd HH:mm:ss"]
    }
  }

# 下面这些呢，因为kibana显示问题，想看的直观些，于是在这里做个替换。存进es里时，就直接这中文啦。kibana展示，自然出是中文
if [host] == "10.168.24.70"  { mutate { replace => { "host" => "精武门" } } }
if [host] == "10.117.16.241" { mutate { replace => { "host" => "nginx_1" } } }
if [host] == "10.117.9.162"  { mutate { replace => { "host" => "nginx_2" } } }
if [host] == "10.51.8.234" { mutate { replace => { "host" => "监控" } } }
if [host] == "10.47.69.198" { mutate { replace => { "host" => "APP" } } }
if [win_hostname] == "iZ23syf95oaZ" { mutate { replace => { "win_hostname" => "数据库" } } }
if [win_hostname] == "iZ234bmxy7wZ" { mutate { replace => { "win_hostname" => "网站" } } }
if [win_hostname] == "iZ233n40vi4Z" { mutate { replace => { "win_hostname" => "资讯" } } }
if [win_hostname] == "iZ23z5w0bj3Z" { mutate { replace => { "win_hostname" => "DataCenter" } } }

}

# 这个没啥好说的吧。我就一个索引名。默认完了。
output {
  elasticsearch { hosts => "127.0.0.1:9200" }
}