1. 概述

  logspout收集数据以后,就会把数据发送给logstash进行处理,本文主要讲解logstash的input, filter, output处理

2. input

  数据的输入处理

  支持tcp,udp等协议

  晚上找资料建议在使用 LogStash::Inputs::Syslog 的时候走 TCP 协议来传输数据。

  因为具体实现中,UDP 监听器只用了一个线程,而 TCP 监听器会在接收每个连接的时候都启动新的线程来处理后续步骤。

  如果你已经在使用 UDP 监听器收集日志,用下行命令检查你的 UDP 接收队列大小:# netstat -plnu | awk 'NR==1 || $4~/:514$/{print $2}'

  Recv-Q

  228096

  228096 是 UDP 接收队列的默认最大大小,这时候 linux 内核开始丢弃数据包了!

 2.1. 语法

  基本语法如下:

input{
tcp {
mode => "server"
port => 5000
codec => json_lines
tags => ["data-http"]
}
}

  2.2. multiline

  有时候日志是这样多行显示的:

[2019-10-12 15:24:50 ACCOUNT 97364 4658800064 INFO] http_ip=127.0.0.1        http_uri=/account/v1/binding        http_method=POST        http_time=182ms        http_status=401
http_headers=Content-Type:application/x-www-form-urlencoded
Content-Length:27
Accept-Encoding:identity
Host:localhost:8800
User-Agent:Python-urllib/3.6
Key:424518e4d27b11e8ada274e5f95979ae
Version:1.1.0
Time:1570865090.412524
Token:y66AHLNmRoscIIsoWnKzxosojSg=
User-Id:0
Connection:close
http_kwargs={'sns_type': 'wechat', 'code': 'CG9DEj', 'user_id': 0, 'language': 1}
http_response={"code":"usr_sns_code_error","message":"\u7b2c\u4e09\u65b9sns\u5e10\u53f7code\u65e0\u6548"}

    默认情况下logstash会把一行日志转换成elasticsearch的一个doc,上面这个日志就会存储成15条日志。这样就不能满足我们的需求,我们只是想要一条日志

  我们可以这么配置input:

input{
tcp {
port => 5001
type => syslog
tags => ["syslog"]
codec=>multiline{
pattern => "\[%{TIMESTAMP_ISO8601:timestamp}"
negate => true
what => "previous"
}
}
}

  红色代码的作用是:匹配到以[2019-10-08 16:57:42开头的一行日志作为previous,不是以这个格式开头的将作为子行出现,然后把多行记录合并成一行记录

3. filter

  数据的过滤转化处理

 3.1. 语法

  基本语法如下:

filter {
  grok {
    match => { "message" => "%{SYSLOGBASE} %{DATA:message}" }
    overwrite => [ "message" ]
  }
}

  3.2. grok范式匹配

  

  grok适合用来解析syslog,apache,mysql等日志

  假如你的日志格式是这样的

[2019-10-12 15:44:52 ACCOUNT 1 140058162291304 WARNING] HashCache::_rds_get, cache not existed!!! id_ls:[]

  日志的格式是这样的:

"[%(asctime)s %(service)s %(process)d %(thread)d %(levelname)s] %(message)s"

  那么针对这样有特定格式的日志,我们要怎样提取这里面的字段呢?

   可以这么配置你的filter:

filter{
if [type] == "syslog" {
grok {
match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp} %{DATA:service} %{DATA:pid} %{DATA:tid} %{LOGLEVEL:log-level}\] %{GREEDYDATA:msg_body}" }
}
}
}

   使用grok的match正则表达式匹配可以方便的从message中提取字段

  从elasticsearch可以发现增加了timestamp、server、pid、tid和log-level等字段。

  

  

  附上官网文档:

    # grok调试器

    https://grokdebug.herokuapp.com =>debugger

    # 官方文档

    https://www.elastic.co/guide/en/kibana/7.3/xpack-grokdebugger.html

  3.3. gsub字符串替换

  经过logspout处理以后,会增加一些metadata(container name, container id, etc)

  红色部分是logspout添加的:

  <14>1 2019-10-08T18:00:15Z zfswalk0 mage-device-11283 16901 - - [2019-10-09 09:49:08 WARNING SACCOUNT C P1 T140004171454120 P1 P2 P3] start listen on HTTP:0.0.0.0:17698, start listen on HTTP:0.0.0.0:17698

   如何去除这部分多余的数据呢?

  logstash需要使用gsub进行字符串替换:

  

filter{
if [type] == "syslog" {
mutate {
gsub => [ "message", "<\d+>.*?- -", "" ]
}
}
}

  这个正则表达式的意义是选择从“<14>”开始到“- -”结束的子字符串,然后替换成空字符串,实现metadata的删除

  3.4. remove_filed删除字段

  ELK是采用json字典的方式来存储数据的

  如果你有哪些字段是不需要的,可以通过remove_field来删除

  假如你不想要grop解析出来的msg_body字段和test字段,可以这么操作,那么最后存储到elasticsearch那边将不会出现这2字段

filter{
if [type] == "syslog" {
mutate {
remove_field => [ "msg_body", "test" ]
}
}
}

3.5. kv过滤器解析kv数据

  官方文档kv filter:https://www.elastic.co/guide/en/logstash/current/plugins-filters-kv.html

  动态的解析kv可以很方便的支持日志扩展,不需要后期去修改

  它会把这个字符串:ip=1.2.3.4 error=REFUSED解析成kv字典形式:{"ip":"1.2.3.4", "error": "REFUSED"}

  

filter{
if [type] == "syslog" {
kv {
source => "msg_body"
field_split => "\t\t"
}
}
}

   这边的配置意思是:从msg_body这个字段去解析kv字段,字段的分隔符是"\t\t"

  当然这也要求日志写入的时候需要采用"\t\t"来区分多个字段,类似这样:

[2019-10-12 15:24:50 ACCOUNT 97364 4658800064 INFO] http_ip=192.168.1.136		http_uri=/account/v1/binding		http_method=POST

   http_ip=127.0.0.1、http_uri=/account/v1/binding与http_method=POST这三个字段是采用'\t\t'分割的

  这样kv filter就会解析成功,并往doc里面设置http_ip, http_uri,http_method这三个值:

4. output

  过滤转化后的数据的输出处理

  这里是把数据存储到elasticsearch的9200端口,index是"syslog-%{+YYYY.MM.dd}"

output{
if "syslog" in [tags]{
elasticsearch{
hosts=>["elasticsearch:9200"]
index => "syslog-%{+YYYY.MM.dd}"
}
stdout{codec => rubydebug}
}
}

  然后elasticsearch就能得到数据了

ELK日志分析系统(3)-logstash数据处理的更多相关文章

  1. elk 日志分析系统Logstash+ElasticSearch+Kibana4

    elk 日志分析系统 Logstash+ElasticSearch+Kibana4 logstash 管理日志和事件的工具 ElasticSearch 搜索 Kibana4 功能强大的数据显示clie ...

  2. ELK日志分析系统简单部署

    1.传统日志分析系统: 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安 ...

  3. Rsyslog+ELK日志分析系统

    转自:https://www.cnblogs.com/itworks/p/7272740.html Rsyslog+ELK日志分析系统搭建总结1.0(测试环境) 因为工作需求,最近在搭建日志分析系统, ...

  4. 十分钟搭建和使用ELK日志分析系统

    前言 为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat).题目为“十分钟搭建和使用ELK日志分析系统”听 ...

  5. ELK日志分析系统-Logstack

    ELK日志分析系统 作者:Danbo 2016-*-* 本文是学习笔记,参考ELK Stack中文指南,链接:https://www.gitbook.com/book/chenryn/kibana-g ...

  6. 《ElasticSearch6.x实战教程》之实战ELK日志分析系统、多数据源同步

    第十章-实战:ELK日志分析系统 ElasticSearch.Logstash.Kibana简称ELK系统,主要用于日志的收集与分析. 一个完整的大型分布式系统,会有很多与业务不相关的系统,其中日志系 ...

  7. Docker笔记(十):使用Docker来搭建一套ELK日志分析系统

    一段时间没关注ELK(elasticsearch —— 搜索引擎,可用于存储.索引日志, logstash —— 可用于日志传输.转换,kibana —— WebUI,将日志可视化),发现最新版已到7 ...

  8. ELK 日志分析系统的部署

    一.ELK简介 ElasticSearch介绍Elasticsearch是一个基于Lucene的搜索服务器. 它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口. Elasti ...

  9. Rsyslog+ELK日志分析系统搭建总结1.0(测试环境)

    因为工作需求,最近在搭建日志分析系统,这里主要搭建的是系统日志分析系统,即rsyslog+elk. 因为目前仍为测试环境,这里说一下搭建的基础架构,后期上生产线再来更新最后的架构图,大佬们如果有什么见 ...

随机推荐

  1. CF - 1130 E Wrong Answer

    PS:换了一种方式 希望大家喜欢 2333 /** code by: zstu wxk time: 2019/03/01 Problem Link: http://codeforces.com/con ...

  2. zoj - 4059 Kawa Exam scc + dsu

    Kawa Exam 题解:先scc把图变成树, 然后对于这若干棵树在进行dsu的操作. dsu就是先找到最大的子树放在一边,然后先处理小的子树,最后处理大的子树.无限递归. 重要的一点就是 是否重新添 ...

  3. Disruptor框架中生产者、消费者的各种复杂依赖场景下的使用总结

    版权声明:原创作品,谢绝转载!否则将追究法律责任. Disruptor是一个优秀的并发框架,可以实现单个或多个生产者生产消息,单个或多个消费者消息,且消费者之间可以存在消费消息的依赖关系.网上其他博客 ...

  4. Java并发编程之ThreadLocal解析

    本文讨论的是JDK 1.8中的ThreadLocal ThreadLocal概念 ThreadLocal多线程间并发访问变量的解决方案,为每个线程提供变量的副本,用空间换时间. ThreadLocal ...

  5. 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分(对标阿里鹿班的设计)

    我们之前讲了很多都是平台架构的主体设计,应用架构设计以及技术架构的设计,那么现在我们就来分享一下丰富多彩的banner图是怎么生成出来的. banner图的生成我们也是不断的进行迭代和优化,这块是最核 ...

  6. HBase 超详细介绍

    1-HBase的安装 HBase是什么? HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到 ...

  7. charles 帮助菜单总结

    本文参考:charles 帮助菜单总结 charles的window和help的菜单介绍 其中window菜单的如下 这里我一般用到的就是 Active connections:可以用它来看charl ...

  8. ElasticSearch实战系列二: ElasticSearch的DSL语句使用教程---图文详解

    前言 在上一篇中介绍了ElasticSearch集群和kinaba的安装教程,本篇文章就来讲解下 ElasticSearch的DSL语句使用. ElasticSearch DSL 介绍 Elastic ...

  9. 重写一下ArrayList

    其实重写不难,下面是我重写时定义的一些接口. /** * 重写实现一个list * @author <u>zhoujx</u> * */ public interface My ...

  10. [AWS] Lambda by Python

    当前统治数据分析的语言还是Python,还是暂时走:Python + GPU的常规路线好了. numba, pyculib (分装了cublas) Ref: 使用 Python 构建 Lambda 函 ...