filebeat启动自带模块后,日志先输出到Redis中

比如开启了system模块日志和redis模块日志

在Redis中查看收集过来的日志时,可以看到如下的这些信息

system日志信息

{
"@timestamp": "2019-09-02T04:10:20.423Z",
"@metadata": {
"beat": "filebeat",
"type": "_doc",
"version": "7.3.0",
"pipeline": "filebeat-7.3.0-system-syslog-pipeline"
},
"ecs": {
"version": "1.0.1"
},
"host": {
"os": {
"name": "CentOS Linux",
"kernel": "3.10.0-957.21.3.el7.x86_64",
"codename": "Core",
"platform": "centos",
"version": "7 (Core)",
"family": "redhat"
},
"id": "35a7a3c7af8f44188f7095d5291a188e",
"containerized": false,
"name": "bogon",
"hostname": "bogon",
"architecture": "x86_64"
},
"service": {
"type": "system"
},
"input": {
"type": "log"
},
"event": {
"module": "system",
"dataset": "system.syslog",
"timezone": "+08:00"
},
"fileset": {
"name": "syslog"
},
"agent": {
"hostname": "bogon",
"id": "a44c8bbc-723c-4982-84f8-bad50c80fac9",
"version": "7.3.0",
"type": "filebeat",
"ephemeral_id": "50725221-8fe5-48be-af66-89e43fadf1c2"
},
"log": {
"offset": 21029,
"file": {
"path": "/var/log/messages"
}
},
"message": "Sep 2 12:10:10 bogon filebeat: 2019-09-02T12:10:10.357+0800#011INFO#011crawler/crawler.go:139#011Stopping Crawler"
}

redis日志信息

{
"@timestamp": "2019-09-02T05:33:45.984Z",
"@metadata": {
"beat": "filebeat",
"type": "_doc",
"version": "7.3.0",
"pipeline": "filebeat-7.3.0-redis-log-pipeline"
},
"service": {
"type": "redis"
},
"host": {
"hostname": "bogon",
"architecture": "x86_64",
"os": {
"codename": "Core",
"platform": "centos",
"version": "7 (Core)",
"family": "redhat",
"name": "CentOS Linux",
"kernel": "3.10.0-957.21.3.el7.x86_64"
},
"id": "35a7a3c7af8f44188f7095d5291a188e",
"containerized": false,
"name": "bogon"
},
"agent": {
"hostname": "bogon",
"id": "a44c8bbc-723c-4982-84f8-bad50c80fac9",
"version": "7.3.0",
"type": "filebeat",
"ephemeral_id": "50725221-8fe5-48be-af66-89e43fadf1c2"
},
"ecs": {
"version": "1.0.1"
},
"event": {
"dataset": "redis.log",
"module": "redis"
},
"fileset": {
"name": "log"
},
"input": {
"type": "log"
},
"log": {
"offset": 21001,
"file": {
"path": "/var/log/redis/redis_6379.log"
}
},
"message": "1812:M 02 Sep 2019 13:33:45.068 * Background saving started by pid 2682"
}

根据下图所示,有两处地方可以用来判断来源

可以根据这俩的不同在logstash中判断来源,进而在elasticsearch中生成不同的索引

filebeat开启自带模块收集日志如何辨别日志来源等的更多相关文章

  1. Filebeat使用内置的mysql模块收集日志存储到ES集群并使用kibana存储

    Filebeat内置了不少的模块,可以直接使用他们对日志进行收集,支持的模块如下: [root@ELK-chaofeng07 logstash]# filebeat modules list Enab ...

  2. ELK学习笔记之Logstash和Filebeat解析对java异常堆栈下多行日志配置支持

    0x00 概述 logstash官方最新文档.假设有几十台服务器,每台服务器要监控系统日志syslog.tomcat日志.nginx日志.mysql日志等等,监控OOM.内存低下进程被kill.ngi ...

  3. K8S(15)监控实战-ELK收集K8S内应用日志

    K8S监控实战-ELK收集K8S内应用日志 目录 K8S监控实战-ELK收集K8S内应用日志 1 收集K8S日志方案 1.1 传统ELk模型缺点: 1.2 K8s容器日志收集模型 2 制作tomcat ...

  4. 【原创】架构师必备,带你弄清混乱的JAVA日志体系!

    引言 还在为弄不清commons-logging-xx.jar.log4j-xx.jar.sl4j-api-xx.jar等日志框架之间复杂的关系而感到烦恼吗? 还在为如何统一系统的日志输出而感到不知所 ...

  5. [转]Python 模块收集

    Python 模块收集 转自:http://kuanghy.github.io/2017/04/04/python-modules Python | Apr 4, 2017 | python 工具 a ...

  6. 架构师必备,带你弄清混乱的JAVA日志体系!

    作者:孤独烟 出处:http://rjzheng.cnblogs.com/ 本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任 ...

  7. elk收集分析nginx access日志

    elk收集分析nginx access日志 首先elk的搭建按照这篇文章使用elk+redis搭建nginx日志分析平台说的,使用redis的push和pop做队列,然后有个logstash_inde ...

  8. 开启Apache mod_rewrite模块(解决404 Not Found)

    网站搭建完成了,进入登录界面就是访问不了. 原因大概是没有开启Apache mod_rewrite模块,或者没有配置完全. 步骤1: 启用mod_rewrite模块 在conf目录的httpd.con ...

  9. net core体系-web应用程序-4net core2.0大白话带你入门-7asp.net core日志组件(Logger和Nlog)

    asp.net core日志组件   日志介绍 Logging的使用 1. appsettings.json中Logging的介绍 Logging的配置信息是保存在appsettings.json配置 ...

随机推荐

  1. postfix -- 发件调试

    按照教程(https://www.cnblogs.com/huandada/p/10554603.html)搭建好postfix之后,由于收件的邮件运营商的限制,部分邮件不能正常发送,需要更多其他配置 ...

  2. XFF和referer

    XFF构造来源IP Refer构造来源浏览器

  3. 大哥带的XSS练习LEVE2

    0X01输出在html标签中的XSS 这里相当于我们把XSS代码插入到了 html中的<td>标签中 其他好看的 但是不是同源访问 <script> var body= doc ...

  4. 缓存区溢出之slmail fuzzing

    这是我们的实验环境 kali 172.18.5.118smtp windows2003  172.18.5.117  pop3 110 smtp 25 本机 172.18.5.114 已经知道slma ...

  5. python学习之路(14)

    通过列表生成式,我们可以直接创建一个列表.但是,受到内存限制,列表容量肯定是有限的.而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素 ...

  6. CentOS 6.5上的Tomcat启动报错问题

    最近在搭建虚拟机环境,装的是CentOSQL 6.5版本,然后装的OpenJDK1.7,在Apache下载了一个纯净的Tomcat放到虚拟机上启动报错了: 这里有两个错误: 1.第一个错误,APR的问 ...

  7. 10、kubernetes之RBAC认证

    一.kubectl proxy # kubectl proxy --port=8080 # curl http://localhost:8080/api/v1/ # curl http://local ...

  8. echarts_02

    1. 如果数据加载时间较长,一个空的坐标轴放在画布上也会让用户觉得是不是产生 bug 了,因此需要一个 loading 的动画来提示用户数据正在加载. ECharts 默认有提供了一个简单的加载动画. ...

  9. 高并发架构系列:Redis为什么是单线程、及高并发快的3大原因详解

    Redis的高并发和快速原因 1.redis是基于内存的,内存的读写速度非常快: 2.redis是单线程的,省去了很多上下文切换线程的时间: 3.redis使用多路复用技术,可以处理并发的连接.非阻塞 ...

  10. AC自动机小记

    不知不觉这篇博客已经被我咕咕咕了一个月了. 也许我写过AC自动机的博客,但我也不知道我写没写过 前情回顾之\(kmp\) \(kmp\)用来解决一个模式串匹配一个文本串的问题,其思路是设置失配指针,找 ...