1前言

随着集群的机器越来越多，在测试或者生产环境中，我们排查日志显得尤为苦难，只能一台一台机器去查找，本文主要讲解ELK+rabbitmq实现分布式日志收集的方案

2介绍

ELK由Elasticsearch+Logstash+kibana三部分组成，一般日志收集MQ都习惯采用Kafka,我这边就用rabbitMQ

3原理

tomcat服务器中的日志发布投入到MQ消息队列中，logstash消费MQ消息队列中的数据，放到ES服务器中，ES存储最终的日志信息，kibana负责展示ES存储服务中数据信息

4问题

我们都知道可以用logstash监听每一个服务器的日志文件，然后把消息写入到Es服务器中，但是我们可以通过MQ只监听MQ消息队列即可收集，MQ担任的角色一个是因为这个，另外就是，我们日志都是通过log.error,log.debug来输出的，那么如何集成Logback和MQ整合是一个问题，先来看日志配置文件，配置好 MQ地址、port端口、virtual虚拟机exchangetype消息模式，exchangename交换机名称routingkey；

配置好这些信息就基本整合了，只要有log就会写入到MQ

接下来是logstash消费日志信息并写入到ES库中，需要在配置文件中，增加input,output的消息来源，消息输出，input就是MQ，output就是ES服务器

5kibana效果

搜索日志关键字，可以动态看到日志信息，这样不管哪个服务器的日志，都被我们ES服务器存储起来了 ，简单方便，查日志省事。

ELK+MQ+logback实现分布式日志收集的更多相关文章

  1. ELK分布式日志收集搭建和使用

    大型系统分布式日志采集系统ELK全框架 SpringBootSecurity1.传统系统日志收集的问题2.Logstash操作工作原理3.分布式日志收集ELK原理4.Elasticsearch+Log ...

  2. 传统ELK分布式日志收集的缺点？

    传统ELK图示: 单纯使用ElK实现分布式日志收集缺点? 1.logstash太多了,扩展不好. 如上图这种形式就是一个 tomcat 对应一个 logstash,新增一个节点就得同样的拥有 logs ...

  3. 分布式日志收集框架Flume

    分布式日志收集框架Flume 1.业务现状分析 WebServer/ApplicationServer分散在各个机器上 想在大数据平台Hadoop进行统计分析 日志如何收集到Hadoop平台上 解决方 ...

  4. 分布式日志收集之Logstash 笔记（一）

    (一)logstash是什么? logstash是一种分布式日志收集框架,开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好,非常简洁强大,经常与ElasticSearch ...

  5. 分布式日志收集系统Apache Flume的设计详细介绍

    问题导读: 1.Flume传输的数据的基本单位是是什么? 2.Event是什么,流向是怎么样的? 3.Source:完成对日志数据的收集,分成什么打入Channel中? 4.Channel的作用是什么 ...

  6. ELK 6安装配置 nginx日志收集 kabana汉化

    #ELK 6安装配置 nginx日志收集 kabana汉化 #环境 centos 7.4 ,ELK 6 ,单节点 #服务端 Logstash 收集,过滤 Elasticsearch 存储,索引日志 K ...

  7. .NetCore 分布式日志收集Exceptionless 在Windows下本地安装部署及应用实例

    自己安装时候遇到很多问题,接下来把这些问题写出来希望对大家有所帮助 搭建环境: 1.下载安装 java 8 SDK (不要安装最新的10.0) 并配置好环境变量(环境变量的配置就不做介绍了) 2.下载 ...

  8. 分布式日志收集收集系统：Flume(转)

    Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统.支持在系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力.Fl ...

  9. SpringBoot+kafka+ELK分布式日志收集

    一.背景 随着业务复杂度的提升以及微服务的兴起,传统单一项目会被按照业务规则进行垂直拆分,另外为了防止单点故障我们也会将重要的服务模块进行集群部署,通过负载均衡进行服务的调用.那么随着节点的增多,各个 ...

  10. Flume -- 开源分布式日志收集系统

    Flume是Cloudera提供的一个高可用的.高可靠的开源分布式海量日志收集系统,日志数据可以经过Flume流向需要存储终端目的地.这里的日志是一个统称,泛指文件.操作记录等许多数据. 一.Flum ...

随机推荐

  1. 解决git clone 速度慢问题比较赞的方法

    使用国内镜像,目前已知的GitHub国内镜像网站有github.com.cnpmjs.org和git.sdut.me. 在clone 某项目时候可将github.com替换为github.com.cn ...

  2. HTTP请求中Content-Type的取值讲解

      在Http请求中,我们每天都在使用Content-type来指定不同格式的请求信息(MediaType),下面先看看请求信息的定义,MediaType,即Internet Media Type,互 ...

  3. 生长算法和巡中线算法python实现代码示例（自用）

    生长算法和巡中线算法python实现代码示例(自用) import cv2 import time import numpy as np from math import pi, isnan # PI ...

  4. 自签名证书工具cfssl详解

    概述 GitHub地址:https://github.com/cloudflare/cfssl 官方地址:https://pkg.cfssl.org CFSSL(CloudFlare's PKI an ...

  5. ChatMoney让你变成HR高手！

    本文由 ChatMoney团队出品 在快节奏的现代职场中,招聘是每一个企业都绕不开的重要环节.然而,传统的招聘流程往往繁琐而低效,从海量简历的筛选,再到后续的评估与决策,每一个环节都耗费着HR人员大量 ...

  6. 特殊恢复：ORA-00704、ORA-00604、ORA-01555故障时快速定位触发报错的数据块

    我们的文章会在微信公众号IT民工的龙马人生和博客网站( www.htz.pw )同步更新 ,欢迎关注收藏,也欢迎大家转载,但是请在文章开始地方标注文章出处,谢谢! 由于博客中有大量代码,通过页面浏览效 ...

  7. .Net Core WebApi 版本控制

    https://www.cnblogs.com/xhubobo/p/14445511.html 使用过程参考:在ASP.Net Core Web API中使用Swagger,本文在此基础上阐述如何进行 ...

  8. Sql 日期时间各种操作

    select convert(varchar(10),getdate(),120) 输出格式:2008-02-27 00:25:13 SELECT CONVERT(char(19), getdate( ...

  9. element-plus 表格跨页全选

    <template> <div class="app"> <div> <el-checkbox v-model="crossPa ...

  10. Vue 中可以定义组件模版的几种方式

    前置知识回顾 new Vue({...options})一些基本知识 new Vue(options)的选项中,也可以拥有 data.methods.components.生命周期函数等等,和组件实例 ...