1前言

随着集群的机器越来越多，在测试或者生产环境中，我们排查日志显得尤为苦难，只能一台一台机器去查找，本文主要讲解ELK+rabbitmq实现分布式日志收集的方案

2介绍

ELK由Elasticsearch+Logstash+kibana三部分组成，一般日志收集MQ都习惯采用Kafka,我这边就用rabbitMQ

3原理

tomcat服务器中的日志发布投入到MQ消息队列中，logstash消费MQ消息队列中的数据，放到ES服务器中，ES存储最终的日志信息，kibana负责展示ES存储服务中数据信息

4问题

我们都知道可以用logstash监听每一个服务器的日志文件，然后把消息写入到Es服务器中，但是我们可以通过MQ只监听MQ消息队列即可收集，MQ担任的角色一个是因为这个，另外就是，我们日志都是通过log.error,log.debug来输出的，那么如何集成Logback和MQ整合是一个问题，先来看日志配置文件，配置好 MQ地址、port端口、virtual虚拟机exchangetype消息模式，exchangename交换机名称routingkey；

配置好这些信息就基本整合了，只要有log就会写入到MQ

接下来是logstash消费日志信息并写入到ES库中，需要在配置文件中，增加input,output的消息来源，消息输出，input就是MQ，output就是ES服务器

5kibana效果

搜索日志关键字，可以动态看到日志信息，这样不管哪个服务器的日志，都被我们ES服务器存储起来了 ，简单方便，查日志省事。

ELK+MQ+logback实现分布式日志收集的更多相关文章

  1. ELK分布式日志收集搭建和使用

    大型系统分布式日志采集系统ELK全框架 SpringBootSecurity1.传统系统日志收集的问题2.Logstash操作工作原理3.分布式日志收集ELK原理4.Elasticsearch+Log ...

  2. 传统ELK分布式日志收集的缺点？

    传统ELK图示: 单纯使用ElK实现分布式日志收集缺点? 1.logstash太多了,扩展不好. 如上图这种形式就是一个 tomcat 对应一个 logstash,新增一个节点就得同样的拥有 logs ...

  3. 分布式日志收集框架Flume

    分布式日志收集框架Flume 1.业务现状分析 WebServer/ApplicationServer分散在各个机器上 想在大数据平台Hadoop进行统计分析 日志如何收集到Hadoop平台上 解决方 ...

  4. 分布式日志收集之Logstash 笔记（一）

    (一)logstash是什么? logstash是一种分布式日志收集框架,开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好,非常简洁强大,经常与ElasticSearch ...

  5. 分布式日志收集系统Apache Flume的设计详细介绍

    问题导读: 1.Flume传输的数据的基本单位是是什么? 2.Event是什么,流向是怎么样的? 3.Source:完成对日志数据的收集,分成什么打入Channel中? 4.Channel的作用是什么 ...

  6. ELK 6安装配置 nginx日志收集 kabana汉化

    #ELK 6安装配置 nginx日志收集 kabana汉化 #环境 centos 7.4 ,ELK 6 ,单节点 #服务端 Logstash 收集,过滤 Elasticsearch 存储,索引日志 K ...

  7. .NetCore 分布式日志收集Exceptionless 在Windows下本地安装部署及应用实例

    自己安装时候遇到很多问题,接下来把这些问题写出来希望对大家有所帮助 搭建环境: 1.下载安装 java 8 SDK (不要安装最新的10.0) 并配置好环境变量(环境变量的配置就不做介绍了) 2.下载 ...

  8. 分布式日志收集收集系统：Flume(转)

    Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统.支持在系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力.Fl ...

  9. SpringBoot+kafka+ELK分布式日志收集

    一.背景 随着业务复杂度的提升以及微服务的兴起,传统单一项目会被按照业务规则进行垂直拆分,另外为了防止单点故障我们也会将重要的服务模块进行集群部署,通过负载均衡进行服务的调用.那么随着节点的增多,各个 ...

  10. Flume -- 开源分布式日志收集系统

    Flume是Cloudera提供的一个高可用的.高可靠的开源分布式海量日志收集系统,日志数据可以经过Flume流向需要存储终端目的地.这里的日志是一个统称,泛指文件.操作记录等许多数据. 一.Flum ...

随机推荐

  1. VS2019 配置 protobuf3.8.0

    1.下载protobuf3.8.0 https://github.com/protocolbuffers/protobuf/releases/tag/v3.8.0 2.准备工作 解压文件并在同级目录建 ...

  2. debug与DOSBox安装&&debug命令操作

    文章目录 一. DOSBox && debug使用 1.安装配置(以下方法们按照从麻烦到简便的顺序) (1) 多步骤(可行,但不推荐) (2)一步到位(强烈推荐) 2. 窗口大小 二. ...

  3. Odoo14前端框架常用操作

    单页Web应用(single page web application,SPA): SPA 是一种特殊的 Web 应用,是加载单个 HTML 页面并在用户与应用程序交互时动态更新该页面的. 它将所有的 ...

  4. chrome和firefox driver使用代理

    chrome chromedriver使用代理示例 from selenium import webdriver from selenium.webdriver import DesiredCapab ...

  5. 2024杭电钉耙1-1003 HDOJ7435 树

    本文同步发布于我的网站 Problem 给一棵根为 1 的有根树,点 \(i\) 具有一个权值 \(A_i\) . 定义一个点对的值 \(f(u, v)=\max \left(A_u, A_v\rig ...

  6. 记一道有趣的交互题 noi.ac #2035歪比巴卜

    记一道有趣的交互题 noi.ac #2035歪比巴卜 Problem Alice手上有两个\(\le n\)且不同的正整数\(x,y\),Bob手上有一个正整数\(z\),已经确认是\(x\)或\(y ...

  7. Power BI回顾于2025年

    前段时间的工作主要是用Tableau和Tableau CRM,Power BI搁置了好一段时间.为了了解整个行业的趋势,偶尔也会回来看看Power BI这边的动静,毕竟自己当初就是从微软的技术路线开始 ...

  8. 如何使用MCP开发一个客户端和服务端

    如何使用MCP开发一个客户端和服务端 一.MCP和API以及Function Call核心概念对比 特性 API Function Call MCP (Model Context Protocol) ...

  9. ChatMoney化身恋爱大师来帮助你收获完美爱情！

    本文由 ChatMoney团队出品 介绍说明 在纷繁复杂的情感世界里,寻找真爱的道路常常充满迷茫和困惑.但现在,有了 AI 智能体恋爱大师,为您的爱情之旅点亮明灯. AI 智能体恋爱大师并非传统意义上 ...

  10. MySQL的utf8编码当中的疑问

    本文由 ChatMoney团队出品 之前,在将emoji表情存入MySQL时,我遇到了一个棘手的问题--数据无法导入.经过一番摸索,我将数据库编码从utf8更改为utf8mb4,问题得以解决.当时并未 ...