「视频小课堂」ELK和Kafka是怎么就玩在一起成了日志采集解决方案文字版
视频地址：ELK和Kafka是怎么就玩在一起成了日志采集解决方案
视频文字版
今天呢我就带来了一期视频，主要就是讲ELK和Kafka之间的通讯关系通过对一张通讯图，和一些操作命令，让我们能更深入的去理解ELK在日志采集过程当中以及Kafka在消息队列分发过程当中，它们是如何进行配置使用的，以及它们之间的通讯机制希望对您的学习有所帮助，谢谢！
我们的目标是一台主机主机上的服务会产生日志，例如/var/log目录下面会不断产生各种日志记录我们把这个采集范围称为日志采集源这时候我们把ELK的文件采集器filebeat部署到这台主机上，让它实时监测并增量采集最新的日志记录Filebeat可以给ELK家族的Elasticsearch搜索引擎直接推送采集日志也可以给ELK另外一个日志管道工具Logstash直接推送采集日志最关键的一步是filebeat可以将日志作为消息直接推送给Kafka集群。
我们就通过命令操作演示，更具体的看看它到底是怎么配置的 首先通过pwd命令，查看一下filebeat所在的目录，我的安装目录在/opt/filebeat目录下然后我们再用ls命令查看一下目录下面的文件，找到filebeat的配置文件filebeat.yml。
接着我们用vi命令编辑并查看filebeat.yml文件我们用output关键字，搜索filebeat采集输出的配置，通过n键匹配，我们找到了第一个配置点：Elastisearch输出好，我们可以看到已经被#注掉的Elastisearch，证明filebeat采集到数据不会输出给Elasticsearch。同时可以看到Elasticsearch接收地址是node1，端口是9200。 好！接着继续按n键搜索下一个输出，这时候我们找到了第二个配置点：Logstash输出我们同样可以看到已经被#注掉的Logstash，证明filebeat采集到数据不会推给logstash，同时可以看到Logstash的接收地址：node1，端口5044Ok，我们接着继续按n键搜索最后一个数据，这时候我们找到了最后一个输出点：Kafka输出这次Kafka的输出没有被注释掉，证明filebeat采集到的数据一定会输出给Kafka同时我们看到接收数据的Kafka集群是由三台机器组成node2、node3、node4，端口都是9092推送给Kafka的topic是testT3
通过命令演示中的配置，让我们寻求一种最合理的日志管道传输解决方案，首先filebeat将数据推送给Kafka集群，这样可以形成一个大吞吐承载力的数据缓冲区，而且由Kafka可以接收更多的filebeat采集点接着Logstash作为Kafka的消费者客户端订阅testT3 Topic，Logstash具备了各种过滤器，编解码器，进行数据清洗，可以为下一阶段的输出提供更高质量的日志数据最后Logstash将日志数据写入elasticsearch集群的索引当中，完成日志的最终落地。
公众号 "读字节" 大数据（技术、架构、应用）的深度，专业解读
「视频小课堂」ELK和Kafka是怎么就玩在一起成了日志采集解决方案文字版的更多相关文章
- 「视频小课堂」Logstash如何成为镇得住场面的数据管道（文字版）
视频地址 B站视频地址:Logstash如何成为镇得住场面的数据管道 公众号视频地址:Logstash如何成为镇得住场面的数据管道 知乎视频地址:Logstash如何成为镇得住场面的数据管道 内容 首 ...
- 对于前端，「微信小程序」其实不美好
微信小程序开放公测了,9月底我曾经写过一篇 「微信小程序」来了,其中最后一句:"谢天谢地,我居然还是个前端". 这种火爆的新事物总是令人激动,感谢这个时代. 但是,当我真作为开发者 ...
- 「前端开发者」如何把握住「微信小程序」这波红利？
由于前两周一直在老家处理重要事情,虽然朋友圈被「微信小程序」刷爆了,但并没有时间深入了解. 昨天回广州之后,第一件事情就是把「微信小程序」相关的文章.开发文档.设计规范全部看了一遍,基本上明白了「微信 ...
- 「微信小程序」有哪些冲击与机会？
昨天晚上相信大家的朋友圈被「微信小程序」刷屏了,这影响力赶上了国务院出台新政策一样,足以说明微信在中国的影响力之大. 然后今天公号后台一大堆人问我怎么看这件事,不少人非常忧虑,仿佛自己将要失业一样. ...
- 「微信小程序」来了
ps:微信APP Store.微信小程序.微信应用号都是指同一个事情. 苦逼程序猿刚下班到家,还没来得及洗漱,收到条小道消息的推送.于是我有气无力的拿着手机点开了这条推送消息,映入眼帘的就是这张封面图 ...
- 「c++小学期」实验题目及代码
面向对象编程的C++,和平时做题用的C++还是有差距的.实验的题目都是小题目,就都做一下吧.(没放代码的为要验收的 实验一 简单C++程序设计 1. 猜价格游戏 编写C++程序完成以下功能: (1) ...
- 「拆小鹤」使用 python 实现 QQ机器人服务。
使用的是python的qqbot机器人库,我其实只是实现了这个库的一个插件. 具体的说明,我觉得qqbot的官方文档,还有我的插件的注释都写得很详细了,可以直接看.所以有空再写吧. 没错我就是懒..
- 「微信小程序」PHP异步进程async-helper实例详解
PHP异步进程async-helper实例详解 PHP 的异步进程助手,借助于 AMQP 实现异步执行 PHP 的方法,将一些很耗时.追求高可用.需要重试机制的操作放到异步进程中去执行,将你的 HTT ...
- 「新手必看」Python+Opencv实现摄像头调用RGB图像并转换成HSV模型
在ROS机器人的应用开发中,调用摄像头进行机器视觉处理是比较常见的方法,现在把利用opencv和python语言实现摄像头调用并转换成HSV模型的方法分享出来,希望能对学习ROS机器人的新手们一点帮助 ...
随机推荐
- Codeforces Round #656 (Div. 3) D. a-Good String (DFS)
题意:有一个长度为\(n=2^k\)的字符串,对于某个字符\(c\),我们定义他是一个\(c-good\),如果: 1.\(len=1\),并且\(s[1]=c\). 2.\(len>1 ...
- Java15 运行Hello，world竟然不用javac？
喜欢尝鲜的我,装好了Java15,如下编写了一个输出语句:hello,world. 当我打开cmd准备运行的时候,惊呆了! 以前java8的时候不都是这样操作的吗?最初以为环境配置问题,可以即便在系统 ...
- Gitlab 快速部署及日常维护 （二）
一.概述 上一篇我们将Gitlab的安装部署和初始化设置部分全部讲解完成了,接下来我们介绍Gitlab在日常工作中常遇见的问题进行梳理说明. 二.Gitlab的安装和维护过程中常见问题 1.Gitla ...
- leetcode18 四数之和 双指针
题外话: 这道题让我想起了 挑战程序设计竞赛有一个抽签问题,类似的a+b+c+d=target,可以重复使用一个数. a+b+c+d=target转化为 a+b=target-c-d. 如果只是判断 ...
- C# opc 功能相关
C# 程序里,使用 Interop.OPCAutomation.dll ,用于和opc通讯,读opc变量,写opc变量 链接: https://pan.baidu.com/s/1OpUa_Jct1gf ...
- C# LINQ (2)
Limiting Data -- Take() and Skip() 前面讲了 筛选 和 排序,现在讲 选取皇帝选妃,层层选拔,最后留几个,让他过目,他选一个或者几个作为妃子,大概是这么个意思Take ...
- 全局ID生成--雪花算法改进版
存在的问题 时间回拨问题:由于机器的时间是动态的调整的,有可能会出现时间跑到之前几毫秒,如果这个时候获取到了这种时间,则会出现数据重复 机器id分配及回收问题:目前机器id需要每台机器不一样,这样的方 ...
- vuepress & ReferenceError: window is not defined
vuepress & ReferenceError: window is not defined bug Client Compiled successfully in 15.35s Serv ...
- 英语能力考试 All In One
英语能力考试 All In One 托福,雅思,托业 TOEIC 托业考试 Test of English for International Communication (TOEIC) 国际交流英语 ...
- nodejs package.json中的exports
test/package.json { "name": "test", "main": "index.js", &quo ...