ELK + Kafka + Filebeat学习

https://blog.csdn.net/qq_21383435/article/details/79463832

https://blog.csdn.net/xiangyuan1988/article/details/78977471

https://www.jianshu.com/p/f149a76ea5b5

https://blog.csdn.net/qq_21383435/article/category/7486820

ELK + Kafka + Filebeat学习
目录:
1、ELK + Kafka + Filebeat架构
2、为什么要使用ELK
3、验证流程:Filebeat->Logstash->Kafka->Logstash->Elasticsearch->Kibana

1 ELK + Kafka + Filebeat架构

图1.1 ELK + Kafka + Filebeat架构图

l Filebeat:

日志采集。

l Logstash:

官网描述:Logstash:Collect,Enrich and Transport。收集,丰富和传输,Logstash是用于管理事件和日志的工具。可以使用它来收集日志,解析它们,然后存储它们以备以后使用(例如用来搜索)。

l Shipper:

在每个目标系统上运行的客户端,负责收集日志消息。

l Kafka:

作为消息队列解耦了处理过程,同时提高了可扩展性。具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。

l Kerberos:

基于共享秘钥对称加密的安全网络认证系统,它避免了将密码在网络上传输,而是将密码作为对称加密的秘钥,通过是否能够解密来验证用户的身份。

l Indexer:

负责按管理员指定的方式,汇集日志并转发日志给elasticsearch。

l Elasticsearch:

官网描述:Elasticsearch:Store,Search and Analyze。存储,搜索和分析,用于存储所有的日志。

l Search Guard:

Search Guard是Elasticsearch的安全插件。它为后端系统(如Kerberos)提供身份验证和授权,并向Elasticsearch添加审核日志记录和文档/字段级安全性。

l Kibana:

官网描述:Kibana:Explore,Visualize and Share。浏览,可视化和分享,为Logstash和ElasticSearch提供日志分析友好的Web界面,帮助汇总、分析和搜索重要数据。

2 为什么要使用ELK
l 开发可以通过登录到Kibana拿到日志,而不再需要通过运维,减轻运维的工作,同时运维也方便进行管理;

l 可以解决单个日志文件巨大,常用的文本工具难以分析,检索困难;

l 日志种类多,分散在不同的位置难以查找,通过ELK可以进行统一管理;

3 验证流程:Filebeat->Logstash->Kafka->Logstash->Elasticsearch->Kibana
软件版本说明:

Filebeat版本:5.2.1

Logstash版本:5.2.2

Kafka版本:0.10.1

Elasticsearch版本:5.2.2

Kibana版本:5.2.2

jdk版本:1.8.0_112

(1)filebeat是通过yum进行安装的,因此修改filebeat配置文件/etc/filebeat目录下filebeat.yml文件对应的output.logstash中logstash的host位置,以及配置监控的日志文件的路径,这里监控的是在/root/remoa目录下的dengqy.log日志文件。

图3.1 截图1

图3.2 截图2

(2)查看kafka中broker服务器的hosts位置:

图3.3 截图3

(3)查看Elasticsearch中服务器的host位置:在/opt/package/elasticsearch-5.2.2/config目录下查看elasticsearch.yml文件中的host的ip地址及运行HTTP服务的端口,端口注释即使用默认端口9200。

图3.4 截图4

(4)查看用于Elasticsearch身份验证的keys文件位置:

图3.5 截图5

(5)配置remoatest2.conf文件作为filebeat input logstash以及logstash output kafka。

[plain] view plain copy
input {
beats{
port => 5044
}
}
output {
stdout{codec => rubydebug}
kafka{
topic_id => "dengqytopic"
bootstrap_servers => "hdp1.example.com:9092"
security_protocol => "SASL_PLAINTEXT"
sasl_kerberos_service_name => "kafka"
jaas_path => "/tmp/kafka_jaas.conf.demouser"
kerberos_config => "/etc/krb5.conf"
compression_type => "none"
acks => "1"
}
}
(6)配置remoatest3.conf文件作为kafka input logstash以及logstash output elasticsearch。

[plain] view plain copy
input{
kafka{
bootstrap_servers => "hdp1.example.com:9092"
security_protocol => "SASL_PLAINTEXT"
sasl_kerberos_service_name => "kafka"
jaas_path => "/tmp/kafka_jaas.conf.demouser"
kerberos_config => "/etc/krb5.conf"
topics => ["dengqytopic"]
}
}
output{
stdout{
codec => rubydebug
}
elasticsearch{
hosts => ["kdc1.example.com:9200","kdc2.example.com:9200"]
user => logstash
password => logstash
action => "index"
index => "logstash-dengqy-%{+YYYY.MM.dd}"
truststore => "/opt/package/logstash-5.2.2/config/keys/truststore.jks"
truststore_password => whoami
ssl => true
ssl_certificate_verification => true
codec => "json"
}
}
(7)启动消费者监控:

KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/usr/hdp/current/kafka-broker/config/kafka_client_jaas.conf -Xmx512M" /opt/package/kafka_2.10-0.10.1.0/bin/kafka-console-consumer.sh --topic dengqytopic --bootstrap-server hdp1.example.com:9092 --from-beginning --consumer.config /opt/package/kafka_2.10-0.10.1.0/config/consumer.properties

图3.6 截图6

(8)启动remoatest2.conf脚本:

bash ../bin/logstash -f remoatest2.conf

图3.7 截图7

(9)启动remoatest3.conf脚本:

bash bin/logstash -f config/remoatest3.conf

图3.8 截图8

(10)启动filebeat收集:

service filebeat start

图3.9 截图9

(11)查看到remoatest3.conf中配置的stdout{codec => rubydebug}标准输出:

图3.10 截图10

(12)查看到remoatest2.conf中配置的stdout{codec => rubydebug}标准输出:

图3.11 截图11

(13)查看到消费者中处理日志:

图3.12 截图12

(14)在Kibana中查看到对应的index:

GET _cat/indices

图3.13 截图13

(15)查看该index详细内容,数据总量及数据内容一致,即存入elasticsearch中成功:

GET logstash-dengqy-2017.09.08/_search

图3.14 截图14

https://blog.csdn.net/remoa_dengqinyi/article/category/7153570

ELK + Kafka + Filebeat的更多相关文章

  1. ELK+kafka+filebeat搭建生产ELFK集群

    文章原文 ELK 架构介绍 集群服务版本 服务 版本 java 1.8.0_221 elasticsearch 7.10.1 filebeat 7.10.1 kibana 7.10.1 logstas ...

  2. ELK+Kafka学习笔记之搭建ELK+Kafka日志收集系统集群

    0x00 概述 关于如何搭建ELK部分,请参考这篇文章,https://www.cnblogs.com/JetpropelledSnake/p/9893566.html. 该篇用户为非root,使用用 ...

  3. ELK+kafka日志收集分析系统

    环境: 服务器IP 软件 版本 192.168.0.156 zookeeper+kafka zk:3.4.14  kafka:2.11-2.2.0 192.168.0.42 zookeeper+kaf ...

  4. ELK+Kafka集群日志分析系统

    ELK+Kafka集群分析系统部署 因为是自己本地写好的word文档复制进来的.格式有些出入还望体谅.如有错误请回复.谢谢! 一. 系统介绍 2 二. 版本说明 3 三. 服务部署 3 1) JDK部 ...

  5. ELK+kafka构建日志收集系统

    ELK+kafka构建日志收集系统   原文  http://lx.wxqrcode.com/index.php/post/101.html   背景: 最近线上上了ELK,但是只用了一台Redis在 ...

  6. ELK+Kafka 企业日志收集平台(一)

    背景: 最近线上上了ELK,但是只用了一台Redis在中间作为消息队列,以减轻前端es集群的压力,Redis的集群解决方案暂时没有接触过,并且Redis作为消息队列并不是它的强项:所以最近将Redis ...

  7. ELK + kafka 日志方案

    概述 本文介绍使用ELK(elasticsearch.logstash.kibana) + kafka来搭建一个日志系统.主要演示使用spring aop进行日志收集,然后通过kafka将日志发送给l ...

  8. 企业日志大数据分析系统ELK+KAFKA实现【转】

    背景: 最近线上上了ELK,但是只用了一台Redis在中间作为消息队列,以减轻前端es集群的压力,Redis的集群解决方案暂时没有接触过,并且Redis作为消息队列并不是它的强项:所以最近将Redis ...

  9. 离线部署ELK+kafka日志管理系统【转】

    转自 离线部署ELK+kafka日志管理系统 - xiaoxiaozhou - 51CTO技术博客http://xiaoxiaozhou.blog.51cto.com/4681537/1854684 ...

随机推荐

  1. Shell 脚本进程并发&进程数控制

    Shell 都以串行的方式自上而下执行命令,不适用需要大量作业的场景. 学习此篇shell脚本进程并发,能够大大提高工作效率~ 通过wait 和 & 后台符号 可以实现并行,但无法控制进程数. ...

  2. 搭建ssm框架经验

    要想搭建好ssm框架的开发环境.首先我们需要知道ssm是什么?ssm就是spring,springmvc,mybatis. 然后我们要知道,他们分别都是怎样实现的和做什么用的,充当什么角色?这样我们就 ...

  3. classList属性详解

    之前我们要操作一个DOM元素的class属性,需要对这个DOM的class进行繁琐的循环判断,而现在HTML5为每个元素定义了classLlist属性,用于在元素中添加,移除及切换 CSS 类.该属性 ...

  4. 利用html2canvas将当前网页保存为图片.

    先分析下这个技术可实现的方式,以及优缺点吧! 前端实现 缺点是:兼容性查,需要高级浏览器支持,因为需要支持 canvas 绘图,还有就是会操作 html5 canvas api.(如果不会使用canv ...

  5. mysql帐号不允许从远程登陆

    默认情况下,mysql帐号不允许从远程登陆,只能在localhost登录.本文提供了二种方法设置mysql可以通过远程主机进行连接. 一.改表法 在localhost登入mysql后,更改 “mysq ...

  6. 【Js】JSON对象、JSON字符的使用总结

    JSON对象 / JSON字符串区别 抛出一个最常见的疑问:什么是“JSON对象”,什么是“JSON字符串”,它俩的区别是什么? 废话不多说,直接上代码. 1.JSON对象: // javascrip ...

  7. js获取播放器播放时间和停止播放

    html代码 <video id="myVideo" class="video-active" width="100%" height ...

  8. Hadoop==zookeeper

    Zookeeper 每一个专业的技术总可以在生活中找到相应的实例,就比如说zookeeper,攘其外必先安其内就很好的解释了zookeeper,Hadoop集群的组件中的很多在学习的时候都会觉得每一个 ...

  9. echarts实用小技巧,控制字符串长度,限定整数等

    限定横坐标文本字符长度 xAxis : [ axisLabel:{ formatter: function (value) { var maxlength=6; if (value.length> ...

  10. vue---day01

    1.let和const var 全局作用域和函数作用域 存在变量提升 其实是个bug 可以重复声明 let 块级作用域 不存在变量提升 不能重复声明 const 常量 和let一样还有另外两个 定义的 ...