启动多个进程收集日志.直接output到kafka,output到不同的topiccat filebeat.ymlfilebeat.prospectors:- input_type: log paths: - /home/test/job/logs/job-20*.log document_type: job tail_files: true multiline.pattern: ^\[[0-9]{4}-[0-9]{2}-[0-9]{2} multiline.negate: true multi

input { file { type => "zj_api_access" path => ["/data01/applog_backup/zjzc_log/zj-api*access*"] } file { type => "wj_api_access" path => ["/data01/applog_backup/winfae_log/wj-api*access*"] } } filter {

前言 当我们在shell中执行topic删除命令的时候` kafka-topics --delete --topic xxxx --zookeeper xxx`,会显示,xxxx已经被标记为删除.然后过了很久你再查看topic列表,发现那个topic依然被标记删除,显然删除没有真正执行.下面就深入了解,kafka删除topic的流程. 先说结论 delete.topic.enable,配置默认是false,意思是 是否允许kafka集群删除topic,只有为true的情况,kafka才会删除那些

与Topic相关的代码主要位于nsqd/topic.go中. 上一篇文字我们讲解了下nsq的启动流程.对nsq的整体框架有了一个大概的了解.本篇文章就是由大到小.对于topic这一部分进行详尽的讲解. topic 管理着多个 channel 通过从 client 中获取消息,然后将消息发送到 channel 中传递给客户端.在 channel 初始化时会加载原有的 topic 并在最后统一执行 topic.Start(),新创建的 topic 会同步给 lookupd 后开始运行. nsqd 中

[TOC] 今天我们主要分析下broker被选为controller之后,主要干了什么.门面代码先列出来: def onControllerFailover() { if (isRunning) { info("Broker %d starting become controller state transition".format(config.brokerId)) //read controller epoch from zk readControllerEpochFromZook

1.有了分区,可以多个client消费一个topic,有了分区,可以将一个topic 分散在多个broker 2.kafka通过复制实现可靠,通过横向扩展提高性能(如增加分区.客户端.增加broker) 3.消费者占用网络流量,而复制.镜像也会占用网络流量.如果网络接口出现饱和,那么集群的复制出现延时就在所难免,从而让集群不堪一击. 4.如果服务器返回错误, get ()方怯会抛出异常  5.因为生产者会自动进行重试,所以就没必要在代码逻辑里处理那些可重试的错误.你只需要处理那些不可重试的错误或

nsq的源码比较简单,值得一读,特别是golang开发人员,下面重点介绍nsqd,看完这篇文章希望你能对消息队列的原理和实现有一定的了解. nsqd是一个守护进程,负责接收,排队,投递消息给客户端,并不保证消息的严格顺序,nsqd默认监听一个tcp端口 (4150) 和一个http端口 (4151) 以及一个可选的https端口 对订阅了同一个topic的同一个channel的消费者使用负载均衡策略,其实就是多个协程消费同一个channel 只要channel存在,即使没有该channel的消费

前言 面试官:你了解RocketMQ是如何存储消息的吗?我:额,,,你等下,我看下这篇文字, (逃 由于这部分内容优点多,所以请哥哥姐姐们自备茶水,欢迎留言! RocketMQ存储设计是高可用和高性能的保证, 利用磁盘存储来满足海量堆积能力.Kafka单机在topic数量在100+的时候,性能会下降很多,而RocketMQ能够在多个topic存在时,依然保持高性能 下面主要从存储结构.存储流程.存储优化的技术来形成文字 基于的版本是RocketMQ4.5.2 存储架构图 要发送的消息,会按顺序写

kafka 0.11.0.0版本丰富了kafka-consumer-groups脚本的功能,用户可以直接使用该脚本很方便地为已有的consumer group重新设置位移. 前提必须consumer group必须是inactive的,即不能是处于正在工作中的状态(即要停止正在消费它的程序或应用).否则会出现以下报错: 上图是:logstash组件还在消费组(logstash)的数据,所以失败,把logstash进程关掉就好了. 先查看消费进度: bin/kafka-consumer-group

0 环境 Linux主机,cengtos7系统 安装有openresty软件,用来访问生成日志信息 1.15.8版本 安装有filebeat软件,用来收集openresty的日志 7.3版本 安装有redis软件,用来接收filebeat发送过来的日志,5.0.5版本 fields_under_root的值默认是false 1. filebeat.yml配置 filebeat.inputs: - type: log enabled: true paths: - /usr/local/openre

附加技巧 步骤流程: 使用filebeat收集一台主机上两个不同应用的日志,传递给redis,然后logstash从redis中拉去数据传递给elasticsearch 1.filebeat.yml文件配置 filebeat.inputs: - type: log enabled: true paths: - /usr/local/openresty/nginx/logs/host.access.log # 假设应用1的日志路径 fields: log_source: messages # lo

 这节介绍RocketMQ客户端的启动流程,即Consumer和Producer的启动流程. 1. 客户端demo  首先先看下客户端的demo Producer: public class SyncProducer { public static void main (String[] args) throws Exception { // 实例化消息生产者Producer DefaultMQProducer producer = new DefaultMQProducer ("GroupTe

目录 常用操作 Sentry kafka 清理 Kafka 术语 Kafka 主题剖析 Kafka 生产者 kafka 消费者和消费组 一致性和可用性 写入处理 失败处理 Kafka 客户端一致性 文档 常用操作 获取ip export ipadd=$(hostname -I | tr -d [:space:]) 查询操作 # 查询 group 分组 ./kafka-consumer-groups.sh --bootstrap-server $ipadd:9092 --list # 查看消费情况

0x00 filebeat配置多个topic filebeat.prospectors: - input_type: log encoding: GB2312 # fields_under_root: true fields: ##添加字段 serverip: 192.168.1.10 logtopic: wap enabled: True paths: - /app/wap/logs/catalina.out multiline.pattern: '^\[' #java报错过滤 multili

filebeat配置多个topic #filebeat.prospectors: filebeat.inputs: - input_type: log encoding: GB2312 # fields_under_root: true fields: ##添加字段 serverip: 192.168.1.10 logtopic: wap enabled: True paths: - /app/wap/logs/catalina.out multiline.pattern: '^\[' #jav

[elk@zjtest7-frontend type]$ cat input.conf input { file { type => "type_a" path => ["/usr/local/logstash-2.3.4/config/type/a.txt"] } file { type => "type_b" path => ["/usr/local/logstash-2.3.4/config/type/b.

/*************** 根据type判断 input { file { type => "zj_frontend_access" path => ["/data01/applog_backup/zjzc_log/zj-frontend0*access*"] } file { type => "wj_frontend_access" path => ["/data01/applog_backup/winf

# 更多ELK资料请访问 http://devops.taobao.com 一.配置前需要注意: 1.Use chmod to modify nginx log file privilege. E.g. chmod 664 access.log 2.Modify /etc/default/logstash => LS_USER field to change logstash user, e.g. root --------------------------------------------

Logstash 是开源的服务器端数据处理管道,能够同时 从多个来源采集数据.转换数据,然后将数据发送到您最喜欢的 “存储库” 中.(我们的存储库当然是 Elasticsearch.) 作用:集中.转换和存储数据 官方网站: https://www.elastic.co/cn/products/logstash 一个民间的中文Logstash最佳实践: https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/index.html 1.下

一.filebeat 收集软链文件日志 1.1.场景 由于我们新部署的Nginx 日志都是采用的软链的形式. lrwxrwxrwx 1 root root 72 Apr 6 00:00 jy.baidu.com-80-access.log -> /usr/local/openresty/nginx/