症状:Producer连不上,提示没有可用Node. 解决:在安装kafka的目录中配置server.properties 1.listeners=PLAINTEXT://:9092或listeners=PLAINTEXT://内网ip:9092  注:千万不能写localhost,否则虽然在本地可以通信,一旦外网通过JavaAPI访问就会出错.当然也不能写公网ip,否则报can‘t bind错误. 2.advertised.listeners=PLAINTEXT://公网ip:9092 3.h…

2018年05月31日 13:26:59 xiaoguozi0218 阅读数:2018更多 个人分类: 大数据   年后上线的系统,与其他业务系统的通信方式采用了第三代消息系统中间件Kafka.由于是第一次使用,踩了很多坑,通过这篇博客和大家分享一下,也算是做个总结,以便以后温故而知新. 一.线上问题 系统平稳运行两个多月,基本上没有问题,知道最近几天,突然出现Kafka手动提交失败,堆栈信息如下: 通过堆栈信息可以看出,有两个重要参数: session.timeout  和 max.poll.…

网上有铺天盖地的文章,介绍如何将Kafka同时配置成公网地址.内网地址,以实现内外网分流,看着都很成功. 但我们通过Flume消费一个配置了内外网分流的Kafka(版本0.10.1)集群时遇到了坑,却没有从现有的文章中找到解决方案. 如果使用公有云服务,一般一台虚拟机只有一块网卡,这时内外网分流的Kafka配置方案如下: listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT listeners=INTERNAL:…

前提: 只针对Kafka 0.9.0.1版本; 说是运维,其实偏重于问题解决; 大部分解决方案都是google而来, 我只是作了次搬运工; 有些问题的解决方案未必一定是通用的, 若应用到线上请慎重; 如有疏漏之处, 欢迎大家批评指正; 列表: Replica无法从leader同步消息 Broker到zk集群的连接不时会断开重断 Broker重启耗时很久 不允许脏主选举导致Broker被强制关闭 Replica从错误的Partition leader上去同步数据 __consumer_offset…

版本介绍(64位): Windows 10 JDK1.8.0_171 zookeeper-3.4.8/ kafka_2.11-0.10.0.1.tgz 点击链接进行下载 1. JDK安装和环境搭建 自行百度. 2. zookeeper 安装和运行 a. 点击上方链接直接下载,或者有其他链接,下载此文件 b. 下载至本地,并解压 c. 更改配置文件 选择conf中的zoo_sample.cfg文件,改名为zoo.cfg,并更改配置文件内容. 改名为 更改配置文件内容,设置数据路径 d.  配置环境…

报错现象: 在pom文件添加: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>0.8.2.2</version> </dependency> 完整的pom文件: <?xml version="1.0" encoding="UTF-8&q…

目前中央库中 org.apache.kafka 是用jdk1.7编译的, 故跑在1.6的jvm中会报错 解决方案: 1. 下载kafka源码, 本地sbt进行install, 编译前 java -version确认classpath中的jdk版本是1.6 2. 编译打包成功后, 进入当前kafka目录的 core/target/scala_2.8.0/, 找到kafka-0.7.2, 将此jar包通过maven install -file 或者 maven deploy -file 添加到本地或…

转载自:https://www.jianshu.com/p/d2cbaae38014 前提: 只针对Kafka 0.9.0.1版本; 说是运维,其实偏重于问题解决; 大部分解决方案都是google而来, 我只是作了次搬运工; 有些问题的解决方案未必一定是通用的, 若应用到线上请慎重; 如有疏漏之处, 欢迎大家批评指正; 列表: Replica无法从leader同步消息 Broker到zk集群的连接不时会断开重断 Broker重启耗时很久 不允许脏主选举导致Broker被强制关闭 Replica从…

问题描述: kafka是之前早就搭建好的,新建的storm集群要消费kafka的主题,由于kafka中已经记录了很多消息,storm消费时从最开始消费问题解决: 下面是摘自官网的一段话:How KafkaSpout stores offsets of a Kafka topic and recovers in case of failuresAs shown in the above KafkaConfig properties, you can control from where in th…

原设置 output { kafka { acks => " enable_metric => false codec => "json" topic_id => "topic_test" bootstrap_servers =>"kafka:9092" batch_size => 2 } stdout { codec => "json" } } 异常 ERROR logst…