今天遇到kafka发送消息的时候,一直报Kafka“Failed to send messages after 3 tries”错误,根据网上找问题,修改各种配置参数,各种重启,还是解决不了问题。

郁闷的关键在于 ,kafka装在四台机器上面,修改参数,然后停止重启各种不方便。

最后发现是因为同事昨天将server.properties这个重要的配置scp到其他机器上面,他忘记修改broker.id这个参数了。导致我在网上找出的问题不是我想要的问题。

这个参数的是[0,1,2,...8]。修改后。。。重启kafa....

利用午休时间最后在控制台命令行测试和程序发送消息都能成功。

顺便说说关于kafka的命令:

kafka安装服务器:k1,k2,k3,k4

zookeeper安装服务器:k1,k2,k3,k4
安装目录:/home/kafka/
运行kafka
/home/kafka/bin/kafka-server-start.sh /home/kafka/config/server.properties >/dev/null 2>&1 &
创建Topic
/home/kafka/bin/kafka-topics.sh --zookeeper k1:2181,k2-2181,k3-2181,k4-2181 --topic mytopic --replication-factor 1 --partitions 1 --create

Topic列表
/home/kafka/bin/kafka-topics.sh --zookeeper k1:2181,k2-2181,k3-2181,k4-2181 --list
生产者测试
/home/kafka/bin/kafka-console-producer.sh --broker-list k1:9092,k2-9092,k3-9092,k4-9092 --topic mytopic2

消费者测试
/home/kafka/bin/kafka-console-consumer.sh --zookeeper k1:2181,k2-2181,k3-2181,k4-2181 --topic mytopic --from-beginning
查看Topic
/home/kafka/bin/kafka-topics.sh --describe --zookeeper k1:2181,k2-2181,k3-2181,k4-2181 --topic mytopic

关闭kafka

我直接用的kill -9  kafka进程号   就是这么简单粗暴。

差不多还是休息哈吧  不然下午看着电脑想睡觉,晚上有时间我把测试代码贴出来一个小demo。

kafka中配置细节的更多相关文章

  1. Spring Kafka中关于Kafka的配置参数

    #################consumer的配置参数(开始)################# #如果'enable.auto.commit'为true,则消费者偏移自动提交给Kafka的频率 ...

  2. CentOS中配置Kafka集群

    环境:三台虚拟机Host0,Host1,Host2 Host0:192.168.10.2 Host1:  192.168.10.3 Host2:  192.168.10.4 在三台虚拟机上配置zook ...

  3. springcloud Zuul中路由配置细节

    上篇文章我们介绍了API网关的基本构建方式以及请求过滤,小伙伴们对Zuul的作用应该已经有了一个基本的认识,但是对于路由的配置我们只是做了一个简单的介绍,本文我们就来看看路由配置的其他一些细节. 首先 ...

  4. Kafka中Topic级别配置

    一.Kafka中topic级别配置 1.Topic级别配置 配置topic级别参数时,相同(参数)属性topic级别会覆盖全局的,否则默认为全局配置属性值. 创建topic参数可以设置一个或多个--c ...

  5. Apache ZooKeeper在Kafka中的角色 - 监控和配置

    1.目标 今天,我们将看到Zookeeper在Kafka中的角色.本文包含Kafka中需要ZooKeeper的原因.我们可以说,ZooKeeper是Apache Kafka不可分割的一部分.在了解Zo ...

  6. kafka中的消费组

    一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少.最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时 ...

  7. kafka brokers配置参数详解

    基本配置如下: -broker.id-log.dirs-zookeeper.connect Topic-level配置以及其默认值将在下面讨论. Property Default Descriptio ...

  8. kafka中server.properties配置文件参数说明

    转自:http://blog.csdn.net/lizhitao/article/details/25667831 参数 说明(解释) broker.id =0 每一个broker在集群中的唯一表示, ...

  9. kafka中处理超大消息的一些考虑

    Kafka设计的初衷是迅速处理短小的消息,一般10K大小的消息吞吐性能最好(可参见LinkedIn的kafka性能测试).但有时候,我们需要处理更大的消息,比如XML文档或JSON内容,一个消息差不多 ...

随机推荐

  1. 【转】linux configure报错configure: error: C++ preprocessor “/lib/cpp” fails sanity 的解决办法

    /lib/cpp fails sanity check的解决 在某些软件的时候,运行./configure 会报错,错误提示为: configure: error: C++ preprocessor ...

  2. Consumer

    Description FJ is going to do some shopping, and before that, he needs some boxes to carry the diffe ...

  3. sql 判断

    sql server select expertId,mail= ( CASE mail WHEN '' THEN ' ' else mail end ) from Siemens.dbo.tblEx ...

  4. QT4.8.5 QComboBox 增加选择菜单记录

    QT4.8.5 QComboBox 增加选择菜单记录 因为软件需要测试多个UART ,多个LAN,当要测试多个同样功能的时候就可以使用QComboBox类实现一个菜单选择功能. 步骤如下: 1. 在U ...

  5. [uart]2.tty和uart的函数调用流程

    以下是在include/uapi/linux/tty.h中定义了现有的线规号,如果需要定义新的,则需要在后面添加新的 /* line disciplines */ #define N_TTY 0 #d ...

  6. linux支持的内存根文件系统

    linux支持两种内存根文件系统:ramdisk和initramfs. ---------------------------------------------------------------- ...

  7. hbase 部署

    hbase的部署相对于java来说就比较简单啦,主要过程如下: 1.下载hbase最新的稳定版 2.拷贝到相应的目录 3.修改conf目录下的hbase-env.sh,设置java 和不适用内置的zo ...

  8. .net垃圾回收

    垃圾回收器(gc)用来在.NET中进行内存管理,特别是它可以恢复正在运行的应用程序需要的内存. .NET运行库采用的方法是垃圾回收器,这是一个程序,其目的是清理内存.方法是所有动态请求的内存都分配到堆 ...

  9. 解决spring-boot-starter-logging与log4j冲突

    由于公司在super-bom里配置了检查规则,build项目时遇到错误: [ERROR] [XXX Enforcer Rules] find DuplicateClasses Found in:org ...

  10. Mysql 常用工具

    mysqladmin:用于管理MySQL服务器的客户端 mysqladmin是一个执行管理操作的客户程序.可以用它来检查服务器的配置和当 前的状态,创建并删除数据库等等. 这样调用mysqladmin ...