http://kafka.apache.org/documentation.html#configuration   Broker Configs 4个必填参数, broker.id Each broker is uniquely identified by a non-negative integer id broker唯一标识,broker可以在不同的host或port,但必须保证id唯一 log.dirs (/tmp/kafka-logs) 日志文件存放的目录 可以用逗号隔开多个目录,当创…

kafka auto.offset.reset参数解析 1.latest和earliest区别 2.创建topic 3.生产数据和接收生产数据 4.测试代码 auto.offset.reset关乎kafka数据的读取.常用的二个值是latest和earliest,默认是latest. 如果kafka只接收数据,从来没来消费过,程序一开始不要用latest,不然以前的数据就接收不到了.应当先earliest,然后二都都可以. earliest 当各分区下有已提交的offset时,从提交的offse…

1.angular-cli.json配置参数解析 { "project": { "name": "ng-admin", //项目名称 "ejected": false // 标记该应用是否已经执行过eject命令把webpack配置释放出来 }, "apps": [ { "root": "src", // 源码根目录 "outDir": "…

1.Consumer Group 与 topic 订阅 每个Consumer 进程都会划归到一个逻辑的Consumer Group中,逻辑的订阅者是Consumer Group.所以一条message可以被多个订阅message 所在的topic的每一个Consumer Group,也就好像是这条message被广播到每个Consumer Group一样.而每个Consumer Group中,类似于一个Queue(JMS中的Queue)的概念差不多,即一条消息只会被Consumer Group中…

本文主要总结一下redis常用的配置参数的用法: 以下参数决定redis运行方式,默认前台运行,修改为yes可以让redis以后台守护进程方式运行 daemonize no 以下参数指定redis的pid文件,当redis以守护进程方式运行时,默认会把pid写入/var/run/redis.pid文件,可以修改 pidfile /var/run/redis.pid 以下参数指定Redis监听端口,默认为6379 port Tips:作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为…

属性 描述 类型 默认值 bootstrap.servers 用于建立与kafka集群的连接,这个list仅仅影响用于初始化的hosts,来发现全部的servers.格式:host1:port1,host2:port2,…,数量尽量不止一个,以防其中一个down了 list   acks Server完成 producer request 前需要确认的数量.acks=0时,producer不会等待确认,直接添加到socket等待发送:acks=1时,等待leader写到local log就行:a…

摘要 本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景.以及未来版本中对High Level Consumer的重新设计–使用Consumer Coordinator解决Split Brain和Herd等问题. 1.High Level Consumer 很多时候,客户程序只是希望从Kafka读取数据,不太关心消息offset的处理.同时也希望提供一些…

1.参数说明(部分,待完善) -Xms128M:JVM初始分配的堆内存 -Xmx256M:JVM最大允许分配的堆内存,按需分配 -XX:PermSize=64M: JVM初始分配的非堆内存 -XX:MaxPerSize=128M:JVM最大允许分配的非堆内存,按需分配   2.堆内存分配(-Xms -Xmx)    JVM初始分配的堆内存由-Xms指定,默认是物理内存的1/64:最大分配的堆内存由-Xmx指定,默认是物理内存的1/4. 默认空余堆小于40%时,JVM就会增大堆直到-Xmx的最大限…

Kafka为broker,producer和consumer提供了很多的配置参数. 了解并理解这些配置参数对于我们使用kafka是非常重要的.本文列出了一些重要的配置参数. 官方的文档 Configuration比较老了,很多参数有所变动, 有些名字也有所改变.我在整理的过程中根据0.8.2的代码也做了修正. Boker配置参数 下表列出了Boker的重要的配置参数, 更多的配置请参考 kafka.server.KafkaConfig name 默认值 描述 brokerid none 每一个b…

Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建.高可用性.新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑. 关于Kafka的结构.功能.特点.适用场景等,网上到处都是,我就不再赘述了,直接进入正文 Kafka 0.9集群安装配置 操作系统:CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器…