【kafka学习之二】Kafka集群搭建

安装环境

　   jdk1.7

　　zookeeper-3.4.5（参考 https://www.cnblogs.com/cac2020/p/9426531.html）

　　VM虚拟机redhat6.5-x64：192.168.1.200 192.168.1.201 192.168.1.202

kafka_2.10-0.9.0.1.tgz

　　Xshell4

部署方案
zookeeper三个节点 kafka三个节点

安装步骤：【三台机器同样操作 以200为例】

步骤一：解压安装文件kafka_2.10-0.9.0.1.tgz
tar -zxvf kafka_2.10-0.9.0.1.tgz.gz -C /usr/local/

步骤二：改名
mv /usr/local/kafka_2.10-0.9.0.1 /usr/local/kafka

步骤三：创建日志目录
mkdir /usr/local/kafka/kafka-logs

步骤四：修改配置文件server.properties
vim server.properties

关键配置如下：注意新版本的配置与这些不一样
# broker.id 节点id 保证集群里每个节点唯一
broker.id=0
#监听端口
port=9092
#节点名称 配置IP即可
host.name=192.168.1.114
advertised.host.name=192.168.1.114
#日志目录 (实数据存储位置)
log.dirs=/usr/local/kafka/kafka-logs
#每个topic分区
num.partitions=2
zookeeper.connect=192.168.1.114:2181,192.168.1.115:2181,192.168.1.116:2181

#每一个日志段存留时间 默认7天
log.retention.hours=168
#每一个日志段大小的最大值 默认1G
log.segment.bytes=1073741824
#segment文件存留时间和大小检测频率 默认5分钟
log.retention.check.interval.ms=300000

步骤五：启动
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

步骤六：验证
jps

[root@ config]# jps
 Jps
 Kafka
 QuorumPeerMain

--------------------------------------------------------------------------------------------------------------------------------------------

关于kafka使用的一些问题小结

1、常用命令

#启动kafka
/home/cluster/kafka211/bin/kafka-server-start.sh -daemon /home/cluster/kafka211/config/server.properties

#关闭kafka
/home/cluster/kafka211/bin/kafka-server-stop.sh

#创建主题 尽量不要使用下划线"_"或者点好".",可以使用横线"-"
/home/cluster/kafka211/bin/kafka-topics.sh --create --zookeeper 134.32.123.101:,134.32.123.102:,134.32.123.103: --replication-factor  --partitions  --topic REC-CBBO-MSG-TOPIC

#删除主题  delete.topic.enable要设置为true
/home/cluster/kafka211/bin/kafka-topics.sh --delete --zookeeper 134.32.123.101:,134.32.123.102:,134.32.123.103: --topic REC-CBBO-MSG-TOPIC

#查看主题
/home/cluster/kafka211/bin/kafka-topics.sh --list --zookeeper 134.32.123.101:,134.32.123.102:,134.32.123.103:

#创建生产者
/home/cluster/kafka211/bin/kafka-console-producer.sh --broker-list 134.32.123.101:,134.32.123.102:,134.32.123.103: --topic REC-CBBO-MSG-TOPIC

#创建消费者
/home/cluster/kafka211/bin/kafka-console-consumer.sh --bootstrap-server 134.32.123.102: --topic REC-CBBO-MSG-TOPIC --from-beginning 

2、问题 基于kafka_2.11-0.11.0.0.tgz

2.1.消费者group.id在那里设置:consumer.properties

#尽量不要使用下划线"_"或者点好".",可以使用横线"-"

group.id=REC-CBBO-MSG-GROUP

即使不配置  java消费者随意设置一个group.id  也可以消费消息

2.2.消费者zookeeper.connect配置一个zk，多个都可以

2.3.关于listeners地址配置

#PLAINTEXT 普通文本协议，不写地址默认本地生产消费可访问  远程java生产、消费端TCP访问不生效

listeners=PLAINTEXT://:9092

#advertised.listeners不配置上IP，则java生产、消费端会报错 Exception in thread "main" Failed to send requests for topics test with correlation ids in [0,12]

advertised.listeners=PLAINTEXT://134.32.123.102:9092

或者不配置advertised.listeners  直接配置listeners=PLAINTEXT://:134.32.123.102:9092   也是可以的

配置文件参考：

https://www.cnblogs.com/jun1019/p/6256371.html
https://www.cnblogs.com/LUA123/p/7349145.html

集群搭建参考：
https://blog.csdn.net/m0_37590135/article/details/74078885
https://www.cnblogs.com/RUReady/p/6479464.html
https://www.cnblogs.com/luotianshuai/p/5206662.html

https://blog.csdn.net/zxy987872674/article/details/72466504

集群关闭参考：

https://blog.csdn.net/u012373815/article/details/53727984