安装环境

    jdk1.7

  zookeeper-3.4.5(参考 https://www.cnblogs.com/cac2020/p/9426531.html)

  VM虚拟机redhat6.5-x64:192.168.1.200 192.168.1.201 192.168.1.202

kafka_2.10-0.9.0.1.tgz

  Xshell4

部署方案
zookeeper三个节点 kafka三个节点

安装步骤:【三台机器同样操作 以200为例】

步骤一:解压安装文件kafka_2.10-0.9.0.1.tgz
tar -zxvf kafka_2.10-0.9.0.1.tgz.gz -C /usr/local/

步骤二:改名
mv /usr/local/kafka_2.10-0.9.0.1 /usr/local/kafka

步骤三:创建日志目录
mkdir /usr/local/kafka/kafka-logs

步骤四:修改配置文件server.properties
vim server.properties

关键配置如下:注意新版本的配置与这些不一样
# broker.id 节点id 保证集群里每个节点唯一
broker.id=0
#监听端口
port=9092
#节点名称 配置IP即可
host.name=192.168.1.114
advertised.host.name=192.168.1.114
#日志目录 (实数据存储位置)
log.dirs=/usr/local/kafka/kafka-logs
#每个topic分区
num.partitions=2
zookeeper.connect=192.168.1.114:2181,192.168.1.115:2181,192.168.1.116:2181

#每一个日志段存留时间 默认7天
log.retention.hours=168
#每一个日志段大小的最大值 默认1G
log.segment.bytes=1073741824
#segment文件存留时间和大小检测频率 默认5分钟
log.retention.check.interval.ms=300000

步骤五:启动
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

步骤六:验证
jps

  1. [root@ config]# jps
  2. Jps
  3. Kafka
  4. QuorumPeerMain

--------------------------------------------------------------------------------------------------------------------------------------------

关于kafka使用的一些问题小结

1、常用命令

  1. #启动kafka
  2. /home/cluster/kafka211/bin/kafka-server-start.sh -daemon /home/cluster/kafka211/config/server.properties
  3.  
  4. #关闭kafka
  5. /home/cluster/kafka211/bin/kafka-server-stop.sh
  6.  
  7. #创建主题 尽量不要使用下划线"_"或者点好".",可以使用横线"-"
  8. /home/cluster/kafka211/bin/kafka-topics.sh --create --zookeeper 134.32.123.101:,134.32.123.102:,134.32.123.103: --replication-factor --partitions --topic REC-CBBO-MSG-TOPIC
  9.  
  10. #删除主题 delete.topic.enable要设置为true
  11. /home/cluster/kafka211/bin/kafka-topics.sh --delete --zookeeper 134.32.123.101:,134.32.123.102:,134.32.123.103: --topic REC-CBBO-MSG-TOPIC
  12.  
  13. #查看主题
  14. /home/cluster/kafka211/bin/kafka-topics.sh --list --zookeeper 134.32.123.101:,134.32.123.102:,134.32.123.103:
  15.  
  16. #创建生产者
  17. /home/cluster/kafka211/bin/kafka-console-producer.sh --broker-list 134.32.123.101:,134.32.123.102:,134.32.123.103: --topic REC-CBBO-MSG-TOPIC
  18.  
  19. #创建消费者
  20. /home/cluster/kafka211/bin/kafka-console-consumer.sh --bootstrap-server 134.32.123.102: --topic REC-CBBO-MSG-TOPIC --from-beginning

2、问题 基于kafka_2.11-0.11.0.0.tgz

2.1.消费者group.id在那里设置:consumer.properties

#尽量不要使用下划线"_"或者点好".",可以使用横线"-"

group.id=REC-CBBO-MSG-GROUP

即使不配置  java消费者随意设置一个group.id  也可以消费消息

2.2.消费者zookeeper.connect配置一个zk,多个都可以

2.3.关于listeners地址配置

#PLAINTEXT 普通文本协议,不写地址默认本地生产消费可访问  远程java生产、消费端TCP访问不生效

listeners=PLAINTEXT://:9092

#advertised.listeners不配置上IP,则java生产、消费端会报错 Exception in thread "main" Failed to send requests for topics test with correlation ids in [0,12]

advertised.listeners=PLAINTEXT://134.32.123.102:9092

或者不配置advertised.listeners  直接配置listeners=PLAINTEXT://:134.32.123.102:9092   也是可以的

配置文件参考:

https://www.cnblogs.com/jun1019/p/6256371.html
https://www.cnblogs.com/LUA123/p/7349145.html

集群搭建参考:
https://blog.csdn.net/m0_37590135/article/details/74078885
https://www.cnblogs.com/RUReady/p/6479464.html
https://www.cnblogs.com/luotianshuai/p/5206662.html

https://blog.csdn.net/zxy987872674/article/details/72466504

集群关闭参考:

https://blog.csdn.net/u012373815/article/details/53727984

【kafka学习之二】Kafka集群搭建的更多相关文章

  1. Etcd学习(二)集群搭建Clustering

    1.单个etcd节点(测试开发用) 之前我一直开发测试一直是用的一个Etcd节点,然后启动命令一直都是直接打一个etcd(我已经将etcd安装目录的bin目录加入到PATH环 境变量中),然后启动信息 ...

  2. ZooKeeper学习笔记一:集群搭建

    作者:Grey 原文地址:ZooKeeper学习笔记一:集群搭建 说明 单机版的zk安装和运行参考:https://zookeeper.apache.org/doc/r3.6.3/zookeeperS ...

  3. kafka学习(二)-zookeeper集群搭建

    zookeeper概念 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名 服务等.Zookeeper是h ...

  4. kafka系列一、kafka安装及部署、集群搭建

    一.环境准备 操作系统:Cent OS 7 Kafka版本:kafka_2.10 Kafka官网下载:请点击 JDK版本:1.8.0_171 zookeeper-3.4.10 二.kafka安装配置 ...

  5. Zookeeper(二) zookeeper集群搭建 与使用

    一.zookeeper集群搭建 鉴于 zookeeper 本身的特点,服务器集群的节点数推荐设置为奇数台.我这里我规划为三台, 为别为 hadoop01,hadoop02,hadoop03    1. ...

  6. Kafka 详解(二)------集群搭建

    这里通过 VMware ,我们安装了三台虚拟机,用来搭建 kafka集群,虚拟机网络地址如下: hostname                      ipaddress             ...

  7. Zookeeper学习之路 (二)集群搭建

    ZooKeeper 软件安装须知 鉴于 ZooKeeper 本身的特点,服务器集群的节点数推荐设置为奇数台.我这里我规划为三台, 为别为 hadoop1,hadoop2,hadoop3 ZooKeep ...

  8. redis 学习笔记(6)-cluster集群搭建

    上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞shardi ...

  9. Kafka学习之二 Kafka安装和使用

    部署环境Linux(Centos 6.5),JDK 1.8.0,zookeeper-3.4.12,kafka_2.11-2.0.0. 1. 单机环境     官方建议使用JDK 1.8版本,因此本文使 ...

  10. 【Spark-core学习之三】 Spark集群搭建 & spark-shell & Master HA

    环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark ...

随机推荐

  1. java 程序运行的基础知识【Java bytecode】

    聊聊文字,写一篇关于 java 基础知识的博文. JVM 线程栈 到 函数运行 每一个JVM线程来说启动的时候都会创建一个私有的线程栈.一个jvm线程栈用来存储栈帧,jvm线程栈和C语言中的栈很类似, ...

  2. 【转】python中json.loads与eval的区别

    JSON有两种结构: “名称/值”对的集合(A collection of name/value pairs).不同的语言中,它被理解为对象(object),纪录(record),结构(struct) ...

  3. jquery的$.each如何退出循环和退出本次循环

    https://api.jquery.com/jQuery.each/ We can break the $.each() loop at a particular iteration by maki ...

  4. http访问tomcat server的一个流程

    Tomcat Server处理一个http请求的过程 假设来自客户的请求为: http://localhost:8080/wsota/wsota_index.jsp 1) 请求被发送到本机端口8080 ...

  5. 7.24python协程(2)和IO模型

    2018-7-24 08:50:29 异步IO模型 epoll  机制  linux 给每个监听对象绑定回调函数,当要读的对象来了时候,回调函数直接被执行,然后通知用户,效率非常高! python无法 ...

  6. Redis提供的持久化机制(RDB和AOF)【转载】

    Redis提供的持久化机制    Redis是一种面向“key-value”类型数据的分布式NoSQL数据库系统,具有高性能.持久存储.适应高并发应用场景等优势.它虽然起步较晚,但发展却十分迅速. 近 ...

  7. ABP之仓储

    一.仓储的简单介绍 仓储(Repository):这是属于领域层的重要组成部分,它的作用就是完成和数据库的交互工作,仓储里封装了很多操作数据库的方法.所以说仓储是数据映射层和领域层的交互中介.ABP针 ...

  8. FTP的两种主动模式和被动模式

    参考:https://blog.csdn.net/xqhrs232/article/details/54633006 https://blog.csdn.net/yuanhangq220/articl ...

  9. Nginx配置认证登录

    本配置实现Nginx认证登录以免重要信息暴露在公网 日志收集ELK展示工具kibana免费版不支持密码验证,需要设置Nginx反向代理然后关闭kibana默认端口5601使用Nginx端口登录进行用户 ...

  10. ubuntu16.04下笔记本电脑扩展双屏安装过程

    想给笔记本电脑外界一个显示屏,因为科研需要,我的笔记本是windows10加Ubuntu16.04双系统,主要使用Ubuntu系统. 首先是硬件 一个外置显示屏是必须的了,然后我的笔电上只有HDMI接 ...