【kafka学习之二】Kafka集群搭建
安装环境
jdk1.7
zookeeper-3.4.5(参考 https://www.cnblogs.com/cac2020/p/9426531.html)
VM虚拟机redhat6.5-x64:192.168.1.200 192.168.1.201 192.168.1.202
kafka_2.10-0.9.0.1.tgz
Xshell4
部署方案
zookeeper三个节点 kafka三个节点
安装步骤:【三台机器同样操作 以200为例】
步骤一:解压安装文件kafka_2.10-0.9.0.1.tgz
tar -zxvf kafka_2.10-0.9.0.1.tgz.gz -C /usr/local/
步骤二:改名
mv /usr/local/kafka_2.10-0.9.0.1 /usr/local/kafka
步骤三:创建日志目录
mkdir /usr/local/kafka/kafka-logs
步骤四:修改配置文件server.properties
vim server.properties
关键配置如下:注意新版本的配置与这些不一样
# broker.id 节点id 保证集群里每个节点唯一
broker.id=0
#监听端口
port=9092
#节点名称 配置IP即可
host.name=192.168.1.114
advertised.host.name=192.168.1.114
#日志目录 (实数据存储位置)
log.dirs=/usr/local/kafka/kafka-logs
#每个topic分区
num.partitions=2
zookeeper.connect=192.168.1.114:2181,192.168.1.115:2181,192.168.1.116:2181
#每一个日志段存留时间 默认7天
log.retention.hours=168
#每一个日志段大小的最大值 默认1G
log.segment.bytes=1073741824
#segment文件存留时间和大小检测频率 默认5分钟
log.retention.check.interval.ms=300000
步骤五:启动
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
步骤六:验证
jps
- [root@ config]# jps
- Jps
- Kafka
- QuorumPeerMain
--------------------------------------------------------------------------------------------------------------------------------------------
关于kafka使用的一些问题小结
1、常用命令
- #启动kafka
- /home/cluster/kafka211/bin/kafka-server-start.sh -daemon /home/cluster/kafka211/config/server.properties
- #关闭kafka
- /home/cluster/kafka211/bin/kafka-server-stop.sh
- #创建主题 尽量不要使用下划线"_"或者点好".",可以使用横线"-"
- /home/cluster/kafka211/bin/kafka-topics.sh --create --zookeeper 134.32.123.101:,134.32.123.102:,134.32.123.103: --replication-factor --partitions --topic REC-CBBO-MSG-TOPIC
- #删除主题 delete.topic.enable要设置为true
- /home/cluster/kafka211/bin/kafka-topics.sh --delete --zookeeper 134.32.123.101:,134.32.123.102:,134.32.123.103: --topic REC-CBBO-MSG-TOPIC
- #查看主题
- /home/cluster/kafka211/bin/kafka-topics.sh --list --zookeeper 134.32.123.101:,134.32.123.102:,134.32.123.103:
- #创建生产者
- /home/cluster/kafka211/bin/kafka-console-producer.sh --broker-list 134.32.123.101:,134.32.123.102:,134.32.123.103: --topic REC-CBBO-MSG-TOPIC
- #创建消费者
- /home/cluster/kafka211/bin/kafka-console-consumer.sh --bootstrap-server 134.32.123.102: --topic REC-CBBO-MSG-TOPIC --from-beginning
2、问题 基于kafka_2.11-0.11.0.0.tgz
2.1.消费者group.id在那里设置:consumer.properties
#尽量不要使用下划线"_"或者点好".",可以使用横线"-"
group.id=REC-CBBO-MSG-GROUP
即使不配置 java消费者随意设置一个group.id 也可以消费消息
2.2.消费者zookeeper.connect配置一个zk,多个都可以
2.3.关于listeners地址配置
#PLAINTEXT 普通文本协议,不写地址默认本地生产消费可访问 远程java生产、消费端TCP访问不生效
listeners=PLAINTEXT://:9092
#advertised.listeners不配置上IP,则java生产、消费端会报错 Exception in thread "main" Failed to send requests for topics test with correlation ids in [0,12]
advertised.listeners=PLAINTEXT://134.32.123.102:9092
或者不配置advertised.listeners 直接配置listeners=PLAINTEXT://:134.32.123.102:9092 也是可以的
配置文件参考:
https://www.cnblogs.com/jun1019/p/6256371.html
https://www.cnblogs.com/LUA123/p/7349145.html
集群搭建参考:
https://blog.csdn.net/m0_37590135/article/details/74078885
https://www.cnblogs.com/RUReady/p/6479464.html
https://www.cnblogs.com/luotianshuai/p/5206662.html
https://blog.csdn.net/zxy987872674/article/details/72466504
集群关闭参考:
https://blog.csdn.net/u012373815/article/details/53727984
【kafka学习之二】Kafka集群搭建的更多相关文章
- Etcd学习(二)集群搭建Clustering
1.单个etcd节点(测试开发用) 之前我一直开发测试一直是用的一个Etcd节点,然后启动命令一直都是直接打一个etcd(我已经将etcd安装目录的bin目录加入到PATH环 境变量中),然后启动信息 ...
- ZooKeeper学习笔记一:集群搭建
作者:Grey 原文地址:ZooKeeper学习笔记一:集群搭建 说明 单机版的zk安装和运行参考:https://zookeeper.apache.org/doc/r3.6.3/zookeeperS ...
- kafka学习(二)-zookeeper集群搭建
zookeeper概念 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名 服务等.Zookeeper是h ...
- kafka系列一、kafka安装及部署、集群搭建
一.环境准备 操作系统:Cent OS 7 Kafka版本:kafka_2.10 Kafka官网下载:请点击 JDK版本:1.8.0_171 zookeeper-3.4.10 二.kafka安装配置 ...
- Zookeeper(二) zookeeper集群搭建 与使用
一.zookeeper集群搭建 鉴于 zookeeper 本身的特点,服务器集群的节点数推荐设置为奇数台.我这里我规划为三台, 为别为 hadoop01,hadoop02,hadoop03 1. ...
- Kafka 详解(二)------集群搭建
这里通过 VMware ,我们安装了三台虚拟机,用来搭建 kafka集群,虚拟机网络地址如下: hostname ipaddress ...
- Zookeeper学习之路 (二)集群搭建
ZooKeeper 软件安装须知 鉴于 ZooKeeper 本身的特点,服务器集群的节点数推荐设置为奇数台.我这里我规划为三台, 为别为 hadoop1,hadoop2,hadoop3 ZooKeep ...
- redis 学习笔记(6)-cluster集群搭建
上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞shardi ...
- Kafka学习之二 Kafka安装和使用
部署环境Linux(Centos 6.5),JDK 1.8.0,zookeeper-3.4.12,kafka_2.11-2.0.0. 1. 单机环境 官方建议使用JDK 1.8版本,因此本文使 ...
- 【Spark-core学习之三】 Spark集群搭建 & spark-shell & Master HA
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark ...
随机推荐
- java 程序运行的基础知识【Java bytecode】
聊聊文字,写一篇关于 java 基础知识的博文. JVM 线程栈 到 函数运行 每一个JVM线程来说启动的时候都会创建一个私有的线程栈.一个jvm线程栈用来存储栈帧,jvm线程栈和C语言中的栈很类似, ...
- 【转】python中json.loads与eval的区别
JSON有两种结构: “名称/值”对的集合(A collection of name/value pairs).不同的语言中,它被理解为对象(object),纪录(record),结构(struct) ...
- jquery的$.each如何退出循环和退出本次循环
https://api.jquery.com/jQuery.each/ We can break the $.each() loop at a particular iteration by maki ...
- http访问tomcat server的一个流程
Tomcat Server处理一个http请求的过程 假设来自客户的请求为: http://localhost:8080/wsota/wsota_index.jsp 1) 请求被发送到本机端口8080 ...
- 7.24python协程(2)和IO模型
2018-7-24 08:50:29 异步IO模型 epoll 机制 linux 给每个监听对象绑定回调函数,当要读的对象来了时候,回调函数直接被执行,然后通知用户,效率非常高! python无法 ...
- Redis提供的持久化机制(RDB和AOF)【转载】
Redis提供的持久化机制 Redis是一种面向“key-value”类型数据的分布式NoSQL数据库系统,具有高性能.持久存储.适应高并发应用场景等优势.它虽然起步较晚,但发展却十分迅速. 近 ...
- ABP之仓储
一.仓储的简单介绍 仓储(Repository):这是属于领域层的重要组成部分,它的作用就是完成和数据库的交互工作,仓储里封装了很多操作数据库的方法.所以说仓储是数据映射层和领域层的交互中介.ABP针 ...
- FTP的两种主动模式和被动模式
参考:https://blog.csdn.net/xqhrs232/article/details/54633006 https://blog.csdn.net/yuanhangq220/articl ...
- Nginx配置认证登录
本配置实现Nginx认证登录以免重要信息暴露在公网 日志收集ELK展示工具kibana免费版不支持密码验证,需要设置Nginx反向代理然后关闭kibana默认端口5601使用Nginx端口登录进行用户 ...
- ubuntu16.04下笔记本电脑扩展双屏安装过程
想给笔记本电脑外界一个显示屏,因为科研需要,我的笔记本是windows10加Ubuntu16.04双系统,主要使用Ubuntu系统. 首先是硬件 一个外置显示屏是必须的了,然后我的笔电上只有HDMI接 ...