kafka集群安装,配置
1、安装+配置(集群)
192.168.0.10、192.168.0.11、192.168.0.12(每台服务器kafka+zookeeper)
# kafka依赖java环境,需要提前安装好jdk。下面使用自己安装的zookeeper(也可以使用kafka自带的zk)
cd /data/server
tar -zxv -f kafka_2.-0.9.0.0.tgz
ln -s kafka_2.-0.9.0.0 kafka
server.propeties
broker.id= # broker唯一标识,依次累加
delete.topic.enable=true
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://10.3.33.162:9092
num.network.threads=
num.io.threads=
socket.send.buffer.bytes=
socket.receive.buffer.bytes=
socket.request.max.bytes=
log.dirs=/data/logs/kafka-logs # 存放日志和消息的目录
num.partitions= # 主题默认的分区数
num.recovery.threads.per.data.dir=
log.retention.hours= # 日志的过期时间,超过会被删除
log.segment.bytes= # 日志文件的最大体积,超过会新建
log.retention.check.interval.ms=
zookeeper.connect=192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181 # zk的连接配置
zookeeper.connection.timeout.ms=
consumer.properties
zookeeper.connect=192.168.0.10:,192.168.0.11:,192.168.0.12:
zookeeper.connection.timeout.ms=
producer.properties
bootstrap.servers=192.168.0.10:,192.168.0.11:,192.168.0.12:
compression.type=none
启动(需要先启动zk)
/data/server/kafka/bin/kafka-server-start.sh -daemon /data/server/kafka/config/server.properties
停止
/data/server/kafka/bin/kafka-server-stop.sh
ps: 如果使用kafka自带的zk,zk的配置文件为zookeeper.properties,启动脚本为./bin/zookeeper-server-start.sh
2、查看主题以及主题信息
查看所有的主题
./kafka-topics.sh --zookeeper zk_host:port --list
查看主题描述
./kafka-topics.sh --zookeeper zk_host:port --describe --topic my_topic_name
3、查看消费者
consumers that use the Java consumer API
./kafka-consumer-groups.sh --new-consumer --bootstrap-server kf_host:port --list
consumers that use ZooKeeper
./kafka-consumer-groups.sh --zookeeper zk_host:port --list
4、查看消费者信息和offset lag
consumers that use the Java consumer API
./kafka-consumer-groups.sh --new-consumer --bootstrap-server kf_host:port --group test_group --describe
consumers that use ZooKeeper
./kafka-consumer-groups.sh --zookeeper zk_host:port --group test-group --describe
5、重新分配主题分区个数
每个主题默认一个分区
num.partitions=
example: 主题my_topic_name分区扩展到3个
kafka-topics.sh --zookeeper zk_host:port --alter --topic my_topic_name --partitions
kafka集群安装,配置的更多相关文章
- (Linux环境Kafka集群安装配置及常用命令
Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 ...
- zookeeper和Kafka集群安装配置
3个虚拟机,首先关闭防火墙,在进行下面操作 一.java环境 yum list java* yum -y install java-1.8.0-openjdk* 查看Java版本 Java -vers ...
- kafka集群安装配置
1.下载安装包 2.解压安装包 3.进入到kafka的config目录修改server.properties文件 进入后显示如下: 修改log.dirs,基本上大部分都是默认配置 kafka依赖zoo ...
- CentOS6安装各种大数据软件 第五章:Kafka集群的配置
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- KafKa集群安装、配置
一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.12 ...
- zookeeper+kafka集群安装之二
zookeeper+kafka集群安装之二 此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境. zookeeper安装 ...
- zookeeper+kafka集群安装之一
zookeeper+kafka集群安装之一 准备3台虚拟机, 系统是RHEL64服务版. 1) 每台机器配置如下: $ cat /etc/hosts ... # zookeeper hostnames ...
- zookeeper+kafka集群安装之中的一个
版权声明:本文为博主原创文章.未经博主同意不得转载. https://blog.csdn.net/cheungmine/article/details/26678877 zookeeper+kafka ...
- Kafka集群环境配置
Kafka集群环境配置 1 环境准备 1.1 集群规划 Node02 Node03 Node04 zk zk zk kafka kafka kafka 1.2 jar包下载 安装包:kafka_2.1 ...
- KafKa集群安装详细步骤
最近在使用Spring Cloud进行分布式微服务搭建,顺便对集成KafKa的方案做了一些总结,今天详细介绍一下KafKa集群安装过程: 1. 在根目录创建kafka文件夹(service1.serv ...
随机推荐
- python 文件分割
import sys,os def split(fromfile,todir,chunksize): partnum = inputfile = open(fromfile,'rb')#open th ...
- shell 算术运算符
算术运算符 下表列出了常用的算术运算符,假定变量 a 为 10,变量 b 为 20: 运算符 说明 举例 + 加法 `expr $a + $b` 结果为 30. - 减法 `expr $a - $b` ...
- JavaScript中对象数组 作业题目以及作业
var BaiduUsers = [], WechatUsers = []; var User = function(id, name, phone, gender, age, salary) { t ...
- preg_match
$baseUrl = request()->baseUrl(); if (!preg_match('/admin.php/',$baseUrl)) { $this->redirect('/ ...
- rem的计算
(function (doc, win) { console.log("dpr:"+win.devicePixelRatio); var docEle = doc.document ...
- canvas和图片之间的互相装换
canvas和图片之间的互相装换 一.总结 一句话总结:一个是canvas的drawImage方法,一个是canvas的toDataURL方法 canvas drawImage() Image对象 c ...
- 雷林鹏分享:Ruby 数据类型
Ruby 数据类型 本章节我们将为大家介绍 Ruby 的基本数据类型. Ruby支持的数据类型包括基本的Number.String.Ranges.Symbols,以及true.false和nil这几个 ...
- 12月12日 has_many through:的interference, option
has_many :products, through: :cart_items, source: :product build定义:collection.build(attributes = {}, ...
- Almost Acyclic Graph CodeForces - 915D (思维,图论)
大意: 给定无向图, 求是否能删除一条边后使图无环 直接枚举边判环复杂度过大, 实际上删除一条边可以看做将该边从一个顶点上拿开, 直接枚举顶点即可 复杂度$O(n(n+m))$ #include &l ...
- 3-1 LVS-NAT集群
---- (整理)By 小甘丶 什么是集群: 集群是一组相互独立的.通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理.(Cluster就是一组计算机,它们作为一个整体向用户提供一 ...