kafka集群下线broker节点实践方法(broker topic 迁移)
[root@es03 ~]# cd /usr/hdp/2.6.4.0-/kafka/bin
[root@es03 kafka]# cd bi
-bash: cd: bi: No such file or directory
[root@es03 kafka]# cd bin
[root@es03 bin]# ./kafka-topics.sh --describe --zookeeper 192.168.50.101: --topic XcyEntity
Topic:testXcyTopic PartitionCount: ReplicationFactor: Configs:Topic:testXcyTopic PartitionCount:2ReplicationFactor: Configs:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
[root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --topics-to-move-json-file /root/topics-to-move.json --broker-list "1003,1004" --generate
Current partition replica assignment {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
Proposed partition reassignment configuration {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
[root@es03 bin]# vi /root/reassignment-node.json
{"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
~ [root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --reassignment-json-file /root/reassignment-node.json --execute
Current partition replica assignment {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]} Save this to use as the --reassignment-json-file option during rollback
Successfully started reassignment of partitions.
[root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --reassignment-json-file /root/reassignment-node.json --verify
Status of partition reassignment:
Reassignment of partition [testXcyTopic,] completed successfully
Reassignment of partition [testXcyTopic,] completed successfully
[root@es03 bin]# ./kafka-topics.sh --describe --zookeeper 192.168.50.101: --topic XcyEntity
Topic:testXcyTopic PartitionCount: ReplicationFactor: Configs:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
[root@es03 bin]# timed out waiting for input: auto-logout
kafka集群下线broker节点实践方法(broker topic 迁移)的更多相关文章
- kafka集群在消息消费出现无法找到topic分区的处理解决
最近几天在做spark数据同步过程中,中间通过kafka集群处理消息,每次同步到一半就会出现同步不了 查看日志如下: 最开始看到这个问题很懵逼,完全找不到解决问题的切入口,期间也询问了架构师-因为这个 ...
- Kafka集群中 topic数据的分区 迁移到其他broker
前言 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partition迁移到新的服务器上面:所以需要 ...
- Kafka【第一篇】Kafka集群搭建
Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...
- 【转】kafka集群搭建
转:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否 ...
- kafka集群部署文档(转载)
原文链接:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候 ...
- zookeeper与Kafka集群搭建及python代码测试
Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...
- (三)kafka集群扩容后的topic分区迁移
kafka集群扩容后的topic分区迁移 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partit ...
- Kafka集群模式部署
环境:kafka 0.8.1.1 基本概念 Kafka维护按类区分的消息,称为主题(topic) 生产者(producer)向kafka的主题发布消息 消费者(consumer)向主题注册,并且接收发 ...
- 一脸懵逼学习KafKa集群的安装搭建--(一种高吞吐量的分布式发布订阅消息系统)
kafka的前言知识: :Kafka是什么? 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算.kafka是一个生产-消费模型. Producer:生产者,只负责数 ...
随机推荐
- 解决PowerDesigner 反向工程没有注释(备注)
1. 列注释 原来代码: {OWNER, TABLE, S, COLUMN, DTTPCODE, LENGTH, SIZE, PREC, COMPUTE, NOTNULL, IDENTITY, DOM ...
- or and 运算符与 pyhton编码
运算符 # x or y 如果 x 为真,则值为x,否则为y 1 print(4 or 3) # 4 2 print(2 or 3) # 2 3 print(1 or 3) # 1 4 print(0 ...
- Springboot WebSocket例子
Springboot整合WebSocket 1.application.properties #设置服务端口号 server.port=8080 #thymeleaf配置 #是否启用模板缓存. spr ...
- Raspberry Pi开发之旅-土壤湿度检测
一.土壤传感器 传感器四个针脚: 针脚 含义 AO 模拟信号输出 DO 数字信号输出 GND 电源负极 VCC 电源正极 二.接线 YL-38和YL69 之间直接用2根母对母线连接. YL-38和树 ...
- HTML5模拟衣服撕扯动画
在线演示 本地下载
- [Python] 弗洛伊德(Floyd)算法求图的直径并记录路径
相关概念 对于一个图G=(V, E),求图中两点u, v间最短路径长度,称为图的最短路径问题.最短路径中最长的称为图的直径. 其中,求图中确定的某两点的最短路径算法,称为单源最短路径算法.求图中任意两 ...
- mysql创建定时执行存储过程任务实现订单定时关闭
CREATE PROCEDURE `tableName`.`procedureName`() LANGUAGE SQL NOT DETERMINISTIC CONTAINS SQL SQL SECUR ...
- kafka笔记(一)
1.kafka应用场景 基于流数据的发布订阅消息系统.实时流数据的高效异步通信.基于流数据的高可用分布式存储! 不同的系统之间实时流数据管道; 2.官方一句话概括 kafka是一个分布式流数据平台:可 ...
- MVC 嵌套页面Html.Partial
return View()相关简介 在asp.net mvc中返回View时使用的是ViewResult,它继承自ViewResultBase 同时它还有个兄弟PartialViewResult.一个 ...
- 【jsoi】第一季 [略]精简题解
UPD:好像有两道题的代码逃跑了?= =就先不找了,反正都是水题. 精简题解系列第四弹.(其实也不是那么精简啊= =) [JSOI2008]最大数maxnumber 单点修改,区间最大值查询,裸线段树 ...