kafka集群下线broker节点实践方法(broker topic 迁移)
[root@es03 ~]# cd /usr/hdp/2.6.4.0-/kafka/bin
[root@es03 kafka]# cd bi
-bash: cd: bi: No such file or directory
[root@es03 kafka]# cd bin
[root@es03 bin]# ./kafka-topics.sh --describe --zookeeper 192.168.50.101: --topic XcyEntity
Topic:testXcyTopic PartitionCount: ReplicationFactor: Configs:Topic:testXcyTopic PartitionCount:2ReplicationFactor: Configs:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
[root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --topics-to-move-json-file /root/topics-to-move.json --broker-list "1003,1004" --generate
Current partition replica assignment {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
Proposed partition reassignment configuration {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
[root@es03 bin]# vi /root/reassignment-node.json
{"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
~ [root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --reassignment-json-file /root/reassignment-node.json --execute
Current partition replica assignment {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]} Save this to use as the --reassignment-json-file option during rollback
Successfully started reassignment of partitions.
[root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --reassignment-json-file /root/reassignment-node.json --verify
Status of partition reassignment:
Reassignment of partition [testXcyTopic,] completed successfully
Reassignment of partition [testXcyTopic,] completed successfully
[root@es03 bin]# ./kafka-topics.sh --describe --zookeeper 192.168.50.101: --topic XcyEntity
Topic:testXcyTopic PartitionCount: ReplicationFactor: Configs:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
[root@es03 bin]# timed out waiting for input: auto-logout
kafka集群下线broker节点实践方法(broker topic 迁移)的更多相关文章
- kafka集群在消息消费出现无法找到topic分区的处理解决
最近几天在做spark数据同步过程中,中间通过kafka集群处理消息,每次同步到一半就会出现同步不了 查看日志如下: 最开始看到这个问题很懵逼,完全找不到解决问题的切入口,期间也询问了架构师-因为这个 ...
- Kafka集群中 topic数据的分区 迁移到其他broker
前言 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partition迁移到新的服务器上面:所以需要 ...
- Kafka【第一篇】Kafka集群搭建
Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...
- 【转】kafka集群搭建
转:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否 ...
- kafka集群部署文档(转载)
原文链接:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候 ...
- zookeeper与Kafka集群搭建及python代码测试
Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...
- (三)kafka集群扩容后的topic分区迁移
kafka集群扩容后的topic分区迁移 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partit ...
- Kafka集群模式部署
环境:kafka 0.8.1.1 基本概念 Kafka维护按类区分的消息,称为主题(topic) 生产者(producer)向kafka的主题发布消息 消费者(consumer)向主题注册,并且接收发 ...
- 一脸懵逼学习KafKa集群的安装搭建--(一种高吞吐量的分布式发布订阅消息系统)
kafka的前言知识: :Kafka是什么? 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算.kafka是一个生产-消费模型. Producer:生产者,只负责数 ...
随机推荐
- css小知识---input输入块
对于如下的界面,介绍一种实现方式. 可以将整个界面分为三块,左中右.通过display: inline-block;和float: right;左右浮动效果实现. 代码如下: <!DOCTYPE ...
- $Android AlertDialog的各种用法总结
Refer:http://www.2cto.com/kf/201205/131876.html (一)最简单的用法(详见注释) 1 // 1.创建简单的AlertDialog // AlertDial ...
- yii框架模型操作
命令行自动生成model模型类 php yii gii/model --ns=app\\modules\\v1\\models --tableName=SCM_tbInvBalance_new --m ...
- 建议44:理解模块pickle优劣
# -*- coding:utf-8 -*- ''' pickle 估计是最通用的序列化模块了,它还有个C 语言的实现cPickle,相比pickle 来说 具有较好的性能,其速度大概是pickle ...
- Shell编程基础及变量
一.Shell脚本 1.Shell脚本的建立 由Linux命令.shell命令.程序结构控制语句和注释等内容组成. 脚本第一行 #!/bin/bash #!字符称为幻数,内核会根据它后面的解释器来确定 ...
- INSPIRED启示录 读书笔记 - 第34章 恐惧、贪婪、欲望
消费者购买产品大多源于情感需求 企业级消费者出于恐惧和贪婪购买产品:如果不买这款产品,竞争对手会超过我,黑客会攻破我的防火墙,客户将弃我而去:如果买了,会赚得更多,省得更多 大众消费者购买产品的原因更 ...
- 时间插件之My97DatePickerBeta
My97DatePickerBeta使用很简单 1.在jsp页面中 引入JS 下载地址:链接: https://pan.baidu.com/s/1bp5uzuv 密码: ya9a <script ...
- Centos6.5下Hbase安装
下载 http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.26/hbase-0.94.26.tar.gz 2. 解压 tar -zxvf hbase-0 ...
- spark总结4 算子问题总结
官网上最清晰 sc 启动spark时候就已经初始化好了 sc.textFile后 会产生一个rdd spark 的算子分为两类 一类 Transformation 转换 一类 Action 动作 ...
- 内网批量测试登录机器工具,并且dir 目标机器c盘
// Ipc.cpp : 定义控制台应用程序的入口点. // #include "stdafx.h" #include <stdio.h> #include <w ...