[root@es03 ~]# cd /usr/hdp/2.6.4.0-/kafka/bin
[root@es03 kafka]# cd bi
-bash: cd: bi: No such file or directory
[root@es03 kafka]# cd bin
[root@es03 bin]# ./kafka-topics.sh --describe --zookeeper 192.168.50.101: --topic XcyEntity
Topic:testXcyTopic PartitionCount: ReplicationFactor: Configs:Topic:testXcyTopic PartitionCount:2ReplicationFactor: Configs:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
[root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --topics-to-move-json-file /root/topics-to-move.json --broker-list "1003,1004" --generate
Current partition replica assignment {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
Proposed partition reassignment configuration {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
[root@es03 bin]# vi /root/reassignment-node.json
{"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]}
~ [root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --reassignment-json-file /root/reassignment-node.json --execute
Current partition replica assignment {"version":,"partitions":[{"topic":"testXcyTopic","partition":,"replicas":[]},{"topic":"testXcyTopic","partition":,"replicas":[]}]} Save this to use as the --reassignment-json-file option during rollback
Successfully started reassignment of partitions.
[root@es03 bin]# ./kafka-reassign-partitions.sh --zookeeper 192.168.50.101: --reassignment-json-file /root/reassignment-node.json --verify
Status of partition reassignment:
Reassignment of partition [testXcyTopic,] completed successfully
Reassignment of partition [testXcyTopic,] completed successfully
[root@es03 bin]# ./kafka-topics.sh --describe --zookeeper 192.168.50.101: --topic XcyEntity
Topic:testXcyTopic PartitionCount: ReplicationFactor: Configs:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
Topic: testXcyTopic Partition: Leader: Replicas: Isr:
[root@es03 bin]# timed out waiting for input: auto-logout

kafka集群下线broker节点实践方法(broker topic 迁移)的更多相关文章

  1. kafka集群在消息消费出现无法找到topic分区的处理解决

    最近几天在做spark数据同步过程中,中间通过kafka集群处理消息,每次同步到一半就会出现同步不了 查看日志如下: 最开始看到这个问题很懵逼,完全找不到解决问题的切入口,期间也询问了架构师-因为这个 ...

  2. Kafka集群中 topic数据的分区 迁移到其他broker

    前言 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partition迁移到新的服务器上面:所以需要 ...

  3. Kafka【第一篇】Kafka集群搭建

    Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...

  4. 【转】kafka集群搭建

    转:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否 ...

  5. kafka集群部署文档(转载)

    原文链接:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候 ...

  6. zookeeper与Kafka集群搭建及python代码测试

    Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...

  7. (三)kafka集群扩容后的topic分区迁移

    kafka集群扩容后的topic分区迁移 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partit ...

  8. Kafka集群模式部署

    环境:kafka 0.8.1.1 基本概念 Kafka维护按类区分的消息,称为主题(topic) 生产者(producer)向kafka的主题发布消息 消费者(consumer)向主题注册,并且接收发 ...

  9. 一脸懵逼学习KafKa集群的安装搭建--(一种高吞吐量的分布式发布订阅消息系统)

    kafka的前言知识: :Kafka是什么? 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算.kafka是一个生产-消费模型. Producer:生产者,只负责数 ...

随机推荐

  1. Ubuntu 安装VMware Tools

    安装步骤: 首先,点击VMware菜单的-VM-Install VMware Tools (虚拟机-装载VMwareTool 工具) 这时,在Ubuntu下会自动加载Linux版的VMware Too ...

  2. docker多个容器连接 将 Rails 程序部署到 Docker 容器中

    在docker中使用MySQL数据库 https://yq.aliyun.com/articles/583765 将 Rails 程序部署到 Docker 容器中

  3. Java字段初始化规律:

    Java字段初始化规律: Java进行初始化的地方有两个,初始化块和构造函数,其中初始化块又分为静态初始化块和实例初始化块(以上程序为实例初始化块).静态初始化块是类中由static修饰的初始化块,实 ...

  4. [转]u盘读不出来怎么办大汇总

    今天遇到的问题 http://www.upantool.com/jiaocheng/xiufu/2016/9958.html u盘读不出来怎么办大汇总 2016-12-14 21:42 来源: 本站整 ...

  5. pppoe白皮书

    转:https://blog.csdn.net/achejq/article/details/19478811 PPPoE技术白皮书 关键词:PPP,Ethernet,PPPoE 摘    要:PPP ...

  6. 【Flask】sqlalchemy 排序

    ### 排序:1. order_by:可以指定根据这个表中的某个字段进行排序,如果在前面加了一个-,代表的是降序排序.2. 在模型定义的时候指定默认排序:有些时候,不想每次在查询的时候都指定排序的方式 ...

  7. 正则表达式----grep

    正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法.或者说:正则就是用来描述一类事物的规则. grep [参数]  匹配条件  路径  参数 : -n  :显示行号 ...

  8. P4299 首都

    题目 P4299 首都 做法 这题是动态维护树的重心,连边后找到两棵树的重心拉一条链(性质:新重心在链上),然后暴力爬 要注意: 1.是找重心的过程中要先把旋转标记放下来,因为\(Splay(x)\) ...

  9. GIT截图

    GIT截图 今天首次成功用了GIT上传了JAVA代码,感觉一下次就能上传这么多代码,确实比在网页上方便.自己一开始根本摸不着头脑,不知道怎样使用GIT软件,但在学姐博客的指导下,在同学热情且耐心地指导 ...

  10. INSPIRED启示录 读书笔记 - 第2章 产品管理与产品营销

    两者不是一回事 1.产品经理的工作是从细节上定义开发团队开发什么产品 2.市场营销的职责是对外宣传产品 产品公司常常会陷入的三种误区 1.由市场营销人员定义产品:由产品营销经理或所谓的产品经理负责收集 ...