版本 0.9.2 创建topic bin/kafka-topics.sh --create --topic topic_name --partition 6 --replication-factor 1 -zookeeper 10.27.100.207:2181,10.27.100.144:2181,10.27.100.145:2181 开启console consumer查看消息 bin/kafka-console-consumer.sh --topic rt_live_pcweb -zook…

欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 作者:mikealzhou 本文重点介绍kafka的两类常见数据迁移方式:1.broker内部不同数据盘之间的分区数据迁移:2.不同broker之间的分区数据迁移. 一.broker 内部不同数据盘之间进行分区数据迁移 1.1 背景介绍 最近,腾讯云的一个重要客户发现kafka broker内部的topic分区数据存储分布不均匀,导致部分磁盘100%耗尽,而部分磁盘只有40%的消耗量. 分析原因,发现存在部分topic的分区数据过于集中在某…

1.概述 Kafka的使用场景非常广泛,一些实时流数据业务场景,均依赖Kafka来做数据分流.而在分布式应用场景中,数据迁移是一个比较常见的问题.关于Kafka集群数据如何迁移,今天笔者将为大家详细介绍. 2.内容 本篇博客为大家介绍两种迁移场景,分别是同集群数据迁移.跨集群数据迁移.如下图所示: 2.1 同集群迁移 同集群之间数据迁移,比如在已有的集群中新增了一个Broker节点,此时需要将原来集群中已有的Topic的数据迁移部分到新的集群中,缓解集群压力. 将新的节点添加到Kafka集群很简…

随着业务的发展, 服务器所在网段/机群不允许kafka继续保留在那, 需要移动到先机器上. 哎呀上面是废话,总的说就是: 2台老kafka不要了,数据要迁移到新的2台kafka上面.要求数据不丢失 通过查询官网,并无直接切换的命令,当前版本是kafka 0.8.1,  说是0.8.2才提供老机器的退役功能.   不过没关系, 我们有一个变通的方法: kafka提供了修改复制因子的方法, 我们可以将她的复制目标机器改成新的节点.  这样所有发往老节点的数据都会被转移到新节点去. 等你将发送者的AP…

摘要: 本文向您详细介绍如何使用DataWorks数据同步功能,将Kafka集群上的数据迁移到阿里云MaxCompute大数据计算服务. 前提条件 搭建Kafka集群 进行数据迁移前,您需要保证自己的Kafka集群环境正常.本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka 快速入门. 本文使用的EMR Kafka版本信息如下:EMR版本: EMR-3.12.1集群类型: Kafka软件信息: Ganglia 3.7.2 ZooKeeper 3.4.12 Kafka 2…

在kafka中增加新的节点后,数据是不会自动迁移到新的节点上的,需要我们手动将数据迁移(或者成为打散)到新的节点上 1 迁移方法 kafka为我们提供了用于数据迁移的脚本.我们可以用这些脚本完成数据的迁移. 1.1 生成partiton分配表 1.1.1 创建json文件topic-to-move.json { "topics": [{"topic": "testTopic"}], "version": 1 } 1.1.2 生…

关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息.存储.轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户.持久化存储.多机房跨区域数据复制,具有强一致性.高吞吐以及低延时的高可扩展流数据存储特性. 本篇文章,我们将带着刚刚圆满结束的 Pulsar Summit 精华版内容,为大家分享 Apache Pulsar 的成长历史. 关于 Pulsar Summit 会议 本次 Pulsar Summ…

摘要:Pulsar作为一个云原生的分布式消息流平台,越来越频繁地出现在人们的视野中,大有替代Kafka江湖地位的趋势. 本文分享自华为云社区<MRS Pulsar:下一代分布式消息流平台全新发布!>,作者: Lothar. Pulsar的前世今生 Apache Pulsar是一个发布-订阅消息系统,使用计算与存储分离的云原生架构.Pulsar 2018年9月成为ASF顶级项目,近两年,随着社区不断发展和诸多企业的应用和贡献,Pulsar作为一个云原生的分布式消息流平台,越来越频繁地出现在人们的…

总结下自己在尝试Kafka分区迁移过程中对这部分知识的理解,请路过高手指正. 关于Kafka数据迁移的具体步骤指导,请参考如下链接:http://www.cnblogs.com/dycg/p/3922352.html原文作者写的非常清晰. 本文主要侧重自己对相关Kafka源代码的理解: generateAssignment()函数 (对应上述链接原文中的  --generate 参数)产生新的迁移计划,输出格式为Json字符串: executeAssignment ()函数(对应上述链接原文中的…

各位 Pulsar 社区小伙伴们: 今天我们高兴地宣布Pulsar 达成新里程碑,全球贡献者超 300 位! 距离 Pulsar 实现 200 位贡献者里程碑,仅仅间隔 8 个月! 作为 Apache 软件基金会顶级项目,Pulsar 深深植根于社区,取得如此成就也正是得益于自身强大的社区和贡献者群体.感谢 Pulsar 贡献者及社区小伙伴:因你而社区,因你而 Pulsar! Pulsar 是下一代云原生分布式消息流系统,集消息.存储.轻量化函数式计算为一体,源于 Yahoo,最初在 Yahoo…