Don't think it is supported yet. Take a look at this JIRA tracking Delete Topic. For delete manually Shutdown the cluster Clean kafka log dir (specified by the log.dir attribute in kafka config file ) as well the zookeeper data Restart the cluster Fo…

怎么彻底删除kafka的topic,然后重建? 网上都说用kafka-run-class.shkafka.admin.DeleteTopicCommand 命令删除topic,但是并没有成功,用kafka-topics.sh命令查看依然可以查看到topic,应该怎样才能彻底删除topic? 2016-01-01 添加评论 分享 2 个回复   OpenSkill - OpenSkill官方账号 赞同来自: Ansible .being **kafka 0.8.1.1以及之前版本**都无法使用类似…

我在本地做kafka的producer调试,每隔一段时间后,所使用的topic管道就会堆积数据,而且我这边使用的是  kafka   bin 下的consumer命令单独消费的,每次都是  --from-beginning,,启动后有一堆数据,感觉麻烦,,,所幸抽出点时间来,,看看怎么干掉他   下边来看俩种常见的方法:见下文! ------------------------------------------------------------------------------------…

kafka的topic默认是不允许被删除的,删除后在topic后会出现”marked for deletion”字样,实际并未删除,现在创建同样的topic会提示topic已经存在. 解决办法: server.properties配置文件中添加:delete.topic.enable=true 之后重启kafka,会发现之前被标记删除的topic已经不存在了. kafka操作基本命令: 创建topic(replication-factor为集群broker数量): bin/kafka-topic…

在server.properties文件中添加配置:delete.topic.enable=true 创建kafka主题: kafka-topics.sh --create --zookeeper 192.168.168.200:2181--replication-factor 1--partitions 1--topic TestTopic 执行删除命令: kafka-topics.sh  --delete--zookeeper 192.168.168.200:2181  --topic Te…

1.删除topic命令 bin/kafka-topics.sh --delete --zookeeper 192.168.242.131:2181 --topic aaa 注:此命令如果要生效,还需在server.properties中添加: delete.topic.enable=true 控制台也会有返回提示信息: Topic aaa is marked for deletion. Note: This will have no impact if delete.topic.enable i…

kafka 的topic 创建和删除试验 zookeeper和kafka 的安装,参考: http://www.cnblogs.com/caoguo/p/5958608.html 参考上述URL后,在个人的伪分布式环境下,安装了kafka 确认 zookeeper 为运行状态: $ service zookeeper-server statuszookeeper-server is running 启动kafka:[training@localhost ~]$ /etc/init.d/kafka…

一:create 1.开始使用命令 2.创建 bin/kafka-topics.sh --create --topic beifeng --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka --replication-factor 3 --partitions 4 成功效果: 3.参数说明 create:表示创建动作 topic:指定创建的名称 zookeeper:指定连接kafka集群的zk的配置url partitions:给定当前topic的…

一.概述 生产环境中,有一个topic的数据量非常大.这些数据不是非常重要,需要定期清理. 要求:默认保持24小时,某些topic 需要保留2小时或者6小时 二.清除方式 主要有3个: 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量 详情,请参考链接: https://blog.csdn.net/u013256816/article/details/80418297 接下来,主要介绍基于时间的清除! kafka版本为:  2.11-1.1.0 zk版本为:  3.4.13 三.ka…

原 kafka 清除topic数据脚本 2018年07月25日 16:57:13 pete1223 阅读数:1028     #!/bin/sh       param=$1   echo "============="   echo ${param}           echo "kafka-topics.sh --zookeeper localhost:2181 --delete --topic ${param}"       kafka-topics.sh…

原 kafka 删除topic清空数据 2018年11月20日 18:17:50 Ming! 阅读数:1391   版权声明:版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq_39657597/article/details/84307541 一般情况下,是不会删除数据的.到达一定时间后,kafka会自动删除.如果一定要删除可以删除topic在重建topic了 No. 1: 如果需要被删除topic 此时正在被程序 produce和consu…

两种方法: 一.修改配置文件server.properties 添加如下配置: delete.topic.enable=true 说明:官方给的文档说明“Enables delete topic. Delete topic through the admin tool will have no effect if this config is turned off”,意思就是说如果想删除topic,此项配置必须为true,默认为false.配置完重启kafka.zookeeper. 二.如果不想…

一.Kafka中topic级别配置 1.Topic级别配置 配置topic级别参数时,相同(参数)属性topic级别会覆盖全局的,否则默认为全局配置属性值. 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子,它设置了2个参数max message size 和 flush rate. (A)创建topic时配置参数 bin/kafka-topics.sh --zookeeper…

步骤: 1.编辑Kafka启动时加载的配置文件server.properties,添加一行:delete.topic.enable=true 2.重启Zookeeper和Kafka 3.执行: ./bin/kafka-topics.sh  --delete --zookeeper [zookeeper server]  --topic [topic name](删除指定topic) 4.执行:./bin/kafka-topics.sh --zookeeper [zookeeper server]…

0x00 问题描述 使用kafka-topics --delete命令删除topic时并没有真正的删除,而是把topic标记为:“marked for deletion”,导致重新创建相同名称的Topic时报错“already exists”. 0x01 问题复现 1. 登录Kafka集群所在的服务器,创建一个test的topic [root@cdh1 ~]# kafka-topics --create --zookeeper 192.168.2.13: --replication-factor…

1.删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2.Kafka 删除topic的命令是: ./bin/kafka-topics  --delete --zookeeper [zookeeper server]  --topic [topic name] 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么…

[hadoop@datanode3 logs]$ kafka-topics.sh --delete --zookeeper datanode1:2181 --topic firstTopic first is marked for deletion.Note: This will have no impact if delete.topic.enable is not set to true. [hadoop@datanode3 logs]$ kafka-topics.sh  --create…

环境 本文中的操作均基于kafka_1.3.3.0,且所有命令经过实际验证. 常用工具 新建Topic ./kafka-topics --zookeeper 166.188.xx.xx --create --topic flink_source --partitions 1 --replication-factor 1 replication-factor: 指定副本数量 partitions:指定分区 删除Topic ./kafka-topics --zookeeper 166.188.xx.…

server.properties中增加选项 delete.topic.enable=true 修改之后重启kafka 进入kafka目录,输入命令 bin/kafka-topics.sh --zookeeper localhost:2185 --delete --topic my_topic_name 如果数据量大的话会删一段时间…

(一)kafka修改topic分区的位置 环境:kafka_2.10-0.8.2.1 + JDK1.7.0_80 1. 查看分区topic的分区分布 $ le-kafka-topics.sh --describe --topic http_zhixin_line1 结果如下: [hadoop@sdf-nimbus-perf project]$ le-kafka-topics.sh --describe --topic http_zhixin_line1 Topic:http_zhixin_lin…

最近工作中遇到需要使用kafka的场景,测试消费程序启动后,要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset,而后开始消费数据,于是学习了一下查看kafka broker里topic和consumer group状态的相关命令,这里记录一下. 命令参考自<Kafka: The Definitive Guide> Chapter 9 Administrating Kafka 以下命令中使用的zookeeper配置地址为127.0.0.1:2181,boots…

将arvo格式数据发送到kafka的topic 第一步:定制avro schema: { "type": "record", "name": "userlog", "fields": [ {"name": "ip","type": "string"}, {"name": "identity"…

不多说,直接上干货!    比如,我们给kafka的topic命名为user_r2p10 表示user这个topic的副本因子(r)是2,分区数(p)是10. 这样后期在写消费者代码的时候,根据topic名称就知道分区有多少个,可以很方便的设置多少个消费者线程. 比如,如下 前期博客,见 Kafka的3节点集群详细启动步骤(Zookeeper是外装) 然后, 创建topic [hadoop@master kafka_2.-0.9.0.1]$ pwd /home/hadoop/app/kafka_…

Kafka的Topic和Partition Topic Topic是Kafka数据写入操作的基本单元,可以指定副本 一个Topic包含一个或多个Partition,建Topic的时候可以手动指定Partition个数,个数与服务器个数相当 每条消息属于且仅属于一个Topic Producer发布数据时,必须指定将该消息发布到哪个Topic Consumer订阅消息时,也必须指定订阅哪个Topic的信息 Partition 每个Partition只会在一个Broker上,物理上每个Partitio…

工作案例: 大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险.需要立刻把副本数改为3个. 开始干活,首先想到的是下面的命令: ${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --partitions $2 --alter${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --…

刚接触Kafka,开始认为删除一个topic只是运行一下Kafka-topic.sh的delete命令就行了,但是,事实却不是这样,会出现两种情况:(1) 如果topic没有使用过即没有传输过消息,可以彻底删除:(2)如果当前topic有使用过,则只会把topic标记为删除 此时如果需要彻底删除topic需要删除Zookeeper上的相关路径,Kafka自带了简单的Zookeeper客户端工具 删除节点 此时在看topic列表,发现topic以及被删除了 最后再把topic的临时文件夹删除就行了…

手动: 删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 删除zookeeper "/brokers/topics/"目录下相关topic节点 命令+手动: bin/kafka-run-,cmcc2:,cmcc3: 删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topi…

kafka内部所有的实现都是通过TopicCommand的main方法,通过java代码调用API,TopicCommand.main(options)的方式只能打印到控制台,不能转换到一个list. 下面讲解下如何转换为list: 1.查看主题(Topic) [命令方式]:bin/kafka-topics.sh --list --zookeeper 192.168.2.212:2181/kafka [JAVA API方式]: public static void main(String[] a…

本文由云+社区发表 一.困难点 建立topic的时候,可以通过指定参数 --replication-factor 设置备份数量.但是,一旦完成建立topic,则无法通过kafka-topic.sh 或者 命令修改replica数量. 二.解决办法 ​ 实际上,我们可以考虑一种 "另类" 的办法:可以利用 kafka-reassign-partitions.sh 命令对所有分区进行重新分布,在做分区重新分布的时候,通过增加每个分区的replica备份数量来达到目的. ​ 本文将介绍如何利…

问题描述: kafak运行在weblogic账户下,jdk1.8,当在root账户下创建topic(当前账户下的jdk1.6)导致创建topic失败 ./bin/kafka-topics.sh --create --zookeeper x.x.x.x: --replication-factor --partitions --topic ngx Exception in thread "main" java.lang.UnsupportedClassVersionError: jopts…