一.删除Kafka topic 运行./bin/kafka-topics  --delete --zookeeper [zookeeper server]  --topic [topic name]:如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion 可以通过命令:./bin/kafka-topics --zookeeper…

1.因为项目原因,kakfa通道中经常造成数据阻塞,导致kafka通道中数据量过大,因此我需要将kakfa通道中数据清除(个人项目原因,一直使用一个消费者,只要保证当前消费者不在消费之前很久的数据就可以.因数量过大,造成topic阻塞,消费者消费太慢,还有可能造成重复消费问题).下面将介绍删除topic中数据或者日志数据的方法. A: 第一种方法就是 1):停掉kafka进程 2):删除kafka的日志数据,删除topic 3);将zookeeper中的offset偏移量修改 或者直接将topi…

基于kafka-2.11-0.9.0.0 . a.kill掉kafka进程,然后在server.properties里面加上delete.topic.enable=true.重启kafka.集群中的每台机器都这样操作,one by one. b.在一个kafka broker上执行:/opt/kafka-2.11-0.9.0.0/bin/kafka-topics.sh --zookeeper hostname:2181  --delete --topic test_topic c.kill掉ka…

问题:卸载kafka前未删除kafka topic,重新安装kafka后,生成跟之前topic名字相同的topic时报错,显示topic已存在 [root@d96 ~]# kafka-topics --zookeeper d65:2181/kafka_hive --create --topic hive-test-table --partitions 5 --replication-factor 2 WARNING: Due to limitations in metric names, top…

前言 当我们在shell中执行topic删除命令的时候` kafka-topics --delete --topic xxxx --zookeeper xxx`,会显示,xxxx已经被标记为删除.然后过了很久你再查看topic列表,发现那个topic依然被标记删除,显然删除没有真正执行.下面就深入了解,kafka删除topic的流程. 先说结论 delete.topic.enable,配置默认是false,意思是 是否允许kafka集群删除topic,只有为true的情况,kafka才会删除那些…

kafka topic 完全删除   1.自动删除脚本(得配置server.properties 中 delete.topic.enable=true) ./kafka-topics.sh --zookeeper xxx:2181,xxx:2181,xxx:2181 --topic test --delete     此处可直接手动删除,关闭kafka,删除 log.dirs 配置的目录下的相关topic文件     或者  ./kafka-topics.sh  --delete --zooke…

刚接触Kafka,开始认为删除一个topic只是运行一下Kafka-topic.sh的delete命令就行了,但是,事实却不是这样,会出现两种情况:(1) 如果topic没有使用过即没有传输过消息,可以彻底删除:(2)如果当前topic有使用过,则只会把topic标记为删除 此时如果需要彻底删除topic需要删除Zookeeper上的相关路径,Kafka自带了简单的Zookeeper客户端工具 删除节点 此时在看topic列表,发现topic以及被删除了 最后再把topic的临时文件夹删除就行了…

怎么彻底删除kafka的topic,然后重建? 网上都说用kafka-run-class.shkafka.admin.DeleteTopicCommand 命令删除topic,但是并没有成功,用kafka-topics.sh命令查看依然可以查看到topic,应该怎样才能彻底删除topic? 2016-01-01 添加评论 分享 2 个回复   OpenSkill - OpenSkill官方账号 赞同来自: Ansible .being **kafka 0.8.1.1以及之前版本**都无法使用类似…

1.删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2.Kafka 删除topic的命令是: ./bin/kafka-topics  --delete --zookeeper [zookeeper server]  --topic [topic name] 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么…

kafka的topic默认是不允许被删除的,删除后在topic后会出现”marked for deletion”字样,实际并未删除,现在创建同样的topic会提示topic已经存在. 解决办法: server.properties配置文件中添加:delete.topic.enable=true 之后重启kafka,会发现之前被标记删除的topic已经不存在了. kafka操作基本命令: 创建topic(replication-factor为集群broker数量): bin/kafka-topic…