一.删除Kafka topic 运行./bin/kafka-topics  --delete --zookeeper [zookeeper server]  --topic [topic name]:如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion 可以通过命令:./bin/kafka-topics --zookeeper…

1.因为项目原因,kakfa通道中经常造成数据阻塞,导致kafka通道中数据量过大,因此我需要将kakfa通道中数据清除(个人项目原因,一直使用一个消费者,只要保证当前消费者不在消费之前很久的数据就可以.因数量过大,造成topic阻塞,消费者消费太慢,还有可能造成重复消费问题).下面将介绍删除topic中数据或者日志数据的方法. A: 第一种方法就是 1):停掉kafka进程 2):删除kafka的日志数据,删除topic 3);将zookeeper中的offset偏移量修改 或者直接将topi…

基于kafka-2.11-0.9.0.0 . a.kill掉kafka进程,然后在server.properties里面加上delete.topic.enable=true.重启kafka.集群中的每台机器都这样操作,one by one. b.在一个kafka broker上执行:/opt/kafka-2.11-0.9.0.0/bin/kafka-topics.sh --zookeeper hostname:2181  --delete --topic test_topic c.kill掉ka…

问题:卸载kafka前未删除kafka topic,重新安装kafka后,生成跟之前topic名字相同的topic时报错,显示topic已存在 [root@d96 ~]# kafka-topics --zookeeper d65:2181/kafka_hive --create --topic hive-test-table --partitions 5 --replication-factor 2 WARNING: Due to limitations in metric names, top…

刚接触Kafka,开始认为删除一个topic只是运行一下Kafka-topic.sh的delete命令就行了,但是,事实却不是这样,会出现两种情况:(1) 如果topic没有使用过即没有传输过消息,可以彻底删除:(2)如果当前topic有使用过,则只会把topic标记为删除 此时如果需要彻底删除topic需要删除Zookeeper上的相关路径,Kafka自带了简单的Zookeeper客户端工具 删除节点 此时在看topic列表,发现topic以及被删除了 最后再把topic的临时文件夹删除就行了…

怎么彻底删除kafka的topic,然后重建? 网上都说用kafka-run-class.shkafka.admin.DeleteTopicCommand 命令删除topic,但是并没有成功,用kafka-topics.sh命令查看依然可以查看到topic,应该怎样才能彻底删除topic? 2016-01-01 添加评论 分享 2 个回复   OpenSkill - OpenSkill官方账号 赞同来自: Ansible .being **kafka 0.8.1.1以及之前版本**都无法使用类似…

1.删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2.Kafka 删除topic的命令是: ./bin/kafka-topics  --delete --zookeeper [zookeeper server]  --topic [topic name] 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么…

kafka的topic默认是不允许被删除的,删除后在topic后会出现”marked for deletion”字样,实际并未删除,现在创建同样的topic会提示topic已经存在. 解决办法: server.properties配置文件中添加:delete.topic.enable=true 之后重启kafka,会发现之前被标记删除的topic已经不存在了. kafka操作基本命令: 创建topic(replication-factor为集群broker数量): bin/kafka-topic…

前言 当我们在shell中执行topic删除命令的时候` kafka-topics --delete --topic xxxx --zookeeper xxx`,会显示,xxxx已经被标记为删除.然后过了很久你再查看topic列表,发现那个topic依然被标记删除,显然删除没有真正执行.下面就深入了解,kafka删除topic的流程. 先说结论 delete.topic.enable,配置默认是false,意思是 是否允许kafka集群删除topic,只有为true的情况,kafka才会删除那些…

kafka topic 完全删除   1.自动删除脚本(得配置server.properties 中 delete.topic.enable=true) ./kafka-topics.sh --zookeeper xxx:2181,xxx:2181,xxx:2181 --topic test --delete     此处可直接手动删除,关闭kafka,删除 log.dirs 配置的目录下的相关topic文件     或者  ./kafka-topics.sh  --delete --zooke…

步骤: 1.编辑Kafka启动时加载的配置文件server.properties,添加一行:delete.topic.enable=true 2.重启Zookeeper和Kafka 3.执行: ./bin/kafka-topics.sh  --delete --zookeeper [zookeeper server]  --topic [topic name](删除指定topic) 4.执行:./bin/kafka-topics.sh --zookeeper [zookeeper server]…

如果只是用kafka-topics.sh的delete命令删除topic,会有两种情况: 如果当前topic没有使用过即没有传输过信息:可以彻底删除 如果当前topic有使用过即有过传输过信息:并没有真正删除topic只是把这个topic标记为删除(marked for deletion) 针对第二种情况(以insight-test这个topic为例): 先确定kafka的server.properties中的,如果是集群,就需要把每台机上的kafka的值设为true 断开所有的消费者和生产者…

1,查看kafka topic列表,使用--list参数 >bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list __consumer_offsets lx_test_topic test 2,查看kafka特定topic的详情,使用--topic与--describe参数 >bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe Top…

0x00 问题描述 使用kafka-topics --delete命令删除topic时并没有真正的删除,而是把topic标记为:“marked for deletion”,导致重新创建相同名称的Topic时报错“already exists”. 0x01 问题复现 1. 登录Kafka集群所在的服务器,创建一个test的topic [root@cdh1 ~]# kafka-topics --create --zookeeper 192.168.2.13: --replication-factor…

删除Kafka中的topic 一.配置delete.topic.enable=true 二.其他方法 一.配置delete.topic.enable=true 修改kafaka配置文件server.properties, 添加delete.topic.enable=true,重启kafka,之后通过kafka命令行就可以直接删除topic   通过命令行删除topic:     ./bin/kafka-topics.sh --delete --zookeeper {zookeeper serve…

本文着重介绍几个常用的topic命令行命令,包括listTopic,createTopic,deleteTopic和describeTopic等.由于alterTopic并不是很常用,本文中就不涉及了.另外本文的代码分析是基于kafka_2.10-0.8.2.1的(虽然截图是Kafka 0.8.1的^_^ )   一. list topic 显示所有topic 1. 从zookeeper的/brokers/topics节点下获取所有topic封装成topic集合 2. 遍历该集合,查看每个top…

1.列出集群中的topic bin/kafka-topics.sh --zookeeper spark1:2181,spark2:2181,spark3:2181 --list 2.创建topic replication-factor为副本因子数量, partitions为分区数量 bin/kafka-topics.sh --zookeeper spark1:,spark2:,spark3: --create --topic weblogs --replication-factor --part…

Pom: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.10.1.0</version> </dependency> JavaCode: package com; import kafka.admin.AdminUtils; import kafka.admin.Ra…

本文共分为三个部分:   Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案   1. Kafka Topic创建方式   Kafka Topic创建方式有以下两种表现形式:   (1)创建Topic时直接指定Topic Partition Replica与Kafka Broker之间的存储映射关系   /usr/lib/kafka_2.10-0.8.2.1/bin/kafka-topics.sh --zookeep…

Exception in thread "main" org.I0Itec.zkclient.exception.ZkAuthFailedException: Authentication failure is thrown while creating kafka topic 个问题,截止 Deepak Sharma  2016年11月09日 09:36 Kafkasecurity when i try to create topic in kafka using non kafka…

canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有kafka和RocketMQ. 在投递的时候我们使用的是非压平的消息模式(canal.mq.flatMessage =false //是否为flat json格式对象),然后消费topic的时候就一直无法正常显示和序列化,通过kafka-console-consumer.sh命令收到的消息如下图 在github上也能找到相关问题 canal-kafka 数据同步到…

Flume 与 Kakfa结合例子(Kakfa 作为flume 的sink 输出到 Kafka topic) 进行准备工作: $sudo mkdir -p /flume/web_spooldir$sudo chmod a+w -R /flume 编辑 flume的配置文件: $ cat /home/tester/flafka/spooldir_kafka.conf # Name the components on this agentagent1.sources = weblogsrcagent…

kafka topic的制定,我们要考虑的问题有很多,比如生产环境中用几备份.partition数目多少合适.用几台机器支撑数据量,这些方面如何去考量?笔者根据实际的维护经验,写一些思考,希望大家指正. 1.replicas数目 可以从上图看到,备份越多,性能越低,因为kafka的写入只写入主分区,备份相当于消费者从主分区pull数据,这样势必会造成性能的损耗,故建议在生产环境中使用一主一备即可. 2. partition数量 (1)设置partition数量的时候我们需要注意:kafka的pa…

https://community.hortonworks.com/questions/27187/using-kafkabolt-to-write-to-a-kafka-topic.html -------------------------------------------------------------------------------------------------------------- I'm building a kafka and storm based strea…

今天又有小伙伴在群里问 slot 和 kafka topic 分区(以下topic,默认为 kafka 的 topic )的关系,大概回答了一下,这里整理一份 首先必须明确的是,Flink Task Manager 的 slot 数 和 topic 的分区数是没有直接关系的,而这个问题其实是问的是: 任务的并发数与 slot 数的关系 最大并发数 = slot 数 这里有两个原因:每个算子的不同并行不能在同一slot,不同的算子可以共享 slot ,所以最大并行度 就等于 slot 数. 这样就…

本文介绍了 Kafka Topic 的体系结构,并讨论了如何使用分区进行故障转移和并行处理. 1. Kafka Topic, Log, Partition Kafka Topic(主题) 是一个有名字的记录流,Kafka 把 Record(记录)存储在 log 日志文件中. 一个主题被分解为多个 Partition(分区). Kafka 把 log 的多个分区分散到多个服务器中. 把一个 Topic 分解为多个分区,是为了速度.扩展性.存储量. Topic 是天生的发布/订阅类型的消息传递方式,…

前置条件 kafka版本:2.2.1 jmeter版本:5.3 插件:ApacheJMeter_ssh-1.2.0.jar 1.拷贝 ApacheJMeter_ssh-1.2.0.jar 到/lib/ext目录下2.拷贝 jsch-0.1.55.jar 到/lib目录下3.启动jmeter后,在Sampler下找到SSH Command和SSH SFTP进行配置后,可以让jmeter与linux进行交互 kafka 常用指令: 查看offset 使用kafka bin路径下kafka-run-c…

摘要:Offset 偏移量,是针对于单个partition存在的概念. 本文分享自华为云社区<Kafka Topic Partition Offset 这一长串都是啥?>,作者: gentle_zhou. Kafka,作为一款分布式消息发布和订阅系统,被广泛应用于大数据传输场景:因为其高吞吐量.内置分区.冗余及容错性的特点,可谓是一个很好的大规模消息处理应用的解决方案(行为追踪,日志收集). 基本架构组成 Kafka里几有如下大基本要素: Producer:消息生产者,向Kafka clust…

在server.properties文件中添加配置:delete.topic.enable=true 创建kafka主题: kafka-topics.sh --create --zookeeper 192.168.168.200:2181--replication-factor 1--partitions 1--topic TestTopic 执行删除命令: kafka-topics.sh  --delete--zookeeper 192.168.168.200:2181  --topic Te…

总结下自己在尝试Kafka分区迁移过程中对这部分知识的理解,请路过高手指正. 关于Kafka数据迁移的具体步骤指导,请参考如下链接:http://www.cnblogs.com/dycg/p/3922352.html原文作者写的非常清晰. 本文主要侧重自己对相关Kafka源代码的理解: generateAssignment()函数 (对应上述链接原文中的  --generate 参数)产生新的迁移计划,输出格式为Json字符串: executeAssignment ()函数(对应上述链接原文中的…