删除kafka的topic及kafka基本命令

kafka的topic默认是不允许被删除的,删除后在topic后会出现”marked for deletion”字样,实际并未删除,现在创建同样的topic会提示topic已经存在. 解决办法: server.properties配置文件中添加:delete.topic.enable=true 之后重启kafka,会发现之前被标记删除的topic已经不存在了. kafka操作基本命令: 创建topic(replication-factor为集群broker数量): bin/kafka-topic…

【帖子】怎么彻底删除kafka的topic，然后重建？

怎么彻底删除kafka的topic,然后重建? 网上都说用kafka-run-class.shkafka.admin.DeleteTopicCommand 命令删除topic,但是并没有成功,用kafka-topics.sh命令查看依然可以查看到topic,应该怎样才能彻底删除topic? 2016-01-01 添加评论分享 2 个回复 OpenSkill - OpenSkill官方账号赞同来自: Ansible .being **kafka 0.8.1.1以及之前版本**都无法使用类似…

[Spark][kafka]kafka 的topic 创建和删除试验

kafka 的topic 创建和删除试验 zookeeper和kafka 的安装,参考: http://www.cnblogs.com/caoguo/p/5958608.html 参考上述URL后,在个人的伪分布式环境下,安装了kafka 确认 zookeeper 为运行状态: $ service zookeeper-server statuszookeeper-server is running 启动kafka:[training@localhost ~]$ /etc/init.d/kafka…

Kafka学习笔记之如何永久删除Kafka的Topic

0x00 问题描述使用kafka-topics --delete命令删除topic时并没有真正的删除,而是把topic标记为:“marked for deletion”,导致重新创建相同名称的Topic时报错“already exists”. 0x01 问题复现 1. 登录Kafka集群所在的服务器,创建一个test的topic [root@cdh1 ~]# kafka-topics --create --zookeeper 192.168.2.13: --replication-factor…

【kafka学习之五】kafka运维：kafka操作日志设置和主题删除

一.操作日志首先附上kafka 操作日志配置文件:log4j.properties 根据相应的需要设置日志. #日志级别覆盖规则优先级:ALL < DEBUG < INFO <WARN < ERROR < FATAL < OFF #1.子日志log4j.logger会覆盖主日志log4j.rootLogger,这里设置的是日志输出级别,Threshold设置appender的日志接收级别: #2.log4j.logger级别低于Threshold,appender接…

052 kafka对topic的增删改查操作

一:create 1.开始使用命令 2.创建 bin/kafka-topics.sh --create --topic beifeng --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka --replication-factor 3 --partitions 4 成功效果: 3.参数说明 create:表示创建动作 topic:指定创建的名称 zookeeper:指定连接kafka集群的zk的配置url partitions:给定当前topic的…

kafka delete topic

Don't think it is supported yet. Take a look at this JIRA tracking Delete Topic. For delete manually Shutdown the cluster Clean kafka log dir (specified by the log.dir attribute in kafka config file ) as well the zookeeper data Restart the cluster Fo…

Kafka中Topic级别配置

一.Kafka中topic级别配置 1.Topic级别配置配置topic级别参数时,相同(参数)属性topic级别会覆盖全局的,否则默认为全局配置属性值. 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子,它设置了2个参数max message size 和 flush rate. (A)创建topic时配置参数 bin/kafka-topics.sh --zookeeper…

Kafka的Topic、Partition和Message

Kafka的Topic和Partition Topic Topic是Kafka数据写入操作的基本单元,可以指定副本一个Topic包含一个或多个Partition,建Topic的时候可以手动指定Partition个数,个数与服务器个数相当每条消息属于且仅属于一个Topic Producer发布数据时,必须指定将该消息发布到哪个Topic Consumer订阅消息时,也必须指定订阅哪个Topic的信息 Partition 每个Partition只会在一个Broker上,物理上每个Partitio…

kafka创建topic，生产和消费指定topic消息

启动zookeeper和Kafka之后,进入kafka目录(安装/启动kafka参考前面一章:https://www.cnblogs.com/cici20166/p/9425613.html) 1.创建Topic 1)运行命令: ./bin/kafka-topics.sh --create --zookeeper zk1:2181 --replication-factor 2 --partitions 3 --topic hello replication-factor:副本数,包含主节点,不能…

（一）kafka修改topic分区的位置

(一)kafka修改topic分区的位置环境:kafka_2.10-0.8.2.1 + JDK1.7.0_80 1. 查看分区topic的分区分布 $ le-kafka-topics.sh --describe --topic http_zhixin_line1 结果如下: [hadoop@sdf-nimbus-perf project]$ le-kafka-topics.sh --describe --topic http_zhixin_line1 Topic:http_zhixin_lin…

kafka 清除topic数据脚本

原 kafka 清除topic数据脚本 2018年07月25日 16:57:13 pete1223 阅读数:1028 #!/bin/sh param=$1 echo "=============" echo ${param} echo "kafka-topics.sh --zookeeper localhost:2181 --delete --topic ${param}" kafka-topics.sh…

Kafka查看topic、consumer group状态命令

最近工作中遇到需要使用kafka的场景,测试消费程序启动后,要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset,而后开始消费数据,于是学习了一下查看kafka broker里topic和consumer group状态的相关命令,这里记录一下. 命令参考自<Kafka: The Definitive Guide> Chapter 9 Administrating Kafka 以下命令中使用的zookeeper配置地址为127.0.0.1:2181,boots…

Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十一）定制一个arvo格式文件发送到kafka的topic，通过Structured Streaming读取kafka的数据

将arvo格式数据发送到kafka的topic 第一步:定制avro schema: { "type": "record", "name": "userlog", "fields": [ {"name": "ip","type": "string"}, {"name": "identity"…

kafka的topic命名技巧

不多说,直接上干货! 比如,我们给kafka的topic命名为user_r2p10 表示user这个topic的副本因子(r)是2,分区数(p)是10. 这样后期在写消费者代码的时候,根据topic名称就知道分区有多少个,可以很方便的设置多少个消费者线程. 比如,如下前期博客,见 Kafka的3节点集群详细启动步骤(Zookeeper是外装) 然后, 创建topic [hadoop@master kafka_2.-0.9.0.1]$ pwd /home/hadoop/app/kafka_…

kafka修改topic副本数

工作案例: 大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险.需要立刻把副本数改为3个. 开始干活,首先想到的是下面的命令: ${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --partitions $2 --alter${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --…

kafka消费之kafka查看topic是否有数据

通过原生kafka,查看对应的topic是否有数据下载kafka:登录Apache kafka官方下载 http://kafka.apache.org/downloads.html 配置config文件 vim server.properties 启动kafka: ./kafka-server-start.>/dev/>& & # kafka-server-start.sh 脚本在 kafka_2.-/bin路径下查看已创建的topic列表: ./kafka-topics.…

storm集成kafka的应用，从kafka读取，写入kafka

storm集成kafka的应用,从kafka读取,写入kafka by 小闪电 0前言 storm的主要作用是进行流式的实时计算,对于一直产生的数据流处理是非常迅速的,然而大部分数据并不是均匀的数据流,而是时而多时而少.对于这种情况下进行批处理是不合适的,因此引入了kafka作为消息队列,与storm完美配合,这样可以实现稳定的流式计算.下面是一个简单的示例实现从kafka读取数据,并写入到kafka,以此来掌握storm与kafka之间的交互. 1程序框图实质上就是storm的kafkasp…

kafka系列四、kafka架构原理、高可靠性存储分析及配置优化

一.概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分布式处理系统如Cloudera.Apache Storm.Spark等都支持与Kafka集成. Kafka凭借着自身的优势,越来越受到互联网企业的青睐,唯品会也采用Kafka作为其内部核心消息引擎之一.Kafka作为一个商业级消息中间件,消息可靠性的重要性可想而知.如何确保消息的精确传输?如何确保消息的准确存储?…

kafka学习总结之kafka简介

kafka是一个分布式,基于subscribe-publish的消息系统特性:高吞吐量.低延迟.可扩展性.持久性(消息持久化到本地磁盘).可靠性.容错性(n个副本,允许n-1个节点失败).高并发(支持数千个客户端同时读写) 设计思想: (1) Consumer group:多个consumer可以组成一个group(group-id区分),每个消息只能被组中的一个consumer消费,同时消费一个消息的consumer一定不在同一组: (2) 消息状态:kafka中,消…

【kafka学习之三】kafka集群运维

kafka集群维护一.kafka集群启停#启动kafka/home/cluster/kafka211/bin/kafka-server-start.sh -daemon /home/cluster/kafka211/config/server.properties #关闭kafka/home/cluster/kafka211/bin/kafka-server-stop.sh 二.kafka集群基本信息实时查看和修改#列出所有有效主题/home/cluster/kafka211/bin/kafka…

Kafka（三）Kafka的高可用与生产消费过程解析

一 Kafka HA设计解析 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖.同时Producer都不能再将数据存于这些Partition中. 如果Producer使用同步模式则Producer会在尝试重新发送message.send.max.retries(默认值为3)次后抛出Exc…

Kafka（一）Kafka的简介与架构

一.简介 1.1 概述 Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志.访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目. 主要应用场景是:日志收集系统和消息系统. Kafka主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能. 高吞吐率.即使在非…