不多说,直接上干货!    比如,我们给kafka的topic命名为user_r2p10 表示user这个topic的副本因子(r)是2,分区数(p)是10. 这样后期在写消费者代码的时候,根据topic名称就知道分区有多少个,可以很方便的设置多少个消费者线程. 比如,如下 前期博客,见 Kafka的3节点集群详细启动步骤(Zookeeper是外装) 然后, 创建topic [hadoop@master kafka_2.-0.9.0.1]$ pwd /home/hadoop/app/kafka_

(一)kafka修改topic分区的位置 环境:kafka_2.10-0.8.2.1 + JDK1.7.0_80 1. 查看分区topic的分区分布 $ le-kafka-topics.sh --describe --topic http_zhixin_line1 结果如下: [hadoop@sdf-nimbus-perf project]$ le-kafka-topics.sh --describe --topic http_zhixin_line1 Topic:http_zhixin_lin

工作案例: 大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险.需要立刻把副本数改为3个. 开始干活,首先想到的是下面的命令: ${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --partitions $2 --alter${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --

一:create 1.开始使用命令 2.创建 bin/kafka-topics.sh --create --topic beifeng --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka --replication-factor 3 --partitions 4 成功效果: 3.参数说明 create:表示创建动作 topic:指定创建的名称 zookeeper:指定连接kafka集群的zk的配置url partitions:给定当前topic的

前段时间在Kafka QQ群中有人问及此事——关于Java consumer如何动态修改topic订阅的问题.仔细一想才发现这的确是个好问题,因为如果简单地在另一个线程中直接持有consumer实例然后调用subscribe进行修改,consumer端必然会抛出异常ConcurrentModificationException:KafkaConsumer is not safe for multi-threaded access 和KafkaProducer不同的是,KafkaConsumer不

我在本地做kafka的producer调试,每隔一段时间后,所使用的topic管道就会堆积数据,而且我这边使用的是  kafka   bin 下的consumer命令单独消费的,每次都是  --from-beginning,,启动后有一堆数据,感觉麻烦,,,所幸抽出点时间来,,看看怎么干掉他   下边来看俩种常见的方法:见下文! ------------------------------------------------------------------------------------

本文由云+社区发表 一.困难点 建立topic的时候,可以通过指定参数 --replication-factor 设置备份数量.但是,一旦完成建立topic,则无法通过kafka-topic.sh 或者 命令修改replica数量. 二.解决办法 ​ 实际上,我们可以考虑一种 "另类" 的办法:可以利用 kafka-reassign-partitions.sh 命令对所有分区进行重新分布,在做分区重新分布的时候,通过增加每个分区的replica备份数量来达到目的. ​ 本文将介绍如何利

Kafka的Topic和Partition Topic Topic是Kafka数据写入操作的基本单元,可以指定副本 一个Topic包含一个或多个Partition,建Topic的时候可以手动指定Partition个数,个数与服务器个数相当 每条消息属于且仅属于一个Topic Producer发布数据时,必须指定将该消息发布到哪个Topic Consumer订阅消息时,也必须指定订阅哪个Topic的信息 Partition 每个Partition只会在一个Broker上,物理上每个Partitio

怎么彻底删除kafka的topic,然后重建? 网上都说用kafka-run-class.shkafka.admin.DeleteTopicCommand 命令删除topic,但是并没有成功,用kafka-topics.sh命令查看依然可以查看到topic,应该怎样才能彻底删除topic? 2016-01-01 添加评论 分享 2 个回复   OpenSkill - OpenSkill官方账号 赞同来自: Ansible .being **kafka 0.8.1.1以及之前版本**都无法使用类似

在看到标题时,你先想想:在ORACLE中能否修改一个表的某个字段名呢?如果能的话,你是否还记得SQL脚本如何写的呢,呵呵,写这个的目的是因为在论坛上看见许多信誓旦旦的说ORACLE中不能修改字段名称,只能先删除.后添加字段或是其它方法来处理.当然我不知道他们是在ORACLE那个版本下测试.我在ORACLE 9.0 ,10上是都可以执行的. http://topic.csdn.net/t/20020605/16/780826.htmlhttp://topic.csdn.net/u/20090306

最近工作中遇到需要使用kafka的场景,测试消费程序启动后,要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset,而后开始消费数据,于是学习了一下查看kafka broker里topic和consumer group状态的相关命令,这里记录一下. 命令参考自<Kafka: The Definitive Guide> Chapter 9 Administrating Kafka 以下命令中使用的zookeeper配置地址为127.0.0.1:2181,boots

一.Kafka中topic级别配置 1.Topic级别配置 配置topic级别参数时,相同(参数)属性topic级别会覆盖全局的,否则默认为全局配置属性值. 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子,它设置了2个参数max message size 和 flush rate. (A)创建topic时配置参数 bin/kafka-topics.sh --zookeeper

通过原生kafka,查看对应的topic是否有数据 下载kafka:登录Apache kafka官方下载 http://kafka.apache.org/downloads.html 配置config文件 vim server.properties 启动kafka: ./kafka-server-start.>/dev/>& & # kafka-server-start.sh 脚本在 kafka_2.-/bin路径下 查看已创建的topic列表: ./kafka-topics.

offset topic consumer-group consumer producer producer-golang topic 工具 https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools offset相关 # 最大offset bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test

环境 本文中的操作均基于kafka_1.3.3.0,且所有命令经过实际验证. 常用工具 新建Topic ./kafka-topics --zookeeper 166.188.xx.xx --create --topic flink_source --partitions 1 --replication-factor 1 replication-factor: 指定副本数量 partitions:指定分区 删除Topic ./kafka-topics --zookeeper 166.188.xx.

SQL SERVER 2005修改数据库名称,包括物理文件名和逻辑名称   原来数据库名称为 aa,物理文件名称为 aa.mdf 和 aa_log.ldf:   需要修改数据库名称为 bb,物理文件名称为 bb.mdf 和 bb_log.ldf:   具体操作步骤(以sqlserver2005操作 为例):   把原有数据库进行备份(选择数据库->右键->任务->备份),被分为aa.bak:   新建数据库bb,然后 右键->任务->还原->数据库,选择“源设备”,浏览

一.在Android Studio 1.3中修改app的包名: 需求来源: 之前开发的app已经在腾讯的应用宝上线,应客户要求,app需要改名字,这个就有点麻烦了.如果申请改名字,要求如下: 截图上图的要求,以及我后来咨询过客服,得到的答案是,应用宝平台上,如果app要改名字,条件是:要么上传软著证明,要么其他平台应用名称修改审核通过后在线的前后台截图. 算了,那我还是将之前的app下线,然后上传新的app吧.下线也要提交申请: 上图显示,这个app下线后,任何账号无法上传同包名的app,既然我

问题描述: 修改项目名称后,部署到tomcat server,部署出来的文件夹名还是旧的名称. 解决方案: 光把项目重命名是不够的,还要修改一下Myeclipse里面的配置. 工程名->右键->Properties->MyEclipse>-Web->把Web Context-root的名字给改了 再把tomcat的工程删除了,重新部署下即可.

本文转载自江一<linux修改网卡名称> 终端输入:vi /etc/udev/rules.d/70-persistent-net.rules 出现以下文件 # This file was automatically generated by the /lib/udev/write_net_rules# program, run by the persistent-net-generator.rules rules file.## You can modify it, as long as yo

问题描述: 修改项目名称后,部署到tomcat问题 解决方案: 项目->属性->myelcipse->web下,修 改web context root就可! 要在eclipse里面改下,光把项目重命名 是不成的. 工程名--右键--Properties--MyEclipse--Web--把Web Context-root的名字给改了 再把tomcat的工程删除了. 重新部署下