kafka 相关命令 偏移重置
kafka官方文档
https://kafka.apache.org/documentation.html#quickstartkafka 安装文档
https://www.jianshu.com/p/c74e0ec577b0
相关命令:
- kafka 启动:kafka官方文档
https://kafka.apache.org/documentation.html#quickstart - kafka 安装文档
https://www.jianshu.com/p/c74e0ec577b0
主题相关命令:
kafka 启动:
kafka-server-start.sh ./config/server.properties 1>/dev/null 2>&1 &
kafka 停止:
kill pid
创建topic replication 取决于可用分区数
kafka-topics.sh --create --zookeeper 10.202.13.196:2181 --replication-factor 1 --partitions 1 --topic cjw-test
删除topic
kafka-topics.sh --delete --zookeeper 10.202.13.196:2181 --topic cjw-test
获取创建分区相关参数
kafka-topics.sh --help
列出分区信息
kafka-topics.sh --list --zookeeper 10.202.13.196:2181
列出节点详细信息
kafka-topics.sh --describe cjw-test --zookeeper 10.202.13.196:2181
##或者
kafka-topics.sh --describe --bootstrap-server 10.202.13.28:9092 --topic cjw-test
写数据
kafka-console-producer.sh --broker-list 10.202.13.27:9092 --topic cjw-test
推送测试数据
kafka-producer-perf-test.sh --topic cjw-test --num-records 50000 --throughput -1 --record-size 100 --producer-props bootstrap.servers=10.202.13.27:9092 acks=-1
消费数据
kafka-console-consumer.sh --bootstrap-server 10.202.13.27:9092 --topic cjw-test --from-beginning
##设置消费组
kafka-console-consumer.sh --bootstrap-server 10.202.13.27:9092 --topic cjw-test --from-beginning --consumer-property group.id=cjw
查看消费者的 消费进度
## group需要 启动时设置相关的 consumer-properties group.id
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group cjw --describe
重置消费进度
## 详情通过help 命令查看
## all topic 重置到最早消费进度
kafka-consumer-groups.sh --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --all-topics --to-earliest --execute
##指定主题
kafka-consumer-groups.sh --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --topic cjw-test --to-earliest --execute
##指定偏移量
kafka-consumer-groups.sh --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --topic cjw-test --to-offset 2 --execute
##指定主题、分区、消费偏移
kafka-consumer-groups.sh --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --topic cjw-test:1 --to-offset 2 --execute
zookeeper相关
查看kafka分区:
ls /brokers/topics/cjw-test/partitions
查看消费组信息
ls /consumers
kafka导入 导出数据
创建连接器
## 第一个配置为基本配置 kafka 代理、数据的序列化格式
## 第二个配置源文件 和相关topic名称
## 第三个配置文件 为目标文件相关sink
connect-standalone.sh /usr/local/kafka_2.12-2.3.0/config/connect-standalone.properties /usr/local/kafka_2.12-2.3.0/config/connect-file-source.properties /usr/local/kafka_2.12-2.3.0/config/connect-file-sink.properties 1>/dev/null 2>&1 &
消费相关数据
## connect-test 可以设置为自己的topic
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
kafka 相关命令 偏移重置的更多相关文章
- kafka相关命令
查看kafka消费组对应的信息:./kafka-consumer-groups.sh --bootstrap-server 172.17.6.10:9092 --describe --group fr ...
- 简单封装kafka相关的api
一.针对于kafka版本 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>ka ...
- Kafka Offset相关命令总结
Kafka Offset相关命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查询topic的offset的范围 1>.查询某个topic的offset的最小值 [ ...
- Kafka常用命令合集
在上一篇文章<Linux安装Kafka>中,已经介绍了如何在Linux安装Kafka,以及Kafka的启动/关闭和创建发话题并产生消息和消费消息.这篇文章就介绍介绍Kafka的那些常用的命 ...
- kafka相关业务必会操作命令整理
参考:https://kafka.apache.org 服务相关命令 1.启动/停止zk > bin/zookeeper-server-start.sh config/zookeeper.pro ...
- 《The Linux Command Line》 读书笔记04 Linux用户以及权限相关命令
Linux用户以及权限相关命令 查看身份 id:Display user identity. 这个命令的输出会显示uid,gid和用户所属的组. uid即user ID,这是账户创建时被赋予的. gi ...
- Kafka常用命令收录
目录 目录 1 1. 前言 2 2. Broker默认端口号 2 3. 安装Kafka 2 4. 启动Kafka 2 5. 创建Topic 2 6. 列出所有Topic 3 7. 删除Topic 3 ...
- Hadoop生态圈-Kafka常用命令总结
Hadoop生态圈-Kafka常用命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.管理Kafka服务的命令 1>.开启kafka服务 [yinzhengjie@s ...
- Kafka Broker | 命令行选项和过程
1.目标 在这个Apache Kafka教程中,我们将学习Kafka Broker.Kafka Broker管理主题中的消息存储.如果Apache Kafka有多个代理,那就是我们所说的Kafka集群 ...
随机推荐
- android7.0关于TelephonyManager.getDeviceId()返回null的问题
在android7.0的系统下发现TelephonyManager.getDeviceId()在权限允许的情况下取得返回值也为null,解决方法如下: public static String get ...
- Python3中找不到xrange定义和不能用len(map())
问题1:python3中找不到xrange的定义,vscode中提示未定义 解决:改成range,因为python3中取消了vscode 问题2:python3中map函数返回的是迭代器,因此无法用l ...
- robotframework+appium 实现App自动化值环境搭建(一)
第一步: Cmd命令输入pip install robotframework-appiumlibrary 下载和导入appiumlibrary 第二步: 安装JDK,附件有JDK1.8安装包 第三步 ...
- VUE框架下安装自带http协议
在控制台CMD 中输入 npm install vue-resource --save-dev
- Link Analysis_1_Basic Elements
1. Edge Attributes 1.1 Methods of category 1.1.1 Basic three categories in terms of number of layers ...
- 使用vim编译.cpp文件
一.编写代码 1.打开命令行终端,输入vim test.cpp,新建了一个文件叫做“test.cpp”:如果以前已经建立过这个文件,则是打开这个名字的文件. 2.按回车进入编辑界面,输入i进入编辑模式 ...
- Ternsorflow 学习:002-Tensorflow 基础知识
前言: 使用 TensorFlow 之前你需要了解关于 TensorFlow 的以下基础知识: 使用图(graphs) 来表示计算 在会话(session) 中执行图 使用张量(tensors) 来代 ...
- 2.15 学习总结 之 天气预报APP volley(HTTP库)之StringRequest
一.说在前面 昨天 学习了序列化的相关知识 今天 1.学习 volley(HTTP库)的 StringRequest请求 2.使用序列化完成相关案例 遇到问题 请求到的参数的出现中文乱码问题 ...
- DB2的常用指令
注:大写的是固定的,小写的根据自己的实际情况 首先进入 命令窗口, win+r ---> 输入 db2cmd db2 1. 删除数据库 UNCATALOG DB db_name --db_nam ...
- JAVA基础-反射机制
什么是JAVA的反射机制 Java反射是Java被视为动态(或准动态)语言的一个关键性质.这个机制允许程序在运行时透过Reflection APIs取得任何一个已知名称的class的内部信息,包括其 ...