相关命令:

主题相关命令:

  • kafka 启动:

    kafka-server-start.sh  ./config/server.properties 1>/dev/null 2>&1 &
  • kafka 停止:

    kill pid
  • 创建topic replication 取决于可用分区数

    kafka-topics.sh  --create --zookeeper 10.202.13.196:2181 --replication-factor 1 --partitions 1 --topic cjw-test
  • 删除topic

    kafka-topics.sh  --delete --zookeeper 10.202.13.196:2181 --topic cjw-test
  • 获取创建分区相关参数

    kafka-topics.sh  --help
  • 列出分区信息

    kafka-topics.sh --list --zookeeper 10.202.13.196:2181
  • 列出节点详细信息

    kafka-topics.sh --describe cjw-test --zookeeper 10.202.13.196:2181
    ##或者
    kafka-topics.sh --describe --bootstrap-server 10.202.13.28:9092 --topic cjw-test
  • 写数据

    kafka-console-producer.sh  --broker-list 10.202.13.27:9092 --topic cjw-test
  • 推送测试数据

    kafka-producer-perf-test.sh  --topic  cjw-test --num-records  50000 --throughput -1 --record-size 100 --producer-props bootstrap.servers=10.202.13.27:9092 acks=-1
  • 消费数据

    kafka-console-consumer.sh  --bootstrap-server 10.202.13.27:9092 --topic cjw-test --from-beginning
    ##设置消费组
    kafka-console-consumer.sh --bootstrap-server 10.202.13.27:9092 --topic cjw-test --from-beginning --consumer-property group.id=cjw
  • 查看消费者的 消费进度

    ## group需要 启动时设置相关的 consumer-properties group.id
    kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group cjw --describe
  • 重置消费进度

    ## 详情通过help 命令查看
    ## all topic 重置到最早消费进度
    kafka-consumer-groups.sh --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --all-topics --to-earliest --execute
    ##指定主题
    kafka-consumer-groups.sh --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --topic cjw-test --to-earliest --execute
    ##指定偏移量
    kafka-consumer-groups.sh --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --topic cjw-test --to-offset 2 --execute
    ##指定主题、分区、消费偏移
    kafka-consumer-groups.sh --bootstrap-server 10.202.13.27:9092 --group cjw --reset-offsets --topic cjw-test:1 --to-offset 2 --execute

zookeeper相关

  • 查看kafka分区:

    ls /brokers/topics/cjw-test/partitions
  • 查看消费组信息

    ls /consumers

kafka导入 导出数据

  • 创建连接器

    ## 第一个配置为基本配置 kafka 代理、数据的序列化格式
    ## 第二个配置源文件 和相关topic名称
    ## 第三个配置文件 为目标文件相关sink
    connect-standalone.sh /usr/local/kafka_2.12-2.3.0/config/connect-standalone.properties /usr/local/kafka_2.12-2.3.0/config/connect-file-source.properties /usr/local/kafka_2.12-2.3.0/config/connect-file-sink.properties 1>/dev/null 2>&1 &
  • 消费相关数据

    ##  connect-test  可以设置为自己的topic
    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning

kafka 相关命令 偏移重置的更多相关文章

  1. kafka相关命令

    查看kafka消费组对应的信息:./kafka-consumer-groups.sh --bootstrap-server 172.17.6.10:9092 --describe --group fr ...

  2. 简单封装kafka相关的api

    一.针对于kafka版本 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>ka ...

  3. Kafka Offset相关命令总结

    Kafka Offset相关命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查询topic的offset的范围 1>.查询某个topic的offset的最小值 [ ...

  4. Kafka常用命令合集

    在上一篇文章<Linux安装Kafka>中,已经介绍了如何在Linux安装Kafka,以及Kafka的启动/关闭和创建发话题并产生消息和消费消息.这篇文章就介绍介绍Kafka的那些常用的命 ...

  5. kafka相关业务必会操作命令整理

    参考:https://kafka.apache.org 服务相关命令 1.启动/停止zk > bin/zookeeper-server-start.sh config/zookeeper.pro ...

  6. 《The Linux Command Line》 读书笔记04 Linux用户以及权限相关命令

    Linux用户以及权限相关命令 查看身份 id:Display user identity. 这个命令的输出会显示uid,gid和用户所属的组. uid即user ID,这是账户创建时被赋予的. gi ...

  7. Kafka常用命令收录

    目录 目录 1 1. 前言 2 2. Broker默认端口号 2 3. 安装Kafka 2 4. 启动Kafka 2 5. 创建Topic 2 6. 列出所有Topic 3 7. 删除Topic 3 ...

  8. Hadoop生态圈-Kafka常用命令总结

    Hadoop生态圈-Kafka常用命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.管理Kafka服务的命令 1>.开启kafka服务 [yinzhengjie@s ...

  9. Kafka Broker | 命令行选项和过程

    1.目标 在这个Apache Kafka教程中,我们将学习Kafka Broker.Kafka Broker管理主题中的消息存储.如果Apache Kafka有多个代理,那就是我们所说的Kafka集群 ...

随机推荐

  1. android7.0关于TelephonyManager.getDeviceId()返回null的问题

    在android7.0的系统下发现TelephonyManager.getDeviceId()在权限允许的情况下取得返回值也为null,解决方法如下: public static String get ...

  2. Python3中找不到xrange定义和不能用len(map())

    问题1:python3中找不到xrange的定义,vscode中提示未定义 解决:改成range,因为python3中取消了vscode 问题2:python3中map函数返回的是迭代器,因此无法用l ...

  3. robotframework+appium 实现App自动化值环境搭建(一)

    第一步: Cmd命令输入pip install robotframework-appiumlibrary  下载和导入appiumlibrary 第二步: 安装JDK,附件有JDK1.8安装包 第三步 ...

  4. VUE框架下安装自带http协议

    在控制台CMD 中输入 npm install vue-resource --save-dev

  5. Link Analysis_1_Basic Elements

    1. Edge Attributes 1.1 Methods of category 1.1.1 Basic three categories in terms of number of layers ...

  6. 使用vim编译.cpp文件

    一.编写代码 1.打开命令行终端,输入vim test.cpp,新建了一个文件叫做“test.cpp”:如果以前已经建立过这个文件,则是打开这个名字的文件. 2.按回车进入编辑界面,输入i进入编辑模式 ...

  7. Ternsorflow 学习:002-Tensorflow 基础知识

    前言: 使用 TensorFlow 之前你需要了解关于 TensorFlow 的以下基础知识: 使用图(graphs) 来表示计算 在会话(session) 中执行图 使用张量(tensors) 来代 ...

  8. 2.15 学习总结 之 天气预报APP volley(HTTP库)之StringRequest

    一.说在前面   昨天 学习了序列化的相关知识   今天 1.学习 volley(HTTP库)的 StringRequest请求 2.使用序列化完成相关案例 遇到问题 请求到的参数的出现中文乱码问题 ...

  9. DB2的常用指令

    注:大写的是固定的,小写的根据自己的实际情况 首先进入 命令窗口, win+r ---> 输入 db2cmd db2 1. 删除数据库 UNCATALOG DB db_name --db_nam ...

  10. JAVA基础-反射机制

    什么是JAVA的反射机制 Java反射是Java被视为动态(或准动态)语言的一个关键性质.这个机制允许程序在运行时透过Reflection APIs取得任何一个已知名称的class的内部信息,包括其 ...