a)kafka搭建
1、解压 2、修改配置/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=0
log.dirs=/var/huawei/kafka-logs
zookeeper.connect=node03:2181,node04,2181:node05:2181
delete.topic.enable=true 3、配置kafka启动脚本
a)创建文件
/software/kafka_2.11-0.11.0.3/bin/startKafka.sh
b)输入
nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
c)修改启动脚本权限
chmod +x ./startKafka.sh 4、分发到node02,node03 5、修改broker.id
a)node02的/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=1
b)node02的/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=2 6、配置环境变量
export KAFKA_HOME=/software/kafka_2.11-0.11.0.3
export PATH=$PATH:$KAFKA_HOME/bin 7、脚本启动 到/software/kafka_2.11-0.11.0.3
创建startKafka.sh 添加以下命令
nohup /software/kafka_2.11-0.11.0.3/bin/kafka-server-start.sh /software/kafka_2.11-0.11.0.3/config/server.properties > kafka.log 2>&1 & a)kafka命令
1).创建topic
zookeeper地址 操作方式 topic名字 分区个数 副本个数
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --create --topic test --partitions 3 --replication-factor 3 2).查看集群中的topic:
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --list 3).console当做消息的生产者
生产消息时指定kafka集群 指定生产到那个topic
kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test 4).console当做消息消费者
默认找2181端口,所以可以不写
kafka-console-consumer.sh --zookeeper node03,node04,node05 --topic test 从头消费
kafka-console-consumer.sh --zookeeper node03,node04,node05 --topic test --from-beginning 5).查看topic详细描述
进入zkCli.sh客户端
zookeeper中broker信息:get /brokers/topics/test/partitions/0/state
zookeeper中consumer信息:get /consumers/console-consumer-53584/offsets/test/2 命令:查看test的topic详细信息
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --describe --topic test 6).删除topic
kafka-topics.sh --zookeeper node03,node04,node05 --delete --topic test1 在/software/kafka_2.11-0.11.0.3/config/server.properties 配置 delete.topic.enable=true

kafka的搭建,命令的更多相关文章

  1. 【入门教程】kafka环境搭建以及基础教程

    问题导读 1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic.发送消息.消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有 ...

  2. kafka服务器搭建与测试

    kafka服务器搭建 kafka自身集群信息的管理以及对producer和consumer的信息管理是通过zookeeper实现的,zookeepr是kafka不可分割的一部分,所以搭建zookeep ...

  3. Kafka - 环境搭建

    一.概述 Kafka(官网地址)专为分布式高吞吐量系统而设计. Kafka往往工作得很好,作为一个更传统的消息代理的替代品. 与其他消息传递系统相比,Kafka具有更好的吞吐量,内置分区,复制和固有的 ...

  4. 基于Kafka+ELK搭建海量日志平台

    早在传统的单体应用时代,查看日志大都通过SSH客户端登服务器去看,使用较多的命令就是 less 或者 tail.如果服务部署了好几台,就要分别登录到这几台机器上看,等到了分布式和微服务架构流行时代,一 ...

  5. 入门大数据---Kafka的搭建与应用

    前言 上一章介绍了Kafka是什么,这章就讲讲怎么搭建以及如何使用. 快速开始 Step 1:Download the code Download the 2.4.1 release and un-t ...

  6. kafka环境搭建及librdkafka测试

    kafka环境搭建及librdkafka测试 (2016-04-05 10:18:25)   一.kafka环境搭建(转自http://kafka.apache.org/documentation.h ...

  7. windows下golang实现Kfaka消息发送及kafka环境搭建

    kafka环境搭建: 一.安装配置java-jdk (1)kafka需要java环境,安装java-jdk,下载地址:https://www.oracle.com/technetwork/java/j ...

  8. kafka环境搭建

    kafka环境搭建 for mac 对应qq群号:616961231 在之前的文章中, 有学习能力和兴趣爱好的同学,自己动手维护测试环境,丰衣足食是最好的办法,今天我们来讲讲kafka在mac上的安装 ...

  9. Kafka Offset相关命令总结

    Kafka Offset相关命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查询topic的offset的范围 1>.查询某个topic的offset的最小值 [ ...

随机推荐

  1. 超好用的免费Redis客户端

    Redis这款基于内存的键值对(key-vlaue)数据库,自带了一个基于命令行式的管理工具redis-cli,但是使用起来并不方便.虽然现在有了许多的图形化管理工具,有些需要收费,有些不好用.最终还 ...

  2. 交换机出现err-disable的原因及解决方法

    转:https://www.2cto.com/net/201303/198724.html 交换机出现err-disable的原因及解决方法 LOG示例: 21w6d: %ETHCNTR-3-LOOP ...

  3. 对图书管理系统5W1H的分析

    5W1H 对图书管理系统的分析 1.Who 学生.老师和图书馆管理员 2.When 借还书的时候使用,还有用户流量的统计在每天晚上都会看一下有多少人哪些人看了的,基本绝大多数时间都可以看 3.Wher ...

  4. Java 多线程学习笔记(一)

    一.进程和线程 (1)进程概念的引入 为了能使程序并发执行,并且可以对并发执行的程序加以描述和控制,人们引入了“进程”的概念.---摘之计算机操作系统(第四版)汤小丹编著 (2)进程概念 进程(Pro ...

  5. Springboot学习:Thymeleaf 语法基础

    详细内容见:Thymeleaf Tutorial 中文翻译,中文文档 参考: thymeleaf官方指南 新一代Java模板引擎Thymeleaf Thymeleaf基本知识 thymeleaf总结文 ...

  6. centos8下gz,bz2,zip压缩解压缩

    for gz 1.制作压缩包 [root@192 mnt]# tar czf mydir.tar.gz mydir1/ 2.解压gz 压缩包 [root@192 mnt]# tar xvf mydir ...

  7. Spring Boot 整合MaBatis如何在控制台打印执行的SQL语句

    yml文件:logging: level: com.XXX.Mapper: debug (红色部分为Dao层的包名,注意不是XML文件的包名) properties文件: logging.level. ...

  8. 【原】简单shell练习(五)

    1.查询一个文件中某个单词出现的次数 # grep -o 'ts' ./test/txt |wc -l 2.统计当前文件夹下文件的个数 ls -l |grep "^-"|wc -l ...

  9. nyoj 11

    水题... #include <stdio.h> #include <algorithm> #include <iostream> int main() { int ...

  10. Binary Heap(二叉堆) - 堆排序

    这篇的主题主要是Heapsort(堆排序),下一篇ADT数据结构随笔再谈谈 - 优先队列(堆). 首先,我们先来了解一点与堆相关的东西.堆可以实现优先队列(Priority Queue),看到队列,我 ...