a)kafka搭建
1、解压 2、修改配置/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=0
log.dirs=/var/huawei/kafka-logs
zookeeper.connect=node03:2181,node04,2181:node05:2181
delete.topic.enable=true 3、配置kafka启动脚本
a)创建文件
/software/kafka_2.11-0.11.0.3/bin/startKafka.sh
b)输入
nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
c)修改启动脚本权限
chmod +x ./startKafka.sh 4、分发到node02,node03 5、修改broker.id
a)node02的/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=1
b)node02的/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=2 6、配置环境变量
export KAFKA_HOME=/software/kafka_2.11-0.11.0.3
export PATH=$PATH:$KAFKA_HOME/bin 7、脚本启动 到/software/kafka_2.11-0.11.0.3
创建startKafka.sh 添加以下命令
nohup /software/kafka_2.11-0.11.0.3/bin/kafka-server-start.sh /software/kafka_2.11-0.11.0.3/config/server.properties > kafka.log 2>&1 & a)kafka命令
1).创建topic
zookeeper地址 操作方式 topic名字 分区个数 副本个数
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --create --topic test --partitions 3 --replication-factor 3 2).查看集群中的topic:
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --list 3).console当做消息的生产者
生产消息时指定kafka集群 指定生产到那个topic
kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test 4).console当做消息消费者
默认找2181端口,所以可以不写
kafka-console-consumer.sh --zookeeper node03,node04,node05 --topic test 从头消费
kafka-console-consumer.sh --zookeeper node03,node04,node05 --topic test --from-beginning 5).查看topic详细描述
进入zkCli.sh客户端
zookeeper中broker信息:get /brokers/topics/test/partitions/0/state
zookeeper中consumer信息:get /consumers/console-consumer-53584/offsets/test/2 命令:查看test的topic详细信息
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --describe --topic test 6).删除topic
kafka-topics.sh --zookeeper node03,node04,node05 --delete --topic test1 在/software/kafka_2.11-0.11.0.3/config/server.properties 配置 delete.topic.enable=true

kafka的搭建,命令的更多相关文章

  1. 【入门教程】kafka环境搭建以及基础教程

    问题导读 1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic.发送消息.消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有 ...

  2. kafka服务器搭建与测试

    kafka服务器搭建 kafka自身集群信息的管理以及对producer和consumer的信息管理是通过zookeeper实现的,zookeepr是kafka不可分割的一部分,所以搭建zookeep ...

  3. Kafka - 环境搭建

    一.概述 Kafka(官网地址)专为分布式高吞吐量系统而设计. Kafka往往工作得很好,作为一个更传统的消息代理的替代品. 与其他消息传递系统相比,Kafka具有更好的吞吐量,内置分区,复制和固有的 ...

  4. 基于Kafka+ELK搭建海量日志平台

    早在传统的单体应用时代,查看日志大都通过SSH客户端登服务器去看,使用较多的命令就是 less 或者 tail.如果服务部署了好几台,就要分别登录到这几台机器上看,等到了分布式和微服务架构流行时代,一 ...

  5. 入门大数据---Kafka的搭建与应用

    前言 上一章介绍了Kafka是什么,这章就讲讲怎么搭建以及如何使用. 快速开始 Step 1:Download the code Download the 2.4.1 release and un-t ...

  6. kafka环境搭建及librdkafka测试

    kafka环境搭建及librdkafka测试 (2016-04-05 10:18:25)   一.kafka环境搭建(转自http://kafka.apache.org/documentation.h ...

  7. windows下golang实现Kfaka消息发送及kafka环境搭建

    kafka环境搭建: 一.安装配置java-jdk (1)kafka需要java环境,安装java-jdk,下载地址:https://www.oracle.com/technetwork/java/j ...

  8. kafka环境搭建

    kafka环境搭建 for mac 对应qq群号:616961231 在之前的文章中, 有学习能力和兴趣爱好的同学,自己动手维护测试环境,丰衣足食是最好的办法,今天我们来讲讲kafka在mac上的安装 ...

  9. Kafka Offset相关命令总结

    Kafka Offset相关命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查询topic的offset的范围 1>.查询某个topic的offset的最小值 [ ...

随机推荐

  1. Springboot 中AOP的使用

    面向切面编程(Aspect Oriented Programming) 是软件编程思想发展到一定阶段的产物,是面向对象编程的有益补充.AOP一般适用于具有横切逻辑的场合,如访问控制.事务管理.性能检测 ...

  2. 解决VMware Workstation下Win2012R2无法安装Hyper-v问题

    有时候我们需要测试Hyper-V但是发现VMware下不能够正常安装,提示:验证过程发现你要安装功能的服务器存在问题.所选功能与所选服务器的当前配置不兼容.无法安装Hyper-V:虚拟机监控程序已在运 ...

  3. CSS 动画过程及间接实现样式延时

    /* 过度动画自动归位 */ @keyframes animation_button_scene { 0% { background: #9cacb4; } 10% { /* 样式过度2 */ } 6 ...

  4. 01 认识python

    python介绍 python的创始⼈为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决⼼ 开发⼀个新的脚本解释程序,作为ABC语 ...

  5. Spring Boot Shiro 使用教程

    Apache Shiro 已经大名鼎鼎,搞 Java 的没有不知道的,这类似于 .Net 中的身份验证 form 认证.跟 .net core 中的认证授权策略基本是一样的.当然都不知道也没有关系,因 ...

  6. ubuntu安装zsh终端

    搬砖博文:https://blog.csdn.net/lxn9492878lbl/article/details/80795413 1.安装zsh sudo apt-get install zsh 2 ...

  7. Cat4500升级注意事项

    第一部分:升级ROMMON 可以通过release note去查看什么Supervisor建议什么样的版本.例如:ROMMON Release Notes for the WS-X45-SUP7-E, ...

  8. HDU2612 Find a way (跑两遍BFS)

    Pass a year learning in Hangzhou, yifenfei arrival hometown Ningbo at finally. Leave Ningbo one year ...

  9. socket中文奇数个出现乱码的解决办法

    用MyEclipse试了一下JAVA获取系统正在运行进程代码,结果Console输出的时候中文部分输出为乱码,在网上找了很多办法,都没有解决问题.后来发现一个方法,解决了问题,特此分享. 下面成功解决 ...

  10. [2/100] MySQL在Windows下安装及一些问题

    mysql 是RDBMS(关系型数据库) 其他: redis 一般做缓存用 mangoDB 一般做爬虫用 国内镜像下载地址: http://mirrors.sohu.com/mysql/MySQL-8 ...