kafka的搭建,命令
a)kafka搭建
1、解压
2、修改配置/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=0
log.dirs=/var/huawei/kafka-logs
zookeeper.connect=node03:2181,node04,2181:node05:2181
delete.topic.enable=true
3、配置kafka启动脚本
a)创建文件
/software/kafka_2.11-0.11.0.3/bin/startKafka.sh
b)输入
nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
c)修改启动脚本权限
chmod +x ./startKafka.sh
4、分发到node02,node03
5、修改broker.id
a)node02的/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=1
b)node02的/software/kafka_2.11-0.11.0.3/config/server.properties
broker.id=2
6、配置环境变量
export KAFKA_HOME=/software/kafka_2.11-0.11.0.3
export PATH=$PATH:$KAFKA_HOME/bin
7、脚本启动 到/software/kafka_2.11-0.11.0.3
创建startKafka.sh 添加以下命令
nohup /software/kafka_2.11-0.11.0.3/bin/kafka-server-start.sh /software/kafka_2.11-0.11.0.3/config/server.properties > kafka.log 2>&1 &
a)kafka命令
1).创建topic
zookeeper地址 操作方式 topic名字 分区个数 副本个数
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --create --topic test --partitions 3 --replication-factor 3
2).查看集群中的topic:
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --list
3).console当做消息的生产者
生产消息时指定kafka集群 指定生产到那个topic
kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test
4).console当做消息消费者
默认找2181端口,所以可以不写
kafka-console-consumer.sh --zookeeper node03,node04,node05 --topic test
从头消费
kafka-console-consumer.sh --zookeeper node03,node04,node05 --topic test --from-beginning
5).查看topic详细描述
进入zkCli.sh客户端
zookeeper中broker信息:get /brokers/topics/test/partitions/0/state
zookeeper中consumer信息:get /consumers/console-consumer-53584/offsets/test/2
命令:查看test的topic详细信息
kafka-topics.sh --zookeeper node03:2181,node04:2181,node05:2181 --describe --topic test
6).删除topic
kafka-topics.sh --zookeeper node03,node04,node05 --delete --topic test1
在/software/kafka_2.11-0.11.0.3/config/server.properties 配置 delete.topic.enable=true
kafka的搭建,命令的更多相关文章
- 【入门教程】kafka环境搭建以及基础教程
问题导读 1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic.发送消息.消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有 ...
- kafka服务器搭建与测试
kafka服务器搭建 kafka自身集群信息的管理以及对producer和consumer的信息管理是通过zookeeper实现的,zookeepr是kafka不可分割的一部分,所以搭建zookeep ...
- Kafka - 环境搭建
一.概述 Kafka(官网地址)专为分布式高吞吐量系统而设计. Kafka往往工作得很好,作为一个更传统的消息代理的替代品. 与其他消息传递系统相比,Kafka具有更好的吞吐量,内置分区,复制和固有的 ...
- 基于Kafka+ELK搭建海量日志平台
早在传统的单体应用时代,查看日志大都通过SSH客户端登服务器去看,使用较多的命令就是 less 或者 tail.如果服务部署了好几台,就要分别登录到这几台机器上看,等到了分布式和微服务架构流行时代,一 ...
- 入门大数据---Kafka的搭建与应用
前言 上一章介绍了Kafka是什么,这章就讲讲怎么搭建以及如何使用. 快速开始 Step 1:Download the code Download the 2.4.1 release and un-t ...
- kafka环境搭建及librdkafka测试
kafka环境搭建及librdkafka测试 (2016-04-05 10:18:25) 一.kafka环境搭建(转自http://kafka.apache.org/documentation.h ...
- windows下golang实现Kfaka消息发送及kafka环境搭建
kafka环境搭建: 一.安装配置java-jdk (1)kafka需要java环境,安装java-jdk,下载地址:https://www.oracle.com/technetwork/java/j ...
- kafka环境搭建
kafka环境搭建 for mac 对应qq群号:616961231 在之前的文章中, 有学习能力和兴趣爱好的同学,自己动手维护测试环境,丰衣足食是最好的办法,今天我们来讲讲kafka在mac上的安装 ...
- Kafka Offset相关命令总结
Kafka Offset相关命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查询topic的offset的范围 1>.查询某个topic的offset的最小值 [ ...
随机推荐
- STM32F103之USART学习记录
1.USART的主要特性 1)名称:串行异步通信接口 2)全双工.异步通信 3)发送和接收速率最高可达4.5MBits/s 4)可编程数据长度8或9bits 5)可配置的停止位:支持1或2位停止位 6 ...
- vmware安装centos7 输入ifconfig出现ens33,没有eth0
https://blog.csdn.net/qq_35079450/article/details/78634984 解决办法 1. 编辑网卡的配置文件 vi /etc/sysconfig/netwo ...
- animate使用方法
链接:https://www.cnblogs.com/xiaohuochai/p/7372665.html
- linux 自带php切换xampp
查看系统中有哪些用户: cut -d : -f 1 /etc/passwd 查看当前php: which php 删除系统自带php软链 rm -rf /usr/bin/php 切换到PHP新路径 l ...
- 【译】高级T-SQL进阶系列 (三)【中篇】:理解公共表表达式(CTEs)
[译注:此文为翻译,由于本人水平所限,疏漏在所难免,欢迎探讨指正] 原文链接:传送门. 一个简单的CTE例子 如前所述,CTE‘s提供给你了一个方法来更容易的书写复杂的代码以提高其可读性.假设你有列表 ...
- python 解析json格式
对于网页爬取结果为json格式的,可以直接使用python的json库解析,获取相应字段的值,比用正则匹配更简单规范. import json…… resp=requests.post(url,hea ...
- Ansible自动化搭建及工具集和常见模块、命令详情(重点)
一.ansible介绍 1.ansible简介 官方的title是“Ansible is Simple IT Automation”——简单的自动化IT工具. Ansible跟其他IT自动化技术的区别 ...
- oracle导入失败,超出长度
oracle导入失败,超出长度 出现ORA-12899,是字符集引起的,中文在UTF-8中占3个字节,ZHS16GBK中占2个字节,而源dmp文件字符集是ZHS16GBK库里倒出来的数据,现在要导入到 ...
- webpack使用devtool :source map插件
链接 : https://www.cnblogs.com/chris-oil/p/8856020.html
- mpvue路由传参报错Cannot read property 'query' of undefined
在mpvue编写的小程序项目中,页面跳转间我希望通过编程式导航传递些参数 传参页面代码: this.$router.push({path:'/pages/login/changePassword/ma ...