Kafka安装验证及其注意
一、Zookeeper 配置文件说明:
# the directory where the snapshot is stored. dataDir=/tmp/zookeeper # the port at which the clients will connect clientPort=2181 # disable the per-ip limit on the number of connections since this is a non-production config maxClientCnxns=0~ |
使用zookeeper 工具进行验证:
在kafka的bin目录下的zookeeper-shell.sh 192.168.7.221:2181/
二、Kafka验证
往往错误不能启动的原因是因为配置文件使用的是默认的/tmp/kafka-logs 的目录我们进行替换为我们自定义的目录
如编辑service.properties 中的log.dirs=../kafkadata
1.创建topic:
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test Created topic "test". |
2.查看topic信息
[root@localhost bin]# ./kafka-topics.sh --list --zookeeper localhost:2181 test |
3.展示topic
[root@gbd209 bin]# ./kafka-topics.sh -list --zookeeper gbd209:,gbd210:,gbd211:,gbd212:
mykafka - marked for deletion
test
test1
testKafka
testKafka_par100_rep2
testKafka_par10_rep1
testKafka_par10_rep2
testKafka_par1_rep1
testKafka_par1_rep2
topicVoice
4.生产者脚本启动
./kafka-console-producer.sh --topic test0214 --broker-list gbd209:
5.消费者脚本启动
./kafka-console-consumer.sh --zookeeper gbd209:,gbd210:,gbd211:,gbd212: --from-beginning --topic test0214 --consumer.config ../config/consumer.properties
6.topic删除脚本
1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录
2、Kafka 删除topic的命令是:
./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】
如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion
你可以通过命令:./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic
7. 修改topic中分区数
topic中的分区书之只能增加不能减少
./kafka-topics.sh --zookeeper localhost:2182 --alter --partitions 20 --topic test
三、多副本测试
1.创建:
./kafka-topics.sh --create --zookeeper gbd209:,gbd210:,gbd211:,gbd212: --replication-factor --partitions --topic test0215
2.查看全部
./kafka-topics.sh --list --zookeeper gbd209:,gbd210:,gbd211:,gbd212:
3.查看全部描述
./kafka-topics.sh --describe --zookeeper gbd209:,gbd210:,gbd211:,gbd212:
4.查看单个描述
./kafka-topics.sh --describe --topic test0215 --zookeeper gbd209:,gbd210:,gbd211:,gbd212:
Topic:test0215 PartitionCount: ReplicationFactor: Configs:
Topic: test0215 Partition: Leader: Replicas: ,,, Isr: ,,,
Topic: test0215 Partition: Leader: Replicas: ,,, Isr: ,,,
Topic: test0215 Partition: Leader: Replicas: ,,, Isr: ,,,
Topic: test0215 Partition: Leader: Replicas: ,,, Isr: ,,,
5.启动生产者
./kafka-console-producer.sh --topic test0215 --broker-list gbd209:,gbd210:,gbd211:,gbd212:
6.启动消费者
./kafka-console-consumer.sh --zookeeper gbd209:,gbd210:,gbd211:,gbd212: --from-beginning --topic test0215 --consumer.config ../config/consumer.properties
四、参考博客
http://www.jasongj.com/2015/08/09/KafkaColumn4/
Kafka安装验证及其注意的更多相关文章
- Kafka安装及开启SASL_PLAINTEXT认证(用户名和密码认证)
前些日子要封装一个kafka的客户端驱动,配置了下kafka环境,发现配置复杂度完爆rabbitmq很多倍啊,而且发布订阅模式使用起来也很麻烦,可能就胜在分布式了吧. kafka需要java环境,自行 ...
- kafka学习1:kafka安装
一.环境准备 1.jdk 如果不会安装linux下的jdk,参考这篇文章:http://www.cnblogs.com/gudi/p/7812033.html 2.kafka wget –c ht ...
- zookeeper与kafka安装部署及java环境搭建(发布订阅模式)
1. ZooKeeper安装部署 本文在一台机器上模拟3个zk server的集群安装. 1.1. 创建目录.解压 cd /usr/ #创建项目目录 mkdir zookeeper cd zookee ...
- kafka安装和使用
kafka安装和启动 kafka的背景知识已经讲了很多了,让我们现在开始实践吧,假设你现在没有Kafka和ZooKeeper环境. Step 1: 下载代码 下载0.10.0.0版本并且解压它. &g ...
- 【Apache Kafka】二、Kafka安装及简单示例
(一)Apache Kafka安装 1.安装环境与前提条件 安装环境:Ubuntu16.04 前提条件: ubuntu系统下安装好jdk 1.8以上版本,正确配置环境变量 ubuntu系统下安 ...
- hadoop 之 kafka 安装与 flume -> kafka 整合
62-kafka 安装 : flume 整合 kafka 一.kafka 安装 1.下载 http://kafka.apache.org/downloads.html 2. 解压 tar -zxvf ...
- Kafka安装及部署
安装及部署 一.环境配置 操作系统:Cent OS 7 Kafka版本:0.9.0.0 Kafka官网下载:请点击 JDK版本:1.7.0_51 SSH Secure Shell版本:XShell 5 ...
- [Kafka] - Kafka 安装介绍
Kafka是由LinkedIn公司开发的,之后贡献给Apache基金会,成为Apache的一个顶级项目,开发语言为Scala.提供了各种不同语言的API,具体参考Kafka的cwiki页面: Kafk ...
- Kafka 安装配置 windows 下
Kafka 安装配置 windows 下 标签(空格分隔): Kafka Kafka 内核部分需要安装jdk, zookeeper. 安装JDK 安装JDK就不需要讲解了,安装完配置下JAVA_HOM ...
随机推荐
- 第二次 作业——APP案例分析
APP案例分析 产品 网易云课堂 选择理由 网易云课堂是从大一就开始使用的一款学习软件,有海量的学习资源,很适合学生课余时间的自主学习 调研,评测 上手体验 第一次打开网易云课堂app的时候,进入的是 ...
- Socket 记录
心跳检测步骤:1客户端每隔一个时间间隔发生一个探测包给服务器2客户端发包时启动一个超时定时器3服务器端接收到检测包,应该回应一个包4如果客户机收到服务器的应答包,则说明服务器正常,删除超时定时器5如果 ...
- HDU 2078 复习时间
http://acm.hdu.edu.cn/showproblem.php?pid=2078 Problem Description 为了能过个好年,xhd开始复习了,于是每天晚上背着书往教室跑.xh ...
- SQL Server学习记录之获取每月每季度每年第一天和最后一天
DECLARE@dtdatetime SET@dt=GETDATE() DECLARE@numberint --1.指定日期该年的第一天或最后一天 --A. 年的第一天 SELECTCONVERT() ...
- [转帖]USB-C和Thunderbolt 3连接线你搞懂了吗?---没搞明白.
USB-C和Thunderbolt 3连接线你搞懂了吗? 2018年11月25日 07:30 6318 次阅读 稿源:威锋网 3 条评论 按照计算行业的风潮,USB Type-C 将会是下一代主流的接 ...
- Android如何避免OOM总结
转自:https://blog.csdn.net/ljx19900116/article/details/50037627 前面介绍了一些基础的内存管理机制以及OOM的基础知识,那么在实践操作当中,有 ...
- 微信小程序 功能函数 密码验证*
//登录输入密码 userPasswordInput: function (e) { var that = this; this.setData({ userPassword: e.detail.va ...
- Redis和Memcache的区别总结-京东阿里面试
集群: redis 和memcached都支持集群 数据类型 Redis支持的数据类型要丰富得多,Redis不仅仅支持简单的k/v类型的数据,同时还提供String,List,Set,Hash,Sor ...
- UVALive6442_Coins on a Ring
真正的水题,可惜无法当场机智一下. 这样的,在一个圈圈上给你n个黑点,现在要你移动每一个黑点使得所有的点都是等间距的,每个点中最远需要一定的那个点最小可以是多少? 其实是这样来考虑的,我们可以随便设置 ...
- nginx实现ldap认证
1.安装依赖. yum -y install openldap-devel yum install pcre pcre-devel -y yum -y install openssl openssl- ...