kafka-zk-安装测试初体验

第一步: 安装

安装工具brew install kafka 会自动安装依赖zookeeper

注：安装配置文件位置 /usr/local/etc/kafka|zookeeper

注：

#tickTime: zookeeper中使用的基本时间单位, 毫秒值. #dataDir: 数据目录. 可以是任意目录. #dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和#dataDir相同的设置. #clientPort: 监听client连接的端口号.

第二步: 启动

启动 zookeeper

cd /usr/local/Cellar/kafka/0.10.0.1

./bin/zookeeper-server-start  /usr/local/etc/kafka/zookeeper.properties &

启动kafka服务

./bin/kafka-server-start /usr/local/etc/kafka/server.properties &

注：『&』表示要挂到后台使用

第三步: 测试

1、创建topic

./bin/kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

2、查看创建的topic

./bin/kafka-topics --list --zookeeper localhost:2181

3、生产数据

./bin/kafka-console-producer --broker-list localhost:9092 --topic test1

4、消费数据

./bin/kafka-console-consumer --zookeeper  localhost:2181  --from-beginning --topic test1

或

./bin/kafka-console-consumer --bootstrap-server localhost:2181 --from-beginning --topic golden

 

Kafka常用命令:  
Consumer
##控制台发送消息
./kafka-console-producer.sh --broker-list  集群IP:Port    --topic topic名字
./kafka-console-producer.sh --broker-list  集群IP:Port   --topic topic名字

##控制台接收消息
./kafka-console-consumer.sh --zookeeper  集群IP:Port    --topic  topic名字
./kafka-console-consumer.sh --zookeeper  集群IP:Port   --topic topic名字
##查看消费者组
./kafka-consumer-groups.sh --zookeeper 集群IP:Port --list   
##查看topic详细信息   
./kafka-topics.sh --zookeeper 集群 --topic  topic名字  --describe

##查出最大的topic:
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "集群" --topic topic名字 --time -1  
##查topic中的信息：   
./kafka-simple-consumer-shell.sh
--broker-list  "集群"  --offset 最大TOPIC --partition 0 --print-offsets
--topic topic名字  | grep  要查Jobid | more

前台启动kafka：
./kafka-server-start.sh ../config/server.properties
后台启动kafka:
nohup bin/kafka-server-start.sh config/server.properties > 1>/dev/null 2>&1 &
nohup bin/kafka-server-start.sh config/server.properties > kafka_server.out &

1. 启动ZK服务:       sh bin/zkServer.sh start
2. 查看ZK服务状态:   
3. 停止ZK服务:       sh bin/zkServer.sh stop
4. 重启ZK服务:       sh bin/zkServer.sh restart

nohup java -jar XXX.jar >XXX.log 2>&1 &

 

注：

Zookeeper 安装及配置（Mac）

zookeeper 和 kafka 集群搭建