Windows环境下使用kafka单机模式

测试运行环境

Win10

kafka_2.11-1.0.0

zookeeper-3.4.10

1.安装Zookeeper

Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper

1.下载安装文件： http://mirror.bit.edu.cn/apache/zookeeper/

2.解压文件,打开zookeeper下的conf，把zoo_sample.cfg重命名成zoo.cfg

3.修改dataDir和dataLogDir保存路径

dataDir=D:\\data\\zookeeper
dataLogDir=D:\\data\\zookeeper

4.给zookeeper添加系统环境变量,在CMD中运行zookeeper服务zkserver

2.安装kafka

1.下载安装文件： http://kafka.apache.org/downloads.html

2.解压后，修改server.properties

log.dirs=D:\data\logs\kafka

如果之后运行会报错找不到java类,可能是kafka版本问题,则修改F:\kafka\kafka_2.11-1.0.0\bin\windows下的kafka-run-class.bat，在

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*

这里给%CLASSPATH%加上双引号。

3.打开CMD进入kafka主目录文件夹F:\kafka\kafka_2.11-1.0.0\，启动kafka:

.\bin\windows\kafka-server-start.bat .\config\server.properties

4.进入F:\kafka\kafka_2.11-1.0.0\bin\windows里面创建topic:

 kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

5.打开producer:

 kafka-console-producer.bat --broker-list localhost:9092 --topic test

6.打开consumer:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

然后在producer里面输入字符则可以在consumer里接收到

遇到的问题

1.创建topic失败

解决：多创建两次试试，有的情况是机器反应慢

2.出现信息

Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].

网上说是版本问题，可以不用管，现在还不清楚，但是程序可以正常运行

3.用过kafka_2.11-1.0.0再使用kafka_2.10-0.8.2.1，发现启动不了服务，报错JAVA IO找不到系统路径，目前尚未解决，还望有能者指教!!