Mac安装Kafka（依赖zookeeper）

版本

kafka_2.11-2.0.0

flume1.8.0

一、软件下载

http://kafka.apache.org/downloads.html
tar -zxf kafka_2.11-2.0.0.tgz

二、修改配置文件

【1】创建日志文件夹：

mkdir /Users/mac/SoftWare/Cache/kafka

【2】修改kafka配置文件

vim config/server.properties

listeners=PLAINTEXT://172.23.75.105:9092

log.dirs=/Users/mac/SoftWare/Cache/kafka

外网访问需要加,Flume连接用：

advertised.listeners=PLAINTEXT://172.23.75.105:9092

三、启动(依赖zookeeper)

进入项目目录

　　cd /Users/mac/SoftWare/kafka_2.11-2.0.0

后台启动(推荐)
　　nohup ./bin/kafka-server-start.sh ./config/server.properties &

正常启动（测试用）

　　./bin/kafka-server-start.sh ./config/server.properties &
查看状态：jps

关闭Kafka：  ./bin/kafka-server-stop.sh

四、测试kafka

【1】创建一个topic
　　./bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic robots2 --partitions 1 --replication-factor 1
【2】查看创建的topic
　　./bin/kafka-topics.sh --zookeeper localhost:2181 --list

【3】启动消费者
　　./bin/kafka-console-consumer.sh --bootstrap-server 172.23.75.105:9092 --topic robots2 --from-beginning
　　注：新版的kafka只能使用–bootstrap-server来启动，zookeeper的指令已经被取消了。

【4】启动生产者，然后输入消息测试

　　./bin/kafka-console-producer.sh --broker-list 172.23.75.105:9092 --topic robots2

五、接入flume，接收消息

【1】启动zookeeper

【2】后台启动kafka（参考上面的）

【3】查看创建的topic

　　./bin/kafka-topics.sh --zookeeper localhost:2181 --list

【4】开启消费topic

　　cd /Users/mac/SoftWare/kafka_2.11-2.0.0

　　./bin/kafka-console-consumer.sh --bootstrap-server 172.23.75.105:9092 --topic robots2 --from-beginning

【5】启动flume生产内容（参考：https://www.cnblogs.com/robots2/p/15066493.html）

　　cd /Users/mac/SoftWare/flume-1.8.0

　　后台启动：nohup ./bin/flume-ng agent -c ./conf/ -f ./conf/kafka.properties -n agent -Dflume.root.logger=DEBUG,console &