linux 下部署 kafka

参考文章

http://www.cnblogs.com/sunxucool/p/4459020.html

http://www.cnblogs.com/oftenlin/p/4047504.html

一.Server 环境搭建

1 安装zookeeper集群（单机集群） storm 部署那里也有

2.安装 kafka 集群（单机集群）

--2.1 下载kafka_2.9.2-0.8.1.1.tgz   到指定的目录

--2.2 解压 （一般解压到/opt/目录下，我是进到文件存放目录直接解压解）

> tar -zxf kafka_2.10-0.8.2.0.tgz -C /opt/

我在 soft/kafka/     > tar -zxf kafka_2.10-0.8.2.0.tgz

--2.3 修改配置文件 config/server.properties 修改的位置如下：

进到安装目录    > cd /opt/kafka_2.10-0.8.2.0/conf

> vim server.properties

　　　　　　#host.name=localhost  修改为   host.name=192.168.128.17 （为虚拟机的ip)

#zookeeper.connect=localhost:2181  修改为 zookeeper.connect=192.168.128.17:2181

其他地方不用怎么修改就可以启动

--2.4 启动 kafka server

进到 kafka 的安装目录,命令 ls  可以看到 bin ，config

> bin/kafka-server-start.sh conf/server.properties  &    （整句直接复制执行，后面是启动所需的参数 & 在后台运行）

--2.5 创建 topic 在bin 目录下创建

> cd /opt/kafka_2.10-0.8.2.0/bin

　　　　　　 > ./kafka-topics.sh --create --zookeeper 192.168.128.17:2181 --replication-factor 1 --partitions 1 --topic test     （ip 改为自己虚拟机的ip 就可以了）

--2.6  环境搭建完，可以查看 topic

>bin/kafka-topics.sh --zookeeper CentOS-server1:2181,CentOS-server2:2181,CentOS-server3:2181 --list

　　　　　　 CentOS-server1 :ip 地址 或者 是 设置的名字（下面有参照图，我设置 我虚拟机上的 ip 地址为 bogon)

　　　　  >bin/kafka-topics.sh --zookeeper bogon:2181 --list   （单例）

--2.7 生产者测试

　　　　　　>bin/kafka-console-producer.sh --broker-list bogon:9092 --topic test  (bogon 为 ip 的名字，可以直接写ip）

若报错（安装jar 文件）  >wget http://www.slf4j.org/dist/slf4j-1.7.6.zip

　　　　　　　

　　

输入完 消息  再开一个终端（消费者）

　　　　　　

　　　　--2.7 消费者测试（能接受生产者的消息）

　　　　　　　>bin/kafka-console-consumer.sh --zookeeper bogon:2181 --topic topicName --from-beginning

若遇到 找不到主机，就到 etc/hosts 目录下 添加虚拟机的主机号

进入 添加主机号