zookeeper及kafka集群搭建

zookeeper及kafka集群搭建

1、有关zookeeper的介绍可参考：http://www.cnblogs.com/wuxl360/p/5817471.html

2、zookeeper安装

下载地址：http://zookeeper.apache.org/

安装过程：http://blog.csdn.net/shirdrn/article/details/7183503/

3、安装过程中服务器status查看失败

安装完成后zookeeper单个服务器启动成功，但是集群在选举的过程中失败。运行./zkServer.sh status状态查看失败，查看bin目录下的日志文件，每个集群日志文件都是服务器1无法连接到服务器2，服务器1无法连接到服务器3这种错误，一直以为是网络的问题，但是每台服务器都能ping通其他几台服务器，而且防火墙也是关闭的状态，最后查看到原来是自己的myid的文件配置问题，因为自己给自己的每一个，myid文件的内容都是在zoo.zfg文件中定义的每个服务器的id，应该是每台服务器对应自己的id，修改后成功。

在这个过程中，如果在已存在zookeeper的集群上在安装zookeeper文件，那么需要注意在配置文件中修改段端口号，以及kafka之间进行通信的端口，leader选举的端口，首先查看要设置的端口号是否被占用，最好设置5000以后的端口号，因为在5000以前的端口很容易和其他服务的端口冲突。

4、kafka安装及配置

安装过程：http://www.cnblogs.com/z-sm/p/5691760.html

kafka安装过程中如果集群中已经有Kafka，那么注意在安装的过程中修改kafkka的端口号，以及给自己kafka在zookeeper的目录下新建一个目录作为kafka的根目录。