kafka+zookeeper集群

一. 环境准备

关闭selinux，关闭防火墙

kafka 版本: kafka_2.11-2.1.0

zookpeeper版本: 3.4.12

jdk: 1.8

ip	角色	系统
172.10.10.226	zookeeper+kafka	redhat7.3
172.10.10.225	zookeeper+kafka	redhat7.3
172.10.10.224	zookeeper+kafka	redhat7.3

二. zookeeper集群搭建

参考: https://www.cnblogs.com/linuxprobe/p/5851699.html

http://www.cnblogs.com/ahu-lichang/p/6723826.html

2.1 jdk 安装

也可自己下载安装,这里用的yum

JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

rpm -ivh jdk-8u101-linux-x64.rpm

yum install java-1.8.

2.2 zookeeper安装

Zookeeper链接：http://zookeeper.apache.org/

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz -P /mnt

tar zxvf zookeeper-3.4.12.tar.gz -C /mnt

cd /mnt && mv zookeeper-3.4.12 zookeeper

cd zookeeper

cp conf/zoo_sample.cfg conf/zoo.cfg

#把zookeeper加入到环境变量

echo -e "# append zk_env\nexport PATH=$PATH:/opt/zookeeper/bin" >> /etc/profile

2.3 zookeeper集群配置

2.3.1 zookeeper配置文件修改.在zookeeper的conf目录创建

tickTime=

initLimit=

syncLimit=

dataLogDir=/mnt/zookeeper/logs

dataDir=/mnt/zookeeper/data

clientPort=

#autopurge.snapRetainCount=

#autopurge.purgeInterval=

server.= 172.10.10.226::  #server. 中的1表示的该node的id，要和后面myid文件中保持一致

server.= 172.10.10.225::

server.= 172.10.10.224::3888

#######参数说明

tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

initLimit这个配置项是用来配置zookeeper接受客户端（这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。

当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。

syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

dataDir顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里；

clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求；

server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址，C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口，D是在leader挂掉时专门用来进行选举leader所用的端口。

#创建相关目录，三台节点都需要

mkdir -p /mnt/zookeeper/{logs,data}

#其余zookeeper节点安装完成之后，同步配置文件zoo.cfg。

2.3.2 创建serverid表识

除了修改zoo.cfg配置文件外,zookeeper集群模式下还要配置一个myid文件,这个文件需要放在dataDir目录下。

这个文件里面有一个数据就是A的值（该A就是zoo.cfg文件中server.A=B:C:D中的A）,在zoo.cfg文件中配置的dataDir路径中创建myid文件。

#在172.10.10.226服务器上面创建myid文件，并设置值为1，同时与zoo.cfg文件里面的server.1保持一致，如下

echo "1" > /mnt/zookeeper/data/myid

其它2台id分别为 2 ，3

2.4. 启动每个服务器上的集群节点

/mnt/zookeeper/bin/zkServer.sh start #启动

/mnt/zookeeper/bin/zkServer.sh status #查看

bin/zkCli.sh -server 172.10.10.225:2181 #模拟客户端连接

Zookeeper集群搭建完毕之后，可以通过客户端脚本连接到zookeeper集群上面，对客户端来说，zookeeper集群是一个整体，连接到zookeeper集群实际上感觉在独享整个集群的服务。　　　　

三. kafka集群搭建

1. 每台服务器上下载解压kafka.

下载地址： http://kafka.apache.org/downloads

2. 配置conf目录下的server.properties

[root@r0 kafka_2.-2.1.]# grep -E  -v "^#|^$" config/server.properties

broker.id=0  ###集群中唯一

listeners=PLAINTEXT://172.10.10.226:9092 ####本地ip:端口

num.network.threads=

num.io.threads=

socket.send.buffer.bytes=

socket.receive.buffer.bytes=

socket.request.max.bytes=

log.dirs=/tmp/kafka-logs

num.partitions=3  #### 一个topic的partition个数

num.recovery.threads.per.data.dir=

offsets.topic.replication.factor=

transaction.state.log.replication.factor=

transaction.state.log.min.isr=

replication.factor=2   ##### 每个partition的副本

log.retention.hours=

log.segment.bytes=

log.retention.check.interval.ms=

zookeeper.connect=172.10.10.226:,172.10.10.225:,172.10.10.224:2181 ####zookeeper集群.

zookeeper.connection.timeout.ms=

group.initial.rebalance.delay.ms=0
delete.topic.enable=true  ########可删除topic

将上述配置文件复制到另外2台服务器，并修改每个节点对应的 server.properties 文件的 broker.id和listenrs

3. 启动服务

bin/kafka-server-start.sh config/server.properties &

4. kafka+zookeeper测试

创建topic

bin/kafka-topics.sh --create --zookeeper 172.10.10.226:,172.10.10.225:,172.10.10.224: --replication-factor   --partitions  --topic test

显示topic

bin/kafka-topics.sh --describe --zookeeper 172.10.10.226:,172.10.10.225:,172.10.10.224: --topic test

OpenJDK -Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

Topic:test    PartitionCount:    ReplicationFactor:    Configs:

    Topic: test    Partition:     Leader:     Replicas: ,    Isr: ,

    Topic: test    Partition:     Leader:     Replicas: ,    Isr: ,

    Topic: test    Partition:     Leader:     Replicas: ,    Isr: ,

创建 producer(生产者):

[root@r0 kafka_2.-2.1.]# bin/kafka-console-producer.sh --broker-list 172.10.10.226: -topic test

OpenJDK -Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

>

>>

>

>

创建 consumer(消费者):

[root@r2 kafka_2.-2.1.]# bin/kafka-console-consumer.sh --bootstrap-server 172.10.10.226:,172.10.10.225:,172.10.10.224: --topic test --from-beginning

OpenJDK -Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

message

message 

#问题，发现为啥顺序不对，生产者的输入顺序和消费者的读取顺序不一致.

5. 关闭集群

# 删除topic

bin/kafka-topics.sh --delete --zookeeper 172.10.10.226:,172.10.10.225:,172.10.10.224: --topic test

# 关闭kafka ,3台都执行

[root@worker2 kafka_2.-1.1.]$ bin/kafka-server-stop.sh conf/server.properties

[root@worker2 kafka_2.-1.1.]$ bin/kafka-server-stop.sh conf/server.properties

[root@worker2 kafka_2.-1.1.]$ bin/kafka-server-stop.sh conf/server.properties

# 关闭zookeeper ,3台都执行

[root@master zookeeper-3.4.]$ bin/zkServer.sh stop conf/zoo.cfg

[root@worker1 zookeeper-3.4.]$ bin/zkServer.shstop conf/zoo.cfg

[root@worker2 zookeeper-3.4.]$ bin/zkServer.shstop conf/zoo.cfg