kafka集群环境搭建(Linux)

一、准备工作

centos6.8和jvm需要准备64位的，如果为32位，服务启动的时候报java.lang.OutOfMemoryError: Map failed

的错误。

链接：http://pan.baidu.com/s/1pLbj8T1 密码：f4h0

centos6.8  64位

jdk-8u121-linux-x64.tar.gz

kafka_2.12-0.10.2.1.tgz

zookeeper-3.4.5.tar.gz

虚拟机资源有限，所以3台zookeeper服务器和3台kafka服务器都装在了192.168.137.176上面。

二、安装JAVA

在CentOS6.8安装完以后，系统默认安装了open jdk1.7.0，我们在这里选择安装自己的jdk1.8.0 64位。

(1)tar -zxvf /home/test/jdk-8u121-linux-x64.tar.gz

mv jdk1.8.0_121 /usr/local/jdk1.8.0

在/usr/local 路径下面多了一个 jdk1.8.0文件夹。

(2)配置环境变量

在Linux系统中，一般安装软件的配置信息都是存放在 /etc/profile 文件里面。

vim /etc/profile加入下面设置

export JAVA_HOME=/usr/local/jdk1.8.0

export JRE_HOME=${JAVA_HOME}/jre

export PATH=.:${JAVA_HOME}/bin:$PATH

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
(3)source /etc/profile // 这条命令是让配置马上生效

(4)输入  java -version ，结果很遗憾，还是之前CentOS为我们安装好的jdk，说明我们的配置没有生效，

所以此时我们若要使用自己的jdk来替换系统自带的，还需要进行如下设置：

update-alternatives --install /usr/bin/java java /usr/local/jdk1.8.0/bin/java 50

update-alternatives --config java 选择需要的版本

(5)查看链接情况

输入  ll /usr/bin/java

输出  lrwxrwxrwx. 1 root root 22 Jun  2 09:25 /usr/bin/java -> /etc/alternatives/java

输入  ll /etc/alternatives/java

输出  lrwxrwxrwx. 1 root root 26 Jun  2 09:25 /etc/alternatives/java -> /usr/local/jdk1.8.0/bin/java

三、安装zookeeper服务器集群

zookeeper服务器集群规模不小于3个节点。

1.zookeeper服务安装

进行解压： tar -zxvf zookeeper-3.4.5.tar.gz

重命名： mv zookeeper-3.4.5 /usr/local/zookeeper

2.修改环境变量

vi /etc/profile

export ZOOKEEPER_HOME=/usr/local/zookeeper

export PATH=.:${ZOOKEEPER_HOME}/bin:${JAVA_HOME}/bin:$PATH

刷新： source /etc/profile

3.zookeeper配置文件准备

cd /usr/local/zookeeper/conf

cp zoo_sample.cfg zoo1.cfg

cp zoo_sample.cfg zoo2.cfg

cp zoo_sample.cfg zoo3.cfg

zoo1.cfg配置如下

clientPort=2181
dataDir=/usr/local/zookeeper/data/zoo1
tickTime=2000
initLimit=10
syncLimit=5
server.0=127.0.0.1:2888:3888
server.1=127.0.0.1:2889:3889
server.2=127.0.0.1:2890:3890

zoo2.cfg配置如下

clientPort=2182
dataDir=/usr/local/zookeeper/data/zoo2
tickTime=2000
initLimit=10
syncLimit=5
server.0=127.0.0.1:2888:3888
server.1=127.0.0.1:2889:3889
server.2=127.0.0.1:2890:3890

zoo3.cfg配置如下

clientPort=2183
dataDir=/usr/local/zookeeper/data/zoo3
tickTime=2000
initLimit=10
syncLimit=5
server.0=127.0.0.1:2888:3888
server.1=127.0.0.1:2889:3889
server.2=127.0.0.1:2890:3890

4.创建datadir和服务器标识文件

cd /usr/local/zookeeper/

创建文件夹：mkdir -p data/zoo1 data/zoo2 data/zoo3

cd data/zoo1

创建文件myid并填写内容为0：vi myid (内容为服务器标识 ： 0)

其他两个服务器的值修改为1和2

5.启动zookeeper

zkServer.sh start /usr/local/zookeeper/conf/zoo1.cfg
zkServer.sh start /usr/local/zookeeper/conf/zoo2.cfg
zkServer.sh start /usr/local/zookeeper/conf/zoo3.cfg

查询状态：(一个leader和俩个follower)

zkServer.sh status /usr/local/zookeeper/conf/zoo1.cfg
zkServer.sh status /usr/local/zookeeper/conf/zoo2.cfg
zkServer.sh status /usr/local/zookeeper/conf/zoo3.cfg

停止服务：zkServer.sh stop

启动验证：输入jps，存在 3个QuorumPeerMain 进程的话，就说明 Zookeeper 启动成功了。

四、安装kafka集群

1.kafka服务安装

tar -zxvf kafka_2.12-0.10.2.1.tgz

mv kafka_2.12-0.10.2.1 /usr/local/kafka

2.配置文件准备

config/server.properties参数说明

cd /usr/local/kafka/config/

broker.id=  #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
listeners = PLAINTEXT://your.host.name:#当前kafka对外提供服务的端口默认是9092
num.network.threads= #borker进行网络处理的线程数
num.io.threads= #borker进行I/O处理的线程数
log.dirs=/usr/local/kafka/kafkalogs1/ #消息存放的目录，可以配置为逗号分割的表达式，上面的num.io.threads要大于这个目录的个数。如果配置多个目录，新创建topic的消息持久化的地方是分区数最少的那一个。
socket.send.buffer.bytes= #发送缓冲区buffer大小，数据不是一下子就发送的，先会存储到缓冲区，到达一定的大小后再发送以提高性能。
socket.receive.buffer.bytes= #kafka接收缓冲区大小，当数据到达一定大小后再序列化到磁盘。
socket.request.max.bytes= #向kafka请求消息或者向kafka发送消息的请求的最大数，这个值不能超过java的堆栈大小。
num.partitions= #默认的分区数，一个topic默认1个分区数
log.retention.hours= #默认消息的最大持久化时间，168小时，7天
message.max.byte=  #消息保存的最大值5M
default.replication.factor=  #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务
replica.fetch.max.bytes=  #取消息的最大值
log.segment.bytes= #kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
log.retention.check.interval.ms= #每隔300000毫秒去检查上面配置的log失效时间，到目录查看是否有过期的消息如果有，删除
log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能
zookeeper.connect=localhost: #设置zookeeper的连接端口

配置文件修改

broker.id=  #每台服务器的broker.id都不能相同
listeners=PLAINTEXT://192.168.137.176:9092

log.dirs=/usr/local/kafka/kafkalogs1/

#增加下面设置
message.max.byte=
default.replication.factor=
replica.fetch.max.bytes=

#设置zookeeper的连接端口
zookeeper.connect=127.0.0.1:,127.0.0.1:,127.0.0.1:

其他2个服务器配置文件

cp server.properties server-1.properties

cp server.properties server-2.properties

broker.id=  #每台服务器的broker.id都不能相同
listeners=PLAINTEXT://192.168.137.176:

log.dirs=/usr/local/kafka/kafkalogs2/

#增加下面设置
message.max.byte=
default.replication.factor=
replica.fetch.max.bytes=

#设置zookeeper的连接端口
zookeeper.connect=127.0.0.1:,127.0.0.1:,127.0.0.1:

broker.id=  #每台服务器的broker.id都不能相同
listeners=PLAINTEXT://192.168.137.176:

log.dirs=/usr/local/kafka/kafkalogs3/

#增加下面设置
message.max.byte=
default.replication.factor=
replica.fetch.max.bytes=

#设置zookeeper的连接端口
zookeeper.connect=127.0.0.1:,127.0.0.1:,127.0.0.1:

3.服务器启动

cd /usr/local/kafka/

setsid bin/kafka-server-start.sh config/server.properties &

setsid bin/kafka-server-start.sh config/server-1.properties &

setsid bin/kafka-server-start.sh config/server-2.properties &

setsid作用是让服务在linux客户端退出时依然启动。

4.服务器验证

输入jps，输出如下：3个zookeeper服务，3个kafka服务。

 Kafka
 Kafka
 QuorumPeerMain
 QuorumPeerMain
 Jps
 QuorumPeerMain
 Kafka

五、测试kafka集群

1.创建topic

bin/kafka-topics.sh --create --zookeeper localhost: --replication-factor  --partitions  --topic my-replicated-topic

2.查询topic状态

bin/kafka-topics.sh --describe --zookeeper localhost: --topic my-replicated-topic

Topic:my-replicated-topic       PartitionCount:        ReplicationFactor:     Configs:
        Topic: my-replicated-topic      Partition:     Leader:        Replicas: ,, Isr: ,,

3.发布消息

bin/kafka-console-producer.sh --broker-list 192.168.137.176: --topic my-replicated-topic

4.接收消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.137.176: --from-beginning --topic my-replicated-topic

5.查看topic

bin/kafka-topics.sh --list --zookeeper localhost:

kafka集群的创建已经完成。