Kafka集群的安装和部署

　　一、Kafka的下载与解压

　　http://kafka.apache.org/downloads.html下载kafka_2.11-1.1.1.tgz.gz并解压到/home/jun下

[jun@master ~]$ cd kafka_2.-1.1./
[jun@master kafka_2.-1.1.]$ ls -l
total
drwxr-xr-x.  jun jun   Jul   : bin
drwxr-xr-x.  jun jun   Jul   : config
drwxr-xr-x.  jun jun   Jul  : libs
-rw-r--r--.  jun jun  Jul   : LICENSE
-rw-r--r--.  jun jun    Jul   : NOTICE
drwxr-xr-x.  jun jun     Jul   : site-docs

　　二、配置Kafka集群

　　1.在Master节点上的配置

　　配置server.properties

[jun@master kafka_2.-1.1.]$ gedit /home/jun/kafka_2.-1.1./config/server.properties 

　　（1）在Server Basics部分增加下面的配置：将master作为broker，其id采用了默认的0

############################# Server Basics #############################

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=
host.name=master
listeners=PLAINTEXT://master:9092

　　（2）在Zookeeper部分增加下面的配置，Zookeeper作为协调器，它连接的节点包括了集群的所有计算机。

############################# Zookeeper #############################

# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=master:,slave0:,slave1:

# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=

　　将Kafka文件复制Slave节点

[jun@master kafka_2.-1.1.]$ scp -r /home/jun/kafka_2.-1.1./   slave0:~/
[jun@master kafka_2.-1.1.]$ scp -r /home/jun/kafka_2.-1.1./   slave1:~/

　　2.在Slave节点上的配置

　　同理，将slave0的broker.id设置为1，host.name=slave0，listeners=PLAINTEXT://slave0:9092；将slave1的broker.id设置为2，host.name=slave1，listeners=PLAINTEXT://slave1:9092即可。

　　三、Kafka的应用

　　1.启动Kafka自带的Zookeeper服务

　　首先查看当前系统进程列表

[jun@master ~]$ jps
 Jps

[jun@slave0 ~]$ jps
 Jps

[jun@slave1 ~]$ jps
 Jps

　　启动Kafka自带的Zookeeper服务

[jun@master kafka_2.-1.1.]$ bin/zookeeper-server-start.sh config/zookeeper.properties
[jun@slave0 kafka_2.11-1.1.1]$ bin/zookeeper-server-start.sh config/zookeeper.properties
[jun@slave1 kafka_2.11-1.1.1]$ bin/zookeeper-server-start.sh config/zookeeper.properties

　　另开一个终端，查看此时的系统进程，此时QuorumPeerMain就是Zookeeper服务器进程

[jun@master kafka_2.-1.1.]$ jps
 Jps
 QuorumPeerMain

[jun@slave0 kafka_2.-1.1.]$ jps
 Jps
 QuorumPeerMain

[jun@slave1 kafka_2.-1.1.]$ jps
 QuorumPeerMain
 Jps

　　2.启动Kafka服务

[jun@master kafka_2.-1.1.]$ bin/kafka-server-start.sh config/server.properties
[jun@slave0 kafka_2.-1.1.]$ bin/kafka-server-start.sh config/server.properties
[jun@slave1 kafka_2.-1.1.]$ bin/kafka-server-start.sh config/server.properties 

　　另开一个终端，查看此时的系统进程，此时的Kafka就是Kafka的服务器进程

[jun@master kafka_2.-1.1.]$ jps
 Jps
 Kafka
 QuorumPeerMain

[jun@slave0 kafka_2.-1.1.]$ jps
 Kafka
 QuorumPeerMain
 Jps

[jun@slave1 kafka_2.-1.1.]$ jps
 QuorumPeerMain
 Kafka
 Jps

　　3.创建主题

·　　主题（Topic）是消息中间件的基本概念，相当于文件系统的目录，其实就是用于保存消息内容的计算实体，通过主题名加以标识，就如同目录通过目录名标识一样。

　　（1）在master节点上创建一个名称为“test”的主题

[jun@master kafka_2.-1.1.]$ bin/kafka-topics.sh --create -zookeeper master: --replication-factor  --partitions  --topic test
Created topic "test".

　　（2）查看已经创建的消息主题，同样，在其他Slave结点上执行该命令也可以查看到创建的主题

[jun@master kafka_2.-1.1.]$ bin/kafka-topics.sh --list --zookeeper master:
test

　　4.发送消息

　　消息中间件是一个用于接收消息并转发消息的服务，为了检验Kafka是否能够正常工作，需要创建一个消息生产者（producer）、利用它产生消息

[jun@master kafka_2.-1.1.]$ bin/kafka-console-producer.sh --broker-list master: --topic test
>say hi
[-- ::,] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id  : {myfinaltest=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
>hi
>you
>cnm
>

　　5.接收消息

　　在一个新终端上执行如下的命令，可以看到接收到了producer发送的消息

[jun@slave0 kafka_2.-1.1.]$ bin/kafka-console-consumer.sh --bootstrap-server slave0: --topic test--from-beginning
say hi
hi
you
cnm

[jun@slave1 kafka_2.-1.1.]$ bin/kafka-console-consumer.sh --bootstrap-server slave0: --topic test--from-beginning
say hi
hi
you
cnm