Kafka-分布式安装

一、kafka是什么？

Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力，适合在大规模消息处理场景中使用。

(1) 分布式系统，易于向外扩展；

(2) 同时为发布和订阅提供高吞吐量;

(3) 支持多订阅者，当失败时能自动平衡消费者；

(4) 将消息持久化到磁盘，可用于批量消费；

二、安装kafka

　kafka的安装需要依赖于jdk和zookeeper。（kafka 2.12-3.4.0，JDK1.8及以上版本）

1．安装规划

主机名	主机IP
hadoop01	192.168.80.131
hadoop02	192.168.80.132
hadoop03	192.168.80.133

组件	安装位置
Zookeeper	hadoop01,hadoop02,hadoop03
Kafka	hadoop01,hadoop02,hadoop03

2．软件下载

Kafka官方下载：http://kafka.apache.org/downloads.html

Zookeeper官方下载：https://zookeeper.apache.org/releases.html

Jdk官方下载：https://www.oracle.com/java/technologies/downloads/

3．安装JDK和Zookeeper

需要说明的是，kafka的安装依赖于Zookeeper，所以运行kafka需要先启动Zookeeper。当然，kafka默认也内置了zk的启动脚本，在kafka安装路径的bin目录下，名称为zookeeper-server-start.sh，如果不想独立安装zk，可直接使用该脚本。

JDK 和Zookeeper安装步骤这里省略，Zookeeper需要启动。

4． Kafka安装步骤

（1）将安装包上传到hadoop01节点

cd  /data/software/

ls

kafka_2.12-3.4.0.tgz

（2）配置hadoop01节点

# 下载并解压kafka部署包至/usr/local/目录

cd  /data/software/

tar -zxvf kafka_2.12-3.4.0.tgz -C /usr/local/

mv /usr/local/kafka_2.12-3.4.0  /usr/local/kafka

 

# 修改配置文件

vim config/server.properties

broker.id=0                                                           #唯一标识，集群里每个broker的id需不同

listeners=PLAINTEXT://192.168.80.131:9092       #tcp监听IP地址

log.dirs=/usr/local/kafka/kafka-logs                    #日志路径，路径需提前创建好，且必须有读写权限

zookeeper.connect=192.168.80.131:2181,192.168.80.132:2181,192.168.80.133:2181      #设置zk的连接地址及端口

配置文件中的一些配置项解释：

broker.id ： kafka 节点的标示，每个节点必须不一样

listeners ：表示客户端要连接的broker入口地址列表

log.dirs  ：kafka数据的存储目录，log.dirs可以配置多个目录

zookeeper.connect ：ZooKeeper服务地址<ip：port>, 多个zk节点用逗号隔开。

## 创建kafka存储消息（log日志数据）的目录

mkdir /usr/local/kafka/kafka-logs

##将kafka分发到其他两个节点

scp -r  /usr/local/kafka   hadoop02:/usr/local/ ;

scp -r  /usr/local/kafka   hadoop02:/usr/local/ ;

（3）配置hadoop02、hadoop03节点

## 登录hadoop02节点，修改hadoop02配置文件

vim config/server.properties

broker.id=1

listeners=PLAINTEXT://192.168.80.132:9092

## 登录hadoop03节点，修改hadoop03配置文件

vim config/server.properties

broker.id=2

listeners=PLAINTEXT://192.168.80.133:9092

（4）分别启动三台节点的Kafka

## 启动kafka

nohup /usr/local/kafka/bin/kafka-server-start.sh  /usr/local/kafka/config/server.properties &

## jps查看进程

jps

输出如下内容：

5301 Jps

4774 QuorumPeerMain

4886 Kafka

## 关闭命令：

/usr/local/kafka/bin/kafka-server-stop.sh