Kafka和的安装与配置

本文主要介绍Kafka的安装与配置：

集群规划

datanode1	datanode2	datanode3
zk	zk	zk
kafka	kafka	kafka

kafka jar包下载地址

http://kafka.apache.org/downloads.html

kafka集群安装部署

解压安装包

[hadoop@datanode1 software]$ tar -zxvf kafka_2.11-0.8.2.2.tgz -C /opt/module/

修改解压后的名称

[hadoop@datanode1 module]$ mv kafka_2.11-0.8.2.2/ kafka

/opt/module/kafka目录下创建logs文件夹

[hadoop@datanode1 kafka]$ mkdir logs/

修改配置文件

[hadoop@datanode1 kafka]$ cd config/

[hadoop@datanode1 config]$ vim server.properties

#broker的全局唯一编号，不能重复

broker.id=0

#删除topic功能使能

delete.topic.enable=true

#处理网络请求的线程数量

num.network.threads=3

#用来处理磁盘IO的现成数量

num.io.threads=8

#发送套接字的缓冲区大小

socket.send.buffer.bytes=102400

#接收套接字的缓冲区大小

socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小

socket.request.max.bytes=104857600

#kafka运行日志存放的路径

log.dirs=/opt/module/kafka/logs

#topic在当前broker上的分区个数

num.partitions=1

#用来恢复和清理data下数据的线程数量

num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，超时将被删除 7天

log.retention.hours=168

#配置连接Zookeeper集群地址

zookeeper.connect=datanode1:2181,datanode2:2181,datanode2:2181

5.配置环境变量

[hadoop@datanode1 config]$ sudo vim /etc/profile

#KAFKA_HOME

export KAFKA_HOME=/opt/module/kafka

export PATH=$PATH:$KAFKA_HOME/bin

[hadoop@datanode1 config]$ source /etc/profile

6.分发安装包

[hadoop@datanode1 module]$ xsync kafka

##分发完毕后要在其他节点上配置/opt/module/kafka/config/server.properties broker.id  值  笔者在这里也是 坑了半天发现分发之后 忘记了改broker.id 值

7.启动集群

[hadoop@datanode1]$ bin/kafka-server-start.sh config/server.properties &

[hadoop@datanode2]$ bin/kafka-server-start.sh config/server.properties &

[hadoop@datanode3]$ bin/kafka-server-start.sh config/server.properties &

Kafaka Manager

为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，有如下功能：

1.管理多个kafka集群
2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
3.选择你要运行的副本
4.基于当前分区状况进行
5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
7.Topic list会指明哪些topic被删除（在0.8.2以上版本适用）
8.为已存在的topic增加分区
9.为已存在的topic更新配置
10.在多个topic上批量重分区
11.在多个topic上批量重分区(可选partition broker位置)

这里提供编译好了的包，下载后可以直接使用，可以不用去sbt编译。
链接：http://pan.baidu.com/s/1bQ3lkM 密码：c251

将下载完之后的上传到Linux上解压

[hadoop@datanode1 software]$ unzip kafka-manager-1.3.0.7.zip

[hadoop@datanode1 software]$ mv kafka-manager-1.3.0.7 kafka-manager

修改application.conf中zk配置

http.port=9001 （默认9000）  #会与hadoop端口发生冲突

kafka-manager.zkhosts="192.168.1.101:2181,192.168.1.102:2181,192.168.1.103:2181" #写ip地址不写主机名

用kafkamanage是在jdk8基础上的，所以先安装jdk8,只需下载解压即可。

#想要看到读取,写入速度需要开启JMX，修改kafka-server-start.sh 添加一行即可：添加JMX端口8999

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

export JMX_PORT="8999"

fi

##如果初始化内存不够 KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" 可以设置小一些 JVM系列涉及到到过,之所以设置相同为了防止内存抖动

想要看到读取,写入速度需要开启JMX，修改kafka-server-start.sh 添加一行即可：添加JMX端口8999

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"  ## 和你自己的设置内存带下保持相同

export JMX_PORT="8999"

fi

##"每个kafka broker都需要修改，修改后进行重启kafka"

启动kafka manager

[hadoop@datanode1 module]$ cd kafka

[hadoop@datanode1 module]$ bin/kafka-manager -java-home /opt/module/jdk1.8.0_162/

在后台运行

[hadoop@datanode1 bin]$ nohup ./kafka-manager  -java-home /opt/module/jdk1.8.0_162/  -Dconfig.file=../conf/application.conf >/dev/null 2>&1 &

在localhost:9001查看web页面

创建cluster: 点击顶部Cluster、Add Cluster

配置cluster

名字；集群zkhost格式：host1:2181,host2:2181,host3:2181
kafka版本，勾选上JMX和下面的勾选框，可显示更多指标

创建完毕后，可查看

topics相关：