CentOS6.9安装Kafka

先设置jdk1.8

vi /etc/profile

export JAVA_HOME=/usr/local/jdk
export JRE_HOME=/usr/local/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

一、安装zookeeper

官网地址：https://zookeeper.apache.org/

tar zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 /usr/local/zookeeper
cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
mkdir /usr/local/zookeeper/data

修改zoo.cfg配置文件
vi /usr/local/zookeeper/conf/zoo.cfg

dataDir=/usr/local/zookeeper/data
autopurge.purgeInterval=1

修改bin/zkEnv.sh脚本
vi /usr/local/zookeeper/bin/zkEnv.sh
将ZOO_LOG_DIR="." 修改为ZOO_LOG_DIR="/usr/local/zookeeper/data"
将ZOO_LOG4J_PROP=”INFO,CONSOLE” 修改为ZOO_LOG4J_PROP="INFO,ROLLINGFILE"

修改bin/zkServer.sh脚本：
vi /usr/local/zookeeper/bin/zkServer.sh
将ZOOBIN="${BASH_SOURCE-$0}" 修改为ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`

修改bin/zkCli.sh脚本：
vi /usr/local/zookeeper/bin/zkCli.sh
将ZOOBIN="${BASH_SOURCE-$0}" 修改为ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`

建立软连接
ln -s /usr/local/zookeeper/bin/zkServer.sh /usr/local/bin/zk-server
ln -s /usr/local/zookeeper/bin/zkCli.sh /usr/local/bin/zk-cli

echo 1 > /usr/local/zookeeper/data/myid

启动：zk-server start
关闭：zk-server stop

二、安装kafka

下载：http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.12-1.0.0.tgz

tar zxvf kafka_2.12-1.0.0.tgz
mv kafka_2.12-1.0.0 kafka

#创建日志目录
mkdir -p /usr/local/kafka/kafkaLogs

#修改配置文件
vi /usr/local/kafka/config/server.properties

broker.id=0
listeners=PLAINTEXT://:9092
port=9092 　　　　　　　　　　　　　#端口
host.name=10.8.5.101 　　　　　　　  #服务器内网IP
advertised.host.name=114.115.x.x 　　 #对外服务的IP，不管是内外网如果不写的话除本机外谁都连不上
zookeeper.connect=localhost:2181 　　#zookeeper地址和端口，单机配置部署，localhost:2181
log.dirs=/usr/local/kafka/kafkaLogs 　　#日志存放路径，上面创建的日志目录
delete.topic.enable=true 　　　　　　  #可以删除主题
auto.create.topics.enable=false 　　　 #关闭自动创建topic

num.network.threads=cpu核数+1       #broker处理消息的最大线程数（默认为3）
num.io.threads=cpu核数*2                 #broker处理磁盘IO的线程数

log.flush.interval.messages=10000      #每当producer写入10000条消息时，刷数据到磁盘
log.flush.interval.ms=1000                   #每间隔1秒钟时间，刷数据到磁盘

log.retention.hours=72                        #保留三天，也可以更短
log.segment.bytes=1073741824        #段文件配置1GB，有利于快速回收磁盘空间，重启kafka加载也会加快

#设置kafka的环境变量
vi /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile

#设置hosts文件

#先用hostname获取主机名

vi /etc/hosts
127.0.0.1 elk
192.168.1.194 elk

#后台启动

nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties > /dev/null 2>&1 &