Kafka是目前业界使用最广泛的消息队列。数据流转常见这样的业务场景,客户端把采集到的日志推送给Kafka,业务方可以消费Kafka的数据落地HDFS,用于离线分析,也可以使用Spark或Flink消费Kafka中的数据,用于实时计算。Kafka在数据流转过程中发挥着纽带作用,可用于日志采集和数据处理系统间的解耦。

本文将介绍搭建Kafka集群的详细安装步骤,并根据日常业务遇到的问题,对Linux系统和Kafka节点的配置参数进行调优。

1. 环境说明

组件 版本 说明
Kafka 2.12-2.5.1
Zookeeper 3.5.8 5个节点
JDK 1.8.0_144

服务器配置:

CPU:【2*Intel(R) Xeon(R) Silver 4214 Processor 12 Cores 24 Threads 2.20 GHz】
内存:【8*16G DDR4-2666 ECC 1.2v RDIMM】
机械硬盘:【12*4T 7200转 3.5寸 SATA接口】
网卡:万兆网卡
Linux系统:centos7.6

2.初始化各个节点基础环境

  • 安装jdk1.8
下载jdk1.8.0_144,并解压到/usr/local目录
  • 关闭swap

若不关闭swap,内存频繁与磁盘空间交换,会有增加gc时间的风险。

#临时生效
swapoff -a #永久生效
echo 'swapoff -a' >> /etc/rc.d/rc.local
  • 修改最大文件打开数

Linux默认配置的最大文件打开数为1024,若Kafka的写入和消费方比较多,会很容易超过默认值,导致broker异常关闭。

#临时生效
ulimit -n 102400
#查看open files 个数
ulimit -a | grep 'open files' #永久生效
vim /etc/security/limits.conf
* soft nofile 102400
* hard nofile 102400

3.搭建zk集群

搭建5个节点的zk集群,可保证在最多挂两个zk节点的情况下,zk集群依然可以正常对外提供服务。

zk集群搭建步骤参见上篇博文:zookeeper-3.5.8集群搭建

4. 中转机上配置一份Kafka

下载解压

从官网下载一份kafka_2.12-2.5.1程序压缩包,解压到当前目录。

修改配置

  • 修改bin/kafka-server-start.sh文件

配置日志打印目录、开放JMX端口、依赖的JDK,以及JVM内存。

vim bin/kafka-server-start.sh

export LOG_DIR="/var/log/kafka"
export JMX_PORT="2020"
export JAVA_HOME="/usr/local/jdk1.8.0_144" if [ "x$KAFKA_HE:AP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx6G -Xms6G"
fi
  • 修改bin/kafka-run-class.sh

配置JVM的垃圾回收器G1参数。

vim bin/kafka-run-class.sh

export JAVA_HOME="/usr/local/jdk1.8.0_144"   #其他脚本调用该shell,需要JDK环境

KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:MetaspaceSize=96m -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M -XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80"
  • 修改config/server.properties文件
vim config/server.properties
broker.id=10*
listeners=PLAINTEXT://host_name:9090 # 在写入量150MB/s,读取量300MB/s的情况下,使用以下两个配置,网络线程和磁盘IO线程平均空闲率大约30%。
num.network.threads=6
num.io.threads=12 log.dirs=/data*/kafka-logs #根据具体情况而定 log.retention.hours=48
zookeeper.connect=zk1.bjehp.com:2181,zk2.bjehp.com:2181,zk3.bjehp.com:2181,zk4.bjehp.com:2181,zk5.bjehp.com:2181/kafka/talos #注意修改zookeeper地址 auto.create.topics.enable=false
default.replication.factor=2 #以下注释为Kafka默认参数,注意zk的连接时间与超时时间由0.8版本的6s提高到现版本的18s.
#offsets.topic.replication.factor=3
#transaction.state.log.replication.factor=3
#transaction.state.log.min.isr=2
#group.initial.rebalance.delay.ms=3000 #zookeeper.connection.timeout.ms=18000
#zookeeper.session.timeout.ms=18000

5. 在各个节点安装并启动Kafka

安装

  • 同步安装包
将中转机的Kafka安装包拷贝到本地/usr/local/目录
  • 根据机器实际情况修改server.properties配置文件
vim /usr/local/kafka_2.12-2.5.1/config/server.properties
broker.id=10* #修改broker id参数
log.dirs=/data*/kafka-logs #根据实际情况修改log目录
listeners=SASL_PLAINTEXT://hostname:9090 #修改hostname

启动并验证

nohup /usr/local/kafka_2.12-2.5.1/bin/kafka-server-start.sh /usr/local/kafka_2.12-2.5.1/config/server.properties > /dev/null 2>&1 &

ps aux | grep kafka
tailf /var/log/kafka/server.log netstat -tnlp | grep 9090
netstat -tnlp | grep 2020

停止

/usr/local/kafka_2.12-2.5.1/bin/kafka-server-stop.sh

6.服务运维

定时清除日志

vim /etc/cron.d/kafka-logclean
# 每天定时清除1天前的kafka日志文件
5 4 * * * root find /var/log/kafka/*.log.* -type f -mtime +1 | xargs rm -f

配置监控报警

  • 配置服务器的磁盘、内存、cpu load报警
  • 配置Kakfa节点端口报警

总结

本文介绍了Kakfa集群的详细搭建步骤,以及Linux系统和Kafka节点的参数调优。近些年随着Kafka版本不断迭代,之前的旧版本的bug(比如0.8版本)也不断被修复,并且不断有新功能涌现,比如流量配额、exactly-once语义等,使得Kafka集群越来越稳定,这将明显降低集群故障。Kafka在很多功能点的实现上有很多巧妙的设计,值得不断地深入学习和探索~~~

Kafka_2.12-2.5.1集群搭建与参数调优的更多相关文章

  1. 每秒处理3百万请求的Web集群搭建-为最佳性能调优 Nginx

    这篇文章是<打造3百万次请求/秒的高性能服务器集群>系列的第2部分,在这个部分中你可以使用任何一种 WEB 服务器,不过我决定使用 Nginx,因其轻量级.高可靠及高性能的优点. 通常来说 ...

  2. PB 级大规模 Elasticsearch 集群运维与调优实践

    PB 级大规模 Elasticsearch 集群运维与调优实践 https://mp.weixin.qq.com/s/PDyHT9IuRij20JBgbPTjFA | 导语 腾讯云 Elasticse ...

  3. [spark]-Spark2.x集群搭建与参数详解

    在前面的Spark发展历程和基本概念中介绍了Spark的一些基本概念,熟悉了这些基本概念对于集群的搭建是很有必要的.我们可以了解到每个参数配置的作用是什么.这里将详细介绍Spark集群搭建以及xml参 ...

  4. kafka_2.11-0.10.1.1集群搭建安装配置

    在搭建kafka集群之前,请保证zookeeper已安装. 1.下载 官网下载链接:http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.1.1/ ...

  5. PB级大规模Elasticsearch集群运维与调优实践

    导语 | 腾讯云Elasticsearch 被广泛应用于日志实时分析.结构化数据分析.全文检索等场景中,本文将以情景植入的方式,向大家介绍与腾讯云客户合作过程中遇到的各种典型问题,以及相应的解决思路与 ...

  6. PB级大规模Elasticsearch集群运维与调优实践【>>戳文章免费体验Elasticsearch服务30天】

    [活动]Elasticsearch Service免费体验馆>> Elasticsearch Service自建迁移特惠政策>>Elasticsearch Service新用户 ...

  7. [hadoop] 集群启动和内存调优

    1.启动Hadoop集群 #首先查看下zoo.cfg里面配置的server.id和集群主机的id是否一致 #如果不一致会造成yarn控制不了从节点的启动 cat /home/hadoop/zookee ...

  8. (四)Spark集群搭建-Java&Python版Spark

    Spark集群搭建 视频教程 1.优酷 2.YouTube 安装scala环境 下载地址http://www.scala-lang.org/download/ 上传scala-2.10.5.tgz到m ...

  9. Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)

    现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机 ...

随机推荐

  1. 实验 2:Mininet 实验——拓扑的命令脚本生成

    一.实验目的 掌握 Mininet 的自定义拓扑生成方法:命令行创建.Python 脚本编写 二.实验任务 通过使用命令行创建.Python 脚本编写生成拓扑,熟悉 Mininet 的基本功能. 三. ...

  2. matlab中datest() 将日期和时间转换为字符串格式

    来源:https://ww2.mathworks.cn/help/matlab/ref/datestr.html?searchHighlight=datestr&s_tid=doc_srcht ...

  3. LiteOS-任务篇-源码分析-任务调度函数

    目录 前言 笔录草稿 核心源码分析 osTaskSchedule函数源码分析 osPendSV函数源码分析 TaskSwitch函数源码分析 调度上层源码分析 osSchedule函数源码分析 LOS ...

  4. K8S基础

    四组基本概念 Pod/Pod控制器 Name/Namespace Label/Label选择器 Service/Ingress Pod Pod是k8s里能够被运行的最小的逻辑单元(原子单元) 1个Po ...

  5. English 介词

    English 介词 Create Time : 2019-06-27 表示时间的介词称为时间介词.表示时间的介词有:at, on, in, before, after等. 一.at, on和in ① ...

  6. 多测师讲解自动化 _rf自动化需要总结的问题(2)_高级讲师肖sir

    1.口述整个自动化环境搭建的过程.以及环境搭建需要哪些工具包以及对应的工具包的作用?2.RF框架的原理?常见的功能?3.公司自动化测试的流程?1.自动化需求的评审2.自动化场景的选择3.自动化工具的选 ...

  7. 多测师讲解自动化测试 _如何解决验证码的问题_高级讲师肖sir

    自动化测试如何解决验证码的问题对于web应用来说,大部分的系统在用户登录时都要求用户输入验证码,验证码的类型的很多,有字母数字的,有汉字的,甚至还要用户输入一条算术题的答案的,对于系统来说使用验证码可 ...

  8. day63 Pyhton 框架Django 06

    内容回顾 1.装饰器 装饰器:是一个闭包函数,在不改变原函数的代码和调用方式的基础上,给原函数增加功能. def wrapper(func): def inner(*args,**kwargs): # ...

  9. 比特币PoW

    比特币区块头结构 字段 大小(Byte) 说明 nVersion 4 区块版本号,表示本区块遵守的验证规则 hashPrevBlock 32 前一区块的哈希值,使用SHA256(SHA256(父区块头 ...

  10. python写文件时遇到UnicodeEncodeError: 'gbk' codec can't encode character的解决方式

    在window平台,文件的默认编码是gbk, 此时如果写入的字符串的编码是utf-8就会引发这种错误,打开文件的编码必须与字符串的编码一致 with open('content.txt','w',en ...