Producer

于 config/producer.properties 配置文件中的项

# 序列化数据压缩方式 [none/gzip/snappy/lz4/zstd]
compression.type = snappy # default=none
# 内存队列缓冲区总大小
buffer.memory = 67108864 # default=32M
# 数据块/批次 单个大小
batch.size = 32768 # default=16K
# 数据块/批次 过期毫秒
linger.ms = 5 # default=0
# Broker 分区的应答机制
acks = 1 # default=all
# 发送请求允许最大的积压数
max.in.flight.requests.per.connection = 5 # default=5
# 发送失败的重试次数
retries = 2147483647 # default=0
# 发送失败重试间隔毫秒
retry.backoff.ms = 100 # default=100ms
# 幂等性(生产者编号 + Broker分区编号 + 消息编号)
enable.idempotence = true # default=true

Broker

于 config/server.properties 配置文件中的项

# 数据写磁盘线程数(占总核心数60%)
num.io.threads = 8 # default=8
# 副本主动拉取线程数(占总核心数10%)
num.replica.fetchers = 1 # default=1
# 数据网络传输线程数(占总核心数30%)
num.network.threads = 3 # default=3
# 不存在的Topic自动创建
auto.create.topics.enable = true # default=true
# 副本通信超时
replica.lag.time.max.ms = 30000 # default=30000
# Broker leader partition 分区再平衡
auto.leader.rebalance.enable = true # default=true
# 再平衡警戒值(%)
leader.imbalance.per.broker.percentage = 1 # default=10
# 再平衡检测间隔秒数
leader.imbalance.check.interval.seconds = 300 # default=300
# 数据分片单文件大小
log.segment.bytes = 1073741824 # default=1GB
# 数据每索引范围大小
log.index.interval.bytes = 4096 # default=4KB
# 数据保留时长
log.retention.hours = 168 # default=168 (7天)
# 数据保留分钟
log.retention.minutes # default=null
# 数据保留毫秒
log.retention.ms # default=null
# 数据保留检测间隔
log.retention.check.interval.ms = 300000 # default=300000
# 数据保留总大小
log.retention.bytes = -1 # default=-1 (无穷大)
# 数据删除策略 [compact,delete]
log.cleanup.policy = delete # default=delete

Consumer

于 config/consumer.properties 配置文件中的项

# 自动提交消费偏移量
enable.auto.commit = true # default=true
# 提交消费偏移量频率间隔
auto.commit.interval.ms = 5000 # default=5000
# 缺少偏移量的处理 [latest,earliest,none]
auto.offset.reset = latest # default=latest
# 分区数
offsets.topic.num.partitions = 50 # default=50
# 与Broker间的心跳间隔
heartbeat.interval.ms = 5000 # default=3000
# 与Broker间的超时
session.timeout.ms = 45000 # default=45000
# 消息处理最大时长
max.poll.interval.ms = 300000 # default=300000
# 单次拉取数据大小
fetch.max.bytes = 57671680 # default=50M
# 单次拉取数据最大条数
max.poll.records = 500 # default=500
# 再平衡策略 # default= Range + CooperativeSticky
partition.assignment.strategy = class...RangeAssignor,class...CooperativeStickyAssignor

整体吞吐量

生产者

  • buffer.memory:增加内存缓冲区
  • batch.size:增加单数据块/批次容量
  • linger.ms:消息发送延迟5毫秒
  • compression.type:开启压缩

Broker

  • 增加分区数(按分类分区)并行处理

消费者

  • fetch.max.bytes:每次消费数据最大容量
  • max.poll.recodes:每次消费数据最大条数

数据精确一次

生产者:acks = all,幂等性 + 事务

Broker:分区副本至少大于2,防丢失

消费者:手动提交offset + 事务

我的 Kafka 旅程 - 性能调优的更多相关文章

  1. 【Kafka】Kafka-副本-分区设置-性能调优

    Kafka-副本-分区设置-性能调优 SparkKafkaDemo - Executors kafka replication 负载均衡_百度搜索 Kafka 高性能吞吐揭秘 - 友盟博客 - Seg ...

  2. Kafka跨集群迁移方案MirrorMaker原理、使用以及性能调优实践

    序言Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案.其实现原理,其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster,即 ...

  3. Kafka性能调优 - Kafka优化的方法

    今天,我们将讨论Kafka Performance Tuning.在本文“Kafka性能调优”中,我们将描述在设置集群配置时需要注意的配置.此外,我们将讨论Tuning Kafka Producers ...

  4. Spark Streaming性能调优详解

    Spark Streaming性能调优详解 Spark  2015-04-28 7:43:05  7896℃  0评论 分享到微博   下载为PDF 2014 Spark亚太峰会会议资料下载.< ...

  5. Spark Streaming性能调优详解(转)

    原文链接:Spark Streaming性能调优详解 Spark Streaming提供了高效便捷的流式处理模式,但是在有些场景下,使用默认的配置达不到最优,甚至无法实时处理来自外部的数据,这时候我们 ...

  6. 《Tomcat和JVM的性能调优你真的学会了吗?》总结篇

    Tomcat性能调优: 找到Tomcat根目录下的conf目录,修改server.xml文件的内容.对于这部分的调优,我所了解到的就是无非设置一下Tomcat服务器的最大并发数和Tomcat初始化时创 ...

  7. storm杂记+性能调优

    1.默认情况下: 1个supervisor节点启动4个worker进程. 每一个topology默认占用一个worker进程. 每个worker会启动executor. 每个executor默认启动一 ...

  8. ElasticSearch中的JVM性能调优

    ElasticSearch中的JVM性能调优 前一段时间被人问了个问题:在使用ES的过程中有没有做过什么JVM调优措施? 在我搭建ES集群过程中,参照important-settings官方文档来的, ...

  9. DataPipeline |ApacheKafka实战作者胡夕:Apache Kafka监控与调优

    https://baijiahao.baidu.com/s?id=1610644333184173190&wfr=spider&for=pc DataPipeline |ApacheK ...

随机推荐

  1. Android多版本flavor配置之资源文件和清单文件合并介绍

    知识背景 Android studio升级到3.0之后,gradle增加了多维度管理配置,便于同一个项目中创建应用的不同版本,分别管理依赖项并签署配置.创建产品风味与创建构建类型类似:只需将它们添加到 ...

  2. websocket、socket、http对比

    简介 在之前的理解中,讲述了socket.websocket等相关的理解,本文就socket.websocket.http理解一下其对应的联系和区别. HTTP 协议 http 为短连接:客户端发送请 ...

  3. 从零开始Blazor Server(8)--增加菜单以及调整位置

    这篇干啥 这篇文章主要是把前面的一些东西稍微调整一下,使其更适合后面的内容. 主要是两个事,一个是把原来的PermissionEntity直接变成MenuEntity,直接让最后一级是菜单,这样后面就 ...

  4. Kubernetes的整体架构

    K8s将集群中的机器划分为一个主节点和一群工作节点,在主节点上运行着集群管理相关的一组进程kube-apiserver.kube-controller-manager 和 kube-scheduler ...

  5. 完整代码:安卓小软件“CSV联系人导入导出工具”

    完整代码:安卓小软件"CSV联系人导入导出工具" 开发了一个安卓小软件"CSV联系人导入导出工具",欢迎测试.本软件可以帮你快速备份和恢复联系人,不用担心号码遗 ...

  6. 手把手教你定位线上MySQL锁超时问题,包教包会

    昨晚我正在床上睡得着着的,突然来了一条短信. 什么?线上的订单无法取消! 我赶紧登录线上系统,查看业务日志. 发现有MySQL锁超时的错误日志. 不用想,肯定有另一个事务正在修改这条订单,持有这条订单 ...

  7. Vue+Koa+MongoDB从零打造一个任务管理系统

    大概是在18年的时候,当时还没有疫情.当时工作中同时负责多个项目,有 PC 端运营管理后台的,有移动端 M 站的,有微信小程序的,每天 git 分支切到头昏眼花,每个需求提测需要发送邮件,而且周五要写 ...

  8. 如何使用.NET 6的IHostedService和BackgroundService?

    大家好,我是张飞洪,感谢您的阅读,我会不定期和你分享学习心得,希望我的文章能成为你成长路上的垫脚石,让我们一起精进. 本章是<定制ASP NET 6.0框架系列文章>的第七篇.本文内容和定 ...

  9. 小A的树 - 树形DP

    题面 1 9 4 4 1 1 5 1 2 3 2 3 6 6 7 6 8 9 6 0 1 0 1 0 0 1 0 1 3 2 7 3 4 0 9 5 YES YES NO NO 题解 n <= ...

  10. 【java】学习路线5-public和private、构造方法、this关键字、封装对象、static关键字、main方法结构解析

    //一个教务管理系统//知识点清单/*public & private 的区别一个是公开的,一个是私有的,作用域不一样,访问的权限不一样咯如果是用private修饰,则调用者只可以是在当前的作 ...