[转帖]Kafka 核心技术与实战学习笔记（八）kafka集群参数配置（下）

一.Topic级别参数

Topic的优先级:

• 如果同时设置Topic级别参数和全局Broker参数，那么Topic级别优先

消息保存方面：

• retention.ms:规定Topic消息保存时长。默认是7天。一旦设置将覆盖掉Broker端的全局参数值。
• retention.bytes:规定为该Topic预留多大的磁盘空间。和全局参数作用相识，默认-1，可以无限使用磁盘空间。

消息大小的方面：

• max.message.bytes:决定kafka Broker能够正常接收该Topic最大消息大小。

二.JVM参数

• kafka服务器端diam用于Scale语言编写，但是最终还是编译成Class文件在JVM上运行，因此JVM参数设置对于Kafka集群十分重要。
• Java 8版本及以上
• JVM堆大小设置成6GB
• KAFKA_HEAP_OPTS：指定堆大小。
• KAFKA_JVM_PERFORMANCE_OPTS：指定 GC 参数。

三.操作系统参数

• 文件描述符限制---将它设置成超大值。ulimit -n 1000000
• 文件系统类型--- XFS性能强于ext4，推荐使用XFS
• Swapoiness--- swap 的调优，将 swappniess 配置成一个接近 0 但不为 0 的值，比如 1。
• 提交时间 --默认是 5 秒

文章知识点与官方知识档案匹配，可进一步学习相关知识

Java技能树首页概览121031 人正在系统学习中