kafka中的配额管理(限速)机制
kafka支持配额管理,从而可以对Producer和Consumer的produce&fetch操作进行流量限制,防止个别业务压爆服务器。本文主要介绍如何使用kafka的配额管理功能。
1 Kafka Quatas简介
Kafka配额管理所能配置的对象(或者说粒度)有3种:
user + clientid
user
clientid
这3种都是对接入的client的身份进行的认定方式。其中,
- clientid是每个接入kafka集群的client的一个身份标志,在ProduceRequest和FetchRequest中都需要带上;
- user只有在开启了身份认证的kafka集群才有。
如果kafka集群没有开启身份认证,则只能使用clientid方式来进行限流。
可配置的选项包括:
- producer_byte_rate。发布者单位时间(每秒)内可以发布到单台broker的字节数。
- consumer_byte_rate。消费者单位时间(每秒)内可以从单台broker拉取的字节数。
2 如何配置
可以通过两种方式来作配额管理:
- 在配置文件中指定所有client-id的统一配额。
- 动态修改zookeeper中相关znode的值,可以配置指定client-id的配额。
使用第一种方式,必须重启broker,而且还不能针对特定client-id设置。所以,推荐大家使用第二种方式。
2.1 使用官方脚本修改配额
kafka官方的二进制包中,包含了一个脚本bin/kafka-configs.sh,支持针对user,client-id,(user,client-id)等三种纬度设置配额(也是通过修改zk来实现的)。
#1. 配置user+clientid。例如,user为”user1”,clientid为”clientA”。
bin/kafka-configs.sh --zookeeper localhost: --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048' \
--entity-type users --entity-name user1 --entity-type clients --entity-name clientA #2. 配置user。例如,user为”user1”
bin/kafka-configs.sh --zookeeper localhost: --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048' \
--entity-type users --entity-name user1 #3. 配置client-id。例如,client-id为”clientA”
bin/kafka-configs.sh --zookeeper localhost: --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048' \
--entity-type clients --entity-name clientA
2.2 直接写zk来修改配额
假定我们在启动kafka时指定的zookeeper目录是kafka_rootdir
#. 配置user+clientid。例如,针对”user1”,”clientA”的配额是10MB/sec,其它clientid的默认配额是5MB/sec。
znode: ${kafka_rootdir}/config/users/user1/clients/clientid;
value: {"version":,"config":{"producer_byte_rate":"","consumer_byte_rate":""}} znode: {kafka_rootdir}/config/users/user1/clients/<default>;
value: {"version":,"config":{"producer_byte_rate":"","consumer_byte_rate":""}} #. 配置user。例如,”user2”的配额是1MB/sec,其它user的默认配额是5MB/sec。
znode: ${kafka_rootdir}/config/users/user1;
value: {"version":,"config":{"producer_byte_rate":"","consumer_byte_rate":""}} znode: ${kafka_rootdir/config/users/<default>;
value: {"version":,"config":{"producer_byte_rate":"","consumer_byte_rate":""}} #. 配置client-id。例如,”clientB”的配额是2MB/sec,其它clientid的默认配额是1MB/sec。
znode:${kafka_rootdir}/config/clients/clientB';
value:{“version”:,”config”:{“producer_byte_rate”:””,”consumer_byte_rate”:””}}</li> znode:${kafka_rootdir}/config/clients/;
value:{“version”:,”config”:{“producer_byte_rate”:””,”consumer_byte_rate”:””}}`
3 优先级
首先,我们需要明白,kafka在管理配额的时候,是以“组”的概念来管理的。而管理的对象,则是producer或consumer到broker的一条条的TCP连接。
那么在进行额度管理的时候,kafka首先需要确认,这条连接属于哪个“组”,进而确定当前连接是否超过了所属“组”的总额度。
在进行“组”判定的时候,依照以下的优先级顺序依次判定:
/config/users/<user>/clients/<client-id>
/config/users/<user>/clients/<default>
/config/users/<user>
/config/users/<default>/clients/<client-id>
/config/users/<default>/clients/<default>
/config/users/<default>
/config/clients/<client-id>
/config/clients/<default>
一旦找到了符合的“组”,即中止判定过程。
4 超额处理
如果连接超过了配额值会怎么样呢?kafka给出的处理方式是:延时回复给业务方,不使用特定返回码。
具体到producer还是consumer,处理方式又有所不同:
- Producer:如果Producer超额了,先把数据append到log文件,再计算延时时间,并在ProduceResponse的ThrottleTime字段填上延时的时间(v2,只在0.10.0版本以上支持)。
- Consumer:如果Consumer超额了,先计算延时时间,在延时到期后再去从log读取数据并返回给Consumer。否则无法起到限制对文件系统的读蜂拥。在v1(0.9.0以上版本)和v2版本的FetchResponse中有ThrottleTime字段,表示因为超过配额而延时了多久
kafka中的配额管理(限速)机制的更多相关文章
- Kubernetes中资源配额管理
设置资源请求数量 创建Pod的时候,可以为每个容器指定资源消耗的限制.Pod的资源请求限制则是Pod中所有容器请求资源的总和. apiVersion: v1 kind: Pod metadata: n ...
- Android中的内存管理机制以及正确的使用方式
概述 从操作系统的角度来说,内存就是一块数据存储区域,属于可被操作系统调度的资源.现代多任务(进程)的操作系统中,内存管理尤为重要,操作系统需要为每一个进程合理的分配内存资源,所以可以从两方面来理解操 ...
- JavaWeb中Cookie会话管理,理解Http无状态处理机制
注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6512995108961387015/ 1.<Servlet简单实现开发部署过程> 2.<Serv ...
- cocos2dx中的内存管理机制及引用计数
1.内存管理的两大策略: 谁申请,谁释放原则(类似于,谁污染了内存,最后由谁来清理内存)--------->适用于过程性函数 引用计数原则(创建时,引用数为1,每引用一次,计数加1,调用结束时, ...
- kafka中的消费组
一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少.最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时 ...
- Apache ZooKeeper在Kafka中的角色 - 监控和配置
1.目标 今天,我们将看到Zookeeper在Kafka中的角色.本文包含Kafka中需要ZooKeeper的原因.我们可以说,ZooKeeper是Apache Kafka不可分割的一部分.在了解Zo ...
- Kafka中的消息是否会丢失和重复消费(转)
在之前的基础上,基本搞清楚了Kafka的机制及如何运用.这里思考一下:Kafka中的消息会不会丢失或重复消费呢?为什么呢? 要确定Kafka的消息是否丢失或重复,从两个方面分析入手:消息发送和消息消费 ...
- Kafka中非常值得学习的优秀设计
一.Kafka基础 消息系统的作用 应该大部份小伙伴都清楚,用机油装箱举个例子 所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用. 引入一个场景,我们知道中国移动,中国 ...
- Unity游戏开发中的内存管理_资料
内存是手游的硬伤——Unity游戏Mono内存管理及泄漏http://wetest.qq.com/lab/view/135.html 深入浅出再谈Unity内存泄漏http://wetest.qq.c ...
随机推荐
- SpringCloud2.0 Hystrix Dashboard 断路器指标看板
原文:https://www.cnblogs.com/songlu/p/9973856.html 1.启动基础工程 1.1.启动[服务中心]集群,工程名称:springcloud-eureka-ser ...
- 没有rc.local的解决办法
转载请注明来源https://www.cnblogs.com/sogeisetsu/p/11395098.html linux 开机自启动 我是小白,最近在想如何使用linux开机自启动,有一个办法是 ...
- discuz x3.3门户出现关键词和描述显示“首页”的解决方法
Discuz社区在后台设置好门户标题.关键字.描述,更新缓存,发现用户登录状态下,门户首页的关键字和描述正常显示:但在游客状态下不显示,在某工具中查看到的情况是只显示首页,这对SEO是致命打击. 找到 ...
- HDU5421 Victor and String 和 APIO2014 回文串
两道差不多的题,都是回文自动机right集合处理相关. Victor and String Victor loves to play with string. He thinks a string i ...
- 第9章 MyBatis的关系映射
在实际开发中,对数据库的操作通常涉及多张表,涉及了对象和对象之间的关联关系.针对多表之间的操作,MyBatis提供了关联映射,通过关联映射就可以很好的处理对象与对象之间的关联关系 9.1 关联关系概述 ...
- ID 迭代加深搜索 模板 埃及分数
#include <bits/stdc++.h> using namespace std; #define LL long long int Maxd; LL Ans[10], now[1 ...
- Lexicographical Substring Search SPOJ - SUBLEX (后缀数组)
Lexicographical Substrings Search \[ Time Limit: 149 ms \quad Memory Limit: 1572864 kB \] 题意 给出一个字符串 ...
- 临时加一条关于bootstrap的菜单栏方面的
**有些生疏,记住了**aria-expanded表示展开状态.默认为undefined, 表示当前展开状态未知.其它可选值:true表示元素是展开的:false表示元素不是展开的. aria-hid ...
- MySQL+keeplived高可用配置
MySQL高可用基础环境:基于MySQL互为主从(双主.主主),请现配置 主备两台机器 主的操作1.在keepalived主服务器上安装keepalived yum -y install keepal ...
- XCOPY——目录复制命令
XCOPY——目录复制命令 1.功能:复制指定的目录和目录下的所有文件连同目录结构. 2.类型:外部命令 3.格式:XCOPY [源盘:]〈源路径名〉[目标盘符:][目标路径名][/S][/V][/E ...