【大数据面试】【框架】kafka：组成、台数/参数配置、持久化、ISR队列、宕机、丢数据、重复数据、数据积压、优化各种配置（刷盘、存盘、副本、压缩）、zk、其他

一、基本信息

1、组成

生产者

broker

消费者

zookeeper：brokerid、consumer信息（不包含生产者的信息）

2、需要安装多少台

2 * (生产者的峰值生产速率 * 副本 / 100) + 1 = 3

生产环境下，配置副本的数量为2-3个，2个居多

3、副本的优势和劣势

副本越多，越能提高可靠性

增加了网络IO传输

4、峰值生产速率，一般在百兆左右每秒

需要使用压力测试

如，10T数据，多长时间可以传输完

消费速率也是百兆每秒

5、监控器用的什么

kafka egale、monitor、manager，都是开源的

我们都是自己研发的，怎么回答，仰视大佬

6、kafka数据保存多久

默认保存7天，生产环境下建议保存3天

原因：当天把数据消费完，才能做到T+1模式，消费完数据

没有必要保存7天

其他原因：

日志服务器已经保存了30天☆（logfile）

7、数据量

条/S M/S

日活是100万时，1人1天100条，一天的日志数为1000000*100=1亿

1亿/（3600*24）=1150条/s

一条日志1k左右，生产环境下的日志大小为0.5K-2K之间

大约1M/S的数据

问：什么时间点数据量最大，最大能达到多少

晚上7-10点数据量达到高峰 =》 20M/S或30M/S左右，不要超过50M/S

原因：2 * (生产者的峰值生产速率 * 副本 / 100) + 1 = 3

2*(60*2/100)>3，三台kafka容易卡顿

8、100w日活对应100G数据量左右，给kafka预留多大的空间

100G*2个副本*保存3天/0.7（预留30%空间，zabbix磁盘报警）

9、设置多少个分区

一般设置3-10个分区

（1）设置1个分区

（2）进行压测：生产者峰值生产速率tp，消费者峰值生产速率cp

（3）有个预期的吞吐量是t

（4）分区数=t/min(tp, tc)

如tp=20M/S，tc=50M/S，t的期望值是100M/S

计算出的分区数=5个分区

分区数影响了并发度

10、ISR队列

解决leader挂了谁当老大，谁在队首就有机会

旧版：根据延迟时间和延迟条数判断

新版：根据延迟时间进行判断

11、分区分配策略

range：默认分区方式，分区特点是10个线程，3个分区，1234/567/8910，除不尽的放入低分区，容易产生数据倾斜

RandRobin：采用哈希的方式把任务随机打散，采用轮询的方式，减少数据倾斜

二、挂了/宕机的解决

1、分析

短时间内，数据进入到Flume Channel，长时间的话还有日志服务器存储30天的数据

Flume的非memory Channel都能保存一部分

三、丢失数据

1、看ACK，取值可以为0，1，-1

0：发送过去就不管了，可靠性最差，传输效率最高

1：发送过去，leader应答，可靠性一般，传输效率也一般

-1：发送过去，leader和follower共同应答，可靠性最高，传输效率最低

2、在生产环境下怎么选

0是没人选的

如果是普通日志，通常会选择1

如果是金融、和钱相关的，通常选择-1（上海比较多）

四、重复数据

1、【kafka去重】幂等性 + 事务 + ACK=-1【做到不丢不重：精确一次性消费】

单分区幂等性：只能保证单分区、单会话的数据不重复【单会话校验】

多分区事务：全局维护id，保证各个分区均不重复

两种方式为不同的级别，越增加校验越要求不重复，会带来更大的性能损失

很少同时使用幂等性+事务【精确一致性消费】

2、下一级处理：hive的DWD层 或 sparkstreaming、去重（groupby去重、redis、开窗函数取第一条）

3、不处理

五、数据积压【调参】

数据占满没有消费满

方案：自身找办法，找兄弟

自身找办法：增加并发度（增加分区），下一级消费者也要增加消费线程

（如果下一级是sparkstreaming，需要增加CPU核数，前边几个分区，就设置为几个CPU核数；）

（一次传输的数据是128M，对应1G的内存）

找兄弟：提高下一级消费者的消费能力，都有一个batch size参数 （1000/s---》2000-3000/s）

六、优化

1、配置文件

etc、conf、config

2、server.config

num.network.threads=3  计算线程，线程数=CPU核数+1

nums.io.threads=8   IO线程，线程数=CPU核数*2

CPU核数为8，计算线程为9，IO线程设为16

3、比较

进来后简单进行运算就出去：IO线程【IO密集型任务】

计算并行任务：进入后计算大量矩阵等运算后再出去，占用大量CPU时间，配置的线程数要少一些【计算密集型任务】

4、优化

kafka最终从内存进入磁盘，数据文件刷盘策略

日志保留策略天数，设置为3天

副本数量，设置为2

5、producer.properties

compression.type压缩配置：none/snappy/gzip/lz4/zstd

通常使用zstd，默认是none

压缩的优势：减少磁盘空间、提高网络传输效率

劣势：如果是频繁计算的场景，就不要采用压缩【大量运算、解压缩、压缩，影响CPU效率】

6、kafka的默认内存调整

bin/kafka-server-start.sh

默认为1G，通常情况下会调整为4-6G，不要超过6G

如果6G还不行，增加kafka台数（自己，找兄弟）

七、其他

1、kafka为什么传输效率快

分布式集群、采用分区

采用顺序读写，可以达到600M/S（随机读写只能达到100M/S）

采用零拷贝机制：

配置好压缩后，也可以提高传输效率

2、如果传输的日志文件为2M，kafka会有什么问题

默认传输消息最大值为1M，超过1M，无法消费也无法生产

可以调整参数，server.properties

3、kafka的消息过期后的策略

前提：不被引用，未被消费

删除或压缩

4、其他场景：从之前某一时刻，重新消费数据

可以按照时间戳的形式，来消费数据

5、zk中存储了kafka的哪些信息

brokerid、topic、分区，里面没有生产者信息