kafka原理和操作

参考:

原理:

https://www.cnblogs.com/yinzhengjie/p/9780976.html

常用配置参数:

https://www.cnblogs.com/yinzhengjie/p/9652392.html

操作:

见笔记

#日常命令

https://www.cnblogs.com/yinzhengjie/p/9210029.html

kafka--zk
broker:
它是一个kafka实例,一般一个kafka server上跑一个实例.
topic:
主体,对业务进行分类
partition: 实际干活的
leader:
相应客户端读/写
follower:
对客户端啥也不干,复制leader
replication: 副本
建议最好为2
当下架一台时不会影响数据,下架broker要一台一台的下.
用kafka-server-stop.sh,生产中会比较慢,但一定不要用kill -9 kafka

AR=ISR + OSR
ISR:
leader,follower(之间相差时间,条数控制)
OSR:
follower(如相差条数超过设定的follower就放到OSR)
通过unclean.leader.election.enable来控制,如为true,则OSR中的follower也允许成为leader.
设为true的优点是:
恢复速度快,可用性高
缺点是:
存在数据丢失的风险