Kafka笔记2（安装）

1.安装java

2.安装zookeeper

3.安装kafka Broker

测试：发布消息

测试：读取消息

4，broker配置

　　常规配置：

　　　　broker.id: 默认0  每个broker都需要一个标识符，使用broker.id标识，在kafka集群里必须唯一

　　　　port 默认监听9092端口，使用1024以下的端口，需要root权限启动Kafka，不建议

　　　　zookeeper.connect  用于保存broker元数据的zookeeper地址，格式： hostname:port/path

　　　　　　　　hostname zookeeper服务器的IP地址或机器名

　　　　　　　　port zookeeper客户端连接端口

　　　　　　　　/path   可选的zookeeper路径，作为kafka集群chroot环境，默认根路径

　　　　log.dirs 存放Kafka所有消息的日志片段的路径      注意：broker会向拥有最少数目分区的路径新增分区，而不是往最小磁盘空间的路径新增分区

　　　　num.recovery.threads.per.data.dir

　　　　　　　对于如下3种情况，Kafka使用可配置的线程池来处理日志片段

　　　　　　　　服务器正常启动，用于打开每个分区的日志片段

　　　　　　　　服务器崩溃后重启，用于检查和截短每个分区的日志片段

　　　　　　　　服务器正常关闭，用于关闭日志片段

　　　　　　默认每个日志目录（log.dirs）只使用一个线程

　　　　　　如果num.recovery.threads.per.data.dir=8,log.dir指定了3个路径，则一共需要24个线程

　　　　auto.create.topic.enable

　　　　　　默认情况下Kafka会在如下情形自动创建主题：

　　　　　　　　当一个生产者开始往主题写入消息时

　　　　　　　　当一个消费者开始从主题读取消息时

　　　　　　　　当任意一个客户端向主题发送元数据请求时

　　　主题的默认配置参数：

　　　　　　num.partitions 参数指定新创建主题将包含多少分区，默认1 注意：可以增加主题分区的个数，但是不可以减少，若要少于该参数值，只能手动创建主题

　　　　　　　　分区的参考计算：每秒从主题读取/写入1G数据，每个消费者处理50M数据，那么分区的个数> 1G/50M=20个

　　　　　　　　根据经验，分区的大小限制在25GB以内较理想

　　　　　　log.retention.ms  指定Kafka数据可以保留多长时间 ，除此之外还有参数log.retention.minutes   log.retention.hour; kafka优先使用具有最小值的参数

　　　　　　log.retention.bytes  决定Kafka每个分区数据过期的字节数阈值

　　　　　　log.segment.bytes  日志片段关闭的阈值   当分区上的日志片段到达log.segment.bytes指定的上限时，当前日志片段就会关闭，开启新的日志片段，同时关闭的日志片段也会开始等待过期

　　　　　　log.segment.ms  指定多长时间后日志片段开始关闭

　　　　　　message.max.bytes  限制单个消息大小 默认1M，该参数是指压缩后消息的大小

　　　　　　　　消费者客户端设置的fetch.message.max.bytes必须与服务端设置的消息大小协调；若fetch.message.max.bytes < message.max.bytes 那么消费者无法读取比较大的消息，导致出现消费者被阻塞情形，在为集群broker设置replica.fetch.max.bytes参数时，也遵循同样原则

硬件上的选择：

　　磁盘吞吐量：

　　　　生产者客户端性能受到服务器端磁盘吞吐量影响

　　磁盘容量

　　内存

　　　　服务器端可用的内存容量是影响客户端性能的主要因素，磁盘性能影响生产者，内存影响消费者

　　　　Kafka会使用页面缓存，如果和其他应用共享页面缓存会降低Kafka消费者的性能

　　网络

　　　　网络吞吐量决定Kafka能处理的最大数据流量

　　CPU

　　　　Kafka对数据的压缩和解压缩会用到计算能力

KafKa集群：  可以实现负载均衡/避免单点故障

需要多少broker:  集群需要保留10T数据，每个broker可以保存2T，则至少需要5个broker,若果开启复制，则还需要扩大一倍即10个

新加一个broker至集群种，修改2个参数： 1）配置相同的zookeeper.connect   2) 设置唯一的broker.id