kafka笔记2

Kafka是使用java开发的程序，所以它可以运行在多种操作系统上，安装Kafka之前，需要先安装Java环境，再安装zookeeper

broker常规配置

1.broker.id

每个broker都需要有一个标识符，使用broker.id来表示，在整个集群上必须唯一，建议把他们设置成与机器名具有相关性的整数。

2.port

默认情况下启动Kafka，它会监听9092端口，也可以设置其他端口。

3.zookeeper.connect

用于保存broker元数据的zookeeper地址，类似localhost：2181，表示这个zookeeper运行在本地的2181端口上。

4.log.dirs

Kafka把消息保存在磁盘上，地址用log.dirs指定，它是一组逗号分隔的本地文件系统路径。

5.num.recovery.threads.per.data.dir

正常启动或者重启后Kafka使用可配置的线程池处理消息片段，设置大量线程可以节省时间。这个数字乘以log.dirs得到总的线程数。

6.auto.create.topics.enable

是否显式创建主题，如果手动创建，可以设为false。

Kafka默认设置

1.num.partitions

一个主题需要多少分区

2.log.retention.ms

数据可以保留多久，默认是168小时

3.log.retention.bytes

每个分区保留数据的最大字节数，如果设置为1G，当前主题8个分区，则这个主题最多保存8G数据。

4.log.segment.bytes

日志片段的最大长度

5.log.segments.ms

日志片段多长时间会被关闭，和上一个条件在一起，只要一个得到满足，日志片段就会被关闭。

6.message.max.bytes

单个消息的大小，默认是1000000（1MB），如果生产者发送的消息超过这个，就会收到错误信息。