Kafka Broker | 命令行选项和过程

1.目标

在这个Apache Kafka教程中，我们将学习Kafka Broker。Kafka Broker管理主题中的消息存储。如果Apache Kafka有多个代理，那就是我们所说的Kafka集群。此外，在本Kafka Broker教程中，我们将学习如何启动Kafka Broker和Kafka命令行选项。
那么，让我们开始Apache Kafka Broker。

2.什么是Kafa经纪人？

Kafka代理也称为Kafka服务器和Kafka节点。这些所有名称都是它的同义词。简单来说，经纪人是两者之间的中介。但是，Kafka经纪人更准确地描述为消息代理，它负责调解不同计算机系统之间的对话，保证将消息传递给正确的各方。
阅读Apache Kafka Security | Kafka的需求和组件
因此，Kafka集群通常由多个代理组成。Kafka Cluster使用Zookeeper来维护集群状态。单个Broker每秒可以处理数千次读写操作。然而，如果没有性能影响，每个代理都可以处理TB消息。另外，要非常肯定ZooKeeper会执行经纪人领袖选举。

经纪人在卡夫卡的工作

基本上，Kafka中的经纪人被建模为主持主题的KafkaServer。在这里，给定的主题总是在代理之间进行分区，在集群中，单个代理实际上托管一个或多个主题的主题分区，即使主题仅分区到单个分区也是如此。
了解Apache Kafka Consumer | Kafka Consumer的示例
此外，生产者在收到经纪人将其存储在由唯一偏移量键入的磁盘上后，向代理发送消息。此外，通过主题，分区和偏移，代理允许消费者获取消息。但是，代理可以通过使用Zookeeper直接或间接地相互共享信息来创建群集。此外，我们可以说Kafka集群只有一个代理作为控制器。通过使用kafka-server-start.sh脚本，我们可以启动一个Kafka经纪人。

3.如何启动Kafka Broker？

启动Zookeeper。

./bin/zookeeper-server-start.sh config / zookeeper.properties

我们可以启动一个Kafka服务器，只有当Zookeeper启动并运行时（它将连接到Zookeeper）。

./bin/kafka-server-start.sh config / server.properties
kafka-server-start.sh脚本

因此，kafka-server-start.sh 启动经纪人。

$ ./bin/kafka-server-start.sh
用法：./ bin / kafka-server-start.sh [ -daemon ] server.properties [ --override property = value ] *

注意 -在运行kafka-server-start.sh 之前，请确保Zookeeper已启动并运行。而且，使用zookeeper-server-start shell脚本。
看看Apache Kafka + Spark Streaming Integration
kafka-server-start.sh 使用config / log4j.properties来记录我们可以使用KAFKA_LOG4J_OPTS 环境变量覆盖的配置。

KAFKA_LOG4J_OPTS = “ - Dlog4j.configuration = file：config / log4j.properties”

kafka-server-start.sh 接受KAFKA_HEAP_OPTS和EXTRA_ARGS 环境变量。

4.卡夫卡命令行选项

-name
在守护进程模式下默认为kafkaServer。
-loggc
在守护进程模式下启用。
-daemon
启用守护程序模式。
-override property = value
应覆盖server.properties文件中为property设置的值的值。
让我们修改Apache Kafka Streams | 流处理拓扑

$ ./bin/kafka-server-start.sh config / server.properties --override broker.id = 100
...
信息[ KafkaServer id = 100 ]已启动（kafka.server.KafkaServer ）

5.结论

因此，我们已经学习了完整的Kafka Broker以及启动它的命令。但是，如果有任何疑问，请随时在评论部分询问。
另请参阅 -
Kafka-序列化和反序列化以