kettle从入门到精通 第十四课 kettle kafka 生产者和消费者

1、本节课讲解kafka生产者和消费者两个步骤。这两个组件可以实现数据实时同步（后续课程会讲解）。

2、kafka producer 步骤

1）step name：自定义名称

2）connection：选择Direct，然后Bootstrap servers：填写kafka地址ip+port格式，kafka集群中间逗号分隔

3）Client ID：自定义，标记客户端

4）Topic：从下拉列表中选择一个topic

5）Key field：在Kafka中，所有消息都可以进行键控，允许在默认路由方案中根据消息的键将消息分发到分区。如果不存在密钥，则消息将随机分布到分区。

6）Message field：发送的消息内容字段

7）Options：更多配置参考https://help.hitachivantara.com/Documentation/Pentaho/9.3/Products/Kafka_Producer

3、kafka 已经收到消息，如下图。

4、kafka consumer 步骤，可以从kafka中读取消息。

相关配置如下:

1）step name：自定义名称

2）Transformation：所选的子转换必须从“Get Records from Stream”步骤开始。

3）connection：选择Direct，然后Bootstrap servers：填写kafka地址ip+port格式，kafka集群中间逗号分隔

4）Topics：设置消费一个或多个topic

5）Consumer Group：输入您希望此使用者成为其成员的组的名称。每个Kafka Consumer步骤都将启动一个单独的线程进行消费。

6）子转换