ETLCloud结合kafka的数据集成

一、ETLCloud中实时数据集成的使用

在ETLCloud中数据集成有两种方式，一种是离线数据集成，另一种便是我们今天所要介绍的实时数据集成了，两者的区别从名字便可以得知，前者处理的数据是离线的没有时效性的，后者的数据是有时效性的，所以要根据自己需要的场景来使用这两个模块。

实时数据集成常见的场景有，CDC监听，Kafka监听，MQ监听（商业版），今天我们结合一些常用的场景来演示一下Kafka监听的使用。

二、场景演示

在实时数据集成中有一个重要的对象便是监听器，顾名思义是用来监听数据的变动的，一旦数据有变动那么监听器就能监听到并对数据进行原先设置好的方式去处理。

1、创建监听器

点击实时数据集成模块，进入模块首页，选择Kafka监听器，点击新增监听器

2、监听器的配置，Kafka的数据源我们需要在数据源管理中去新建

数据源选择Kafka然后新建数据源填写服务相关信息即可。

监听器配置图如下：

选择我们刚刚创建好的Kafka数据源，点击载入主题列表按钮，便可以获取所有的消费主题，填写消费分组，数据来源选择其他topic数据（监听的是Kafka中的主题）

接收端的配置：

我们可以选择把数据传给指定流程或者直接输出到目标库中，我们选择传输给ETL流程

3、创建接收实时数据的离线流程或目标数据库

我们可以创建一个简单的流程，将数据进行输出，流程如下。

4、向Kafka发送消息，offersetExploer工具连接Kafka并找到所要监听的主题，进行消息发送。

5、发送后回到我们之前创建好的流程查看流程日志，可以发现监听到的数据已经发送到流程中了。

同理如果是将数据传输到目标数据库，只需要配置好目标数据源即可

三、总结

实时数据集成是ETLCloud中重要的功能模块之一，与离线数据集成相对应。实时数据集成能够处理具有时效性的数据，常见的场景包括CDC监听、Kafka监听以及MQ监听等。

在实时数据集成中，监听器是一个重要的对象，用于监听数据的变动，一旦数据有变动，监听器就会触发相应的处理操作。具体操作包括创建监听器、配置Kafka数据源、设置接收端配置等步骤。

对于Kafka监听器的配置，需要先在数据源管理中新建Kafka数据源并填写相关信息，然后配置监听器以选择消费主题、填写消费分组等。接收端的配置可以选择传输给ETL流程或直接输出到目标数据库。

创建接收实时数据的离线流程或目标数据库是实时数据集成的关键步骤之一，通过简单的流程可以将监听到的数据进行输出或传输至目标数据库。

最后，通过消息发送工具向Kafka发送消息，然后查看流程日志以确认监听到的数据是否已经发送到流程中。